Thread View: pl.comp.nowe-programy
4 messages
4 total messages
Started by tolek
Sat, 26 Jul 2014 19:13
wget i pobieranie plików np. z keep2share
Author: tolek
Date: Sat, 26 Jul 2014 19:13
Date: Sat, 26 Jul 2014 19:13
22 lines
2329 bytes
2329 bytes
Ponieważ niektóre duże pliki ze stron typu kee2share (generalnie strony gdzie jako użytkownik free wklepujemy captcha i czekamy ileś tam sekund na wystartowanie pobierania) nie pobierają się do końca - zawiesza się pobieranie gdy brakuje kilku KB do końca. Chciałem podjąć pobieranie za pomocą programu wget (który bez problemy łyka linki z "normalnych" lokalizacji bez captcha). Próba wyciągnięcia linku (do pobieranego pliku ze strony typu keep2share) z firefoxa i wklejeniu go do programu wget nic nie daje, bo dostajemy komunikat w programie wget: HTTP request sent, awaiting response... 401 Unauthorized Authorization failed. Jak doczytałem chodzi o pliki cookies z przeglądarki, z których w gołej linii wget nie ma skąd wziąć i jak z nich skorzystać. Znalazłem wiersz poleceń "--load-cookies cookies.txt" ale nie do końca go rozumiem i próba go wklejenia do linii komend wget-a nic nie wniosła. Zakładam, że trzeba coś stworzyć co sobie wydłubie potrzebne dane z cookies-ów z firefoxa, zanim uruchomi z powodzeniem pobieranie pliku. Czy może ktoś biegły w programie wget podać jak powinna wyglądać cała linia polecenia aby wget mógł podjąć pobieranie z linku, który uruchomiony w firefoxie (którym już byliśmy na stronie, gdzie wpisaliśmy captcha) ponownie działa i pobiera od nowa. Wget nie potrafi przejąć takiego linku.
Re: wget i pobieranie plików np. z keep2share
Author: PiteR
Date: Sat, 26 Jul 2014 21:50
Date: Sat, 26 Jul 2014 21:50
17 lines
1794 bytes
1794 bytes
tolek pisze tak: > Próba wyciągnięcia linku (do pobieranego pliku ze strony typu > keep2share) z firefoxa i wklejeniu go do programu wget nic nie > daje, bo dostajemy komunikat w programie wget: > HTTP request sent, awaiting response... 401 Unauthorized > Authorization failed. A czy Firefox nie ma czegoś takiego jak Quick Download jak w Operze. Albo wypróbuj Operę 12.15 (ma resume download). Skąd wiesz że wget się nie zatrzyma. Wtedy wystarczy wejśc na stronę pobrać cookies do pamięci, wydłubać link i wkleić do Quick Download. -- Piter
Re: wget i pobieranie plików np. z keep2share
Author: zzz
Date: Sun, 27 Jul 2014 14:17
Date: Sun, 27 Jul 2014 14:17
88 lines
4756 bytes
4756 bytes
tolek napisal(a): > Ponieważ niektóre duże pliki ze stron typu kee2share (generalnie strony > gdzie jako użytkownik free wklepujemy captcha i czekamy ileś tam sekund na > wystartowanie pobierania) nie pobierają się do końca - zawiesza się > pobieranie gdy brakuje kilku KB do końca. Chciałem podjąć pobieranie za > pomocą programu wget (który bez problemy łyka linki z "normalnych" > lokalizacji bez captcha). > Próba wyciągnięcia linku (do pobieranego pliku ze strony typu keep2share) > z firefoxa i wklejeniu go do programu wget nic nie daje, bo dostajemy > komunikat w programie wget: > HTTP request sent, awaiting response... 401 Unauthorized > Authorization failed. > > Jak doczytałem chodzi o pliki cookies z przeglądarki, z których w gołej > linii wget nie ma skąd wziąć i jak z nich skorzystać. > Znalazłem wiersz poleceń "--load-cookies cookies.txt" ale nie do końca go > rozumiem i próba go wklejenia do linii komend wget-a nic nie wniosła. > Zakładam, że trzeba coś stworzyć co sobie wydłubie potrzebne dane z > cookies-ów z firefoxa, zanim uruchomi z powodzeniem pobieranie pliku. > Czy może ktoś biegły w programie wget podać jak powinna wyglądać cała linia > polecenia aby wget mógł podjąć pobieranie z linku, który uruchomiony w > firefoxie (którym już byliśmy na stronie, gdzie wpisaliśmy captcha) ponownie > działa i pobiera od nowa. Wget nie potrafi przejąć takiego linku. > a) dany serwis powinien udostępniać wznawianie ściągania, jeśli tego nie oferuje, to moim zdaniem "po ptokach" b) we "wget" jest opcja "c" która nakazuje dociągnąć zaczęty już plik, czyli jeżeli z przeglądarki dostaniesz "linka bezpośredniego do pliku", to powinno wystarczyć: "wget -c "link" -O nazwa_zaczętego_pliku" to "-O nazwa..." - nie zawsze jest potrzebne c) poniżej przykład wgeta z przeklej.pl w bashu (kiedyś działało) /bardzo paskudny ale mam nadzieję że ci pomoże/ tam nie "c" ty jak jeżeli chcesz dociągnąć powinieneś to "c" użyć "\" na końcu linii mówi że ta linia ma być złączona z tą poniżej "#" mój opis co się wyżej dzieje (z głowy wiec posprawdzaj w instrukcji) PRZEGLADARKA="Mozilla..." # zmienna - jak ma się wget przedstawiać LINK=$1 # zmienna - $1 to pierwszy argument w polecenia # czyli w "wget www.adres.html" # $1 to www.adres.html zostanie przypisany do LINK wget -U "$PRZEGLADARKA" --save-cookies ciacho \ --save-headers -O strona111.html "$LINK" # przedstaw sie jako PRZEGLADARKA zapisz cookies do ciacho # zapisz nagłówki i stronę do pliku strona111.html sleep 5 #czekamy chwilę #szykujemy sobie nowy link ze sciągniętej strony: LINK1="http://www.strona.pl"`grep '<h1><a href="/download/' \ strona111.html | cut -d"\"" -f 2` # sklejamy go z adresu + z lini która zawiera <h1... z której bierzemy # drugie pole z pól rozdzielonych "\" #szykujemy sobie nazwę pliku do ktorego zostanie zapisana zawartość: PLIK=`echo $LINK1 | cut -d"/" -f 6 | tr "-" "."` # z linii którą wcześniej przygotowaliśmy bierzemy 6 pole # i w tym polu zamieniamy "-" na "." # no i jedziemy wget -U "$PRZEGLADARKA" --load-cookies ciacho -O "$PLIK" "$LINK1" # przedstaw się..., załaduj cookies z ciacho, # zapisz wynik do "PLIK" z linka "LINK1" z grubsza tyle... PS - te cut, tr, grep - chyba najłatwiej będzie rozwiązać "awk" (gawk) - "ciacho" chyba można też wziąć bezpośrednio np. z firefoksa - "sleepa" rozwiązywało się w XP chyba jakimś pingiem na 127...1 - patrz a) -- =============== zZzZz =====================
Re: wget i pobieranie plików np. z keep2share
Author: gosc
Date: Sun, 27 Jul 2014 20:25
Date: Sun, 27 Jul 2014 20:25
29 lines
2685 bytes
2685 bytes
tolek wrote: > Ponieważ niektóre duże pliki ze stron typu kee2share (generalnie strony > gdzie jako użytkownik free wklepujemy captcha i czekamy ileś tam sekund na > wystartowanie pobierania) nie pobierają się do końca - zawiesza się > pobieranie gdy brakuje kilku KB do końca. Chciałem podjąć pobieranie za > pomocą programu wget (który bez problemy łyka linki z "normalnych" > lokalizacji bez captcha). > Próba wyciągnięcia linku (do pobieranego pliku ze strony typu keep2share) > z firefoxa i wklejeniu go do programu wget nic nie daje, bo dostajemy > komunikat w programie wget: > HTTP request sent, awaiting response... 401 Unauthorized > Authorization failed. > > Jak doczytałem chodzi o pliki cookies z przeglądarki, z których w gołej > linii wget nie ma skąd wziąć i jak z nich skorzystać. > Znalazłem wiersz poleceń "--load-cookies cookies.txt" ale nie do końca go > rozumiem i próba go wklejenia do linii komend wget-a nic nie wniosła. > Zakładam, że trzeba coś stworzyć co sobie wydłubie potrzebne dane z > cookies-ów z firefoxa, zanim uruchomi z powodzeniem pobieranie pliku. > Czy może ktoś biegły w programie wget podać jak powinna wyglądać cała linia > polecenia aby wget mógł podjąć pobieranie z linku, który uruchomiony w > firefoxie (którym już byliśmy na stronie, gdzie wpisaliśmy captcha) ponownie > działa i pobiera od nowa. Wget nie potrafi przejąć takiego linku. wget -c --output-document=dupa1.txt http://keep2s.cc/file/url.html?file=1234567891234 Działa ze wznawianiem. Ciąg 1234567891234 musisz zmienić na właściwy, który jest w źródle po kliknięciu captcha.
Thread Navigation
This is a paginated view of messages in the thread with full content displayed inline.
Messages are displayed in chronological order, with the original post highlighted in green.
Use pagination controls to navigate through all messages in large threads.
Back to All Threads