🚀 go-pugleaf

RetroBBS NetNews Server

Inspired by RockSolid Light RIP Retro Guy

Thread View: pl.comp.nowe-programy
4 messages
4 total messages Started by tolek Sat, 26 Jul 2014 19:13
wget i pobieranie plików np. z keep2share
#227442
Author: tolek
Date: Sat, 26 Jul 2014 19:13
22 lines
2329 bytes
Ponieważ niektóre duże pliki ze stron typu kee2share (generalnie strony 
gdzie jako użytkownik free wklepujemy captcha i czekamy ileś tam sekund na 
wystartowanie pobierania) nie pobierają się do końca - zawiesza się 
pobieranie gdy brakuje kilku KB do końca. Chciałem podjąć pobieranie za 
pomocą programu wget (który bez problemy łyka linki z "normalnych" 
lokalizacji bez captcha).
Próba wyciągnięcia linku (do pobieranego pliku ze strony typu keep2share)
z firefoxa i wklejeniu go do programu wget nic nie daje, bo dostajemy 
komunikat w programie wget:
HTTP request sent, awaiting response... 401 Unauthorized
Authorization failed.

Jak doczytałem chodzi o pliki cookies z przeglądarki, z których w gołej 
linii wget nie ma skąd wziąć i jak z nich skorzystać.
Znalazłem wiersz poleceń "--load-cookies cookies.txt" ale nie do końca go 
rozumiem i próba go wklejenia do linii komend wget-a nic nie wniosła. 
Zakładam, że trzeba coś stworzyć co sobie wydłubie potrzebne dane z 
cookies-ów z firefoxa, zanim uruchomi z powodzeniem pobieranie pliku.
Czy może ktoś biegły w programie wget podać jak powinna wyglądać cała linia
polecenia aby wget mógł podjąć pobieranie z linku, który uruchomiony w 
firefoxie (którym już byliśmy na stronie, gdzie wpisaliśmy captcha) ponownie 
działa i pobiera od nowa. Wget nie potrafi przejąć takiego linku. 
Re: wget i pobieranie plików np. z keep2share
#227443
Author: PiteR
Date: Sat, 26 Jul 2014 21:50
17 lines
1794 bytes
tolek pisze tak:

> Próba wyciągnięcia linku (do pobieranego pliku ze strony typu
> keep2share) z firefoxa i wklejeniu go do programu wget nic nie
> daje, bo dostajemy komunikat w programie wget:
> HTTP request sent, awaiting response... 401 Unauthorized
> Authorization failed.

A czy Firefox nie ma czegoś takiego jak Quick Download jak w Operze. 
Albo wypróbuj Operę 12.15 (ma resume download). Skąd wiesz że wget się 
nie zatrzyma.

Wtedy wystarczy wejśc na stronę pobrać cookies do pamięci, wydłubać 
link i wkleić do Quick Download.

-- 
Piter
Re: wget i pobieranie plików np. z keep2share
#227444
Author: zzz
Date: Sun, 27 Jul 2014 14:17
88 lines
4756 bytes
tolek napisal(a):
> Ponieważ niektóre duże pliki ze stron typu kee2share (generalnie strony 
> gdzie jako użytkownik free wklepujemy captcha i czekamy ileś tam sekund na 
> wystartowanie pobierania) nie pobierają się do końca - zawiesza się 
> pobieranie gdy brakuje kilku KB do końca. Chciałem podjąć pobieranie za 
> pomocą programu wget (który bez problemy łyka linki z "normalnych" 
> lokalizacji bez captcha).
> Próba wyciągnięcia linku (do pobieranego pliku ze strony typu keep2share)
> z firefoxa i wklejeniu go do programu wget nic nie daje, bo dostajemy 
> komunikat w programie wget:
> HTTP request sent, awaiting response... 401 Unauthorized
> Authorization failed.
>
> Jak doczytałem chodzi o pliki cookies z przeglądarki, z których w gołej 
> linii wget nie ma skąd wziąć i jak z nich skorzystać.
> Znalazłem wiersz poleceń "--load-cookies cookies.txt" ale nie do końca go 
> rozumiem i próba go wklejenia do linii komend wget-a nic nie wniosła. 
> Zakładam, że trzeba coś stworzyć co sobie wydłubie potrzebne dane z 
> cookies-ów z firefoxa, zanim uruchomi z powodzeniem pobieranie pliku.
> Czy może ktoś biegły w programie wget podać jak powinna wyglądać cała linia
> polecenia aby wget mógł podjąć pobieranie z linku, który uruchomiony w 
> firefoxie (którym już byliśmy na stronie, gdzie wpisaliśmy captcha) ponownie 
> działa i pobiera od nowa. Wget nie potrafi przejąć takiego linku. 
>

a)
dany serwis powinien udostępniać wznawianie ściągania, jeśli tego nie
oferuje, to moim zdaniem "po ptokach"

b)
we "wget" jest opcja "c" która nakazuje dociągnąć zaczęty już plik,
czyli jeżeli z przeglądarki dostaniesz "linka bezpośredniego do pliku",
to powinno wystarczyć:
"wget -c "link" -O nazwa_zaczętego_pliku"

to "-O nazwa..." - nie zawsze jest potrzebne

c)
poniżej przykład wgeta z przeklej.pl w bashu (kiedyś działało)
/bardzo paskudny ale mam nadzieję że ci pomoże/

tam nie "c" ty jak jeżeli chcesz dociągnąć powinieneś to "c" użyć
"\" na końcu linii mówi że ta linia ma być złączona z tą poniżej
"#" mój opis co się wyżej dzieje (z głowy wiec posprawdzaj w instrukcji)

PRZEGLADARKA="Mozilla..."
# zmienna - jak ma się wget przedstawiać 

LINK=$1
# zmienna - $1 to pierwszy argument w polecenia
# czyli w "wget www.adres.html"
# $1 to www.adres.html zostanie przypisany do LINK

wget -U "$PRZEGLADARKA" --save-cookies ciacho \ 
--save-headers -O strona111.html "$LINK"
# przedstaw sie jako PRZEGLADARKA zapisz cookies do ciacho 
# zapisz nagłówki i stronę do pliku strona111.html

sleep 5
#czekamy chwilę

#szykujemy sobie nowy link ze sciągniętej strony: 
LINK1="http://www.strona.pl"`grep '<h1><a href="/download/' \
strona111.html | cut -d"\"" -f 2`
# sklejamy go z adresu + z lini która zawiera <h1... z której bierzemy
# drugie pole z pól rozdzielonych "\"

#szykujemy sobie nazwę pliku do ktorego zostanie zapisana zawartość: 
PLIK=`echo $LINK1 | cut -d"/" -f 6 | tr "-" "."`
# z linii którą wcześniej przygotowaliśmy bierzemy 6 pole
# i w tym polu zamieniamy "-" na "." 

# no i jedziemy
wget -U "$PRZEGLADARKA" --load-cookies ciacho -O "$PLIK" "$LINK1"
# przedstaw się..., załaduj cookies z ciacho,
# zapisz wynik do "PLIK" z linka "LINK1"


z grubsza tyle...

PS
- te cut, tr, grep - chyba najłatwiej będzie rozwiązać "awk" (gawk)
- "ciacho" chyba można też wziąć bezpośrednio np. z firefoksa
- "sleepa" rozwiązywało się w XP chyba jakimś pingiem na 127...1
- patrz a)

-- 
=============== zZzZz =====================
Re: wget i pobieranie plików np. z keep2share
#227445
Author: gosc
Date: Sun, 27 Jul 2014 20:25
29 lines
2685 bytes
tolek wrote:
> Ponieważ niektóre duże pliki ze stron typu kee2share (generalnie strony
> gdzie jako użytkownik free wklepujemy captcha i czekamy ileś tam sekund na
> wystartowanie pobierania) nie pobierają się do końca - zawiesza się
> pobieranie gdy brakuje kilku KB do końca. Chciałem podjąć pobieranie za
> pomocą programu wget (który bez problemy łyka linki z "normalnych"
> lokalizacji bez captcha).
> Próba wyciągnięcia linku (do pobieranego pliku ze strony typu keep2share)
> z firefoxa i wklejeniu go do programu wget nic nie daje, bo dostajemy
> komunikat w programie wget:
> HTTP request sent, awaiting response... 401 Unauthorized
> Authorization failed.
>
> Jak doczytałem chodzi o pliki cookies z przeglądarki, z których w gołej
> linii wget nie ma skąd wziąć i jak z nich skorzystać.
> Znalazłem wiersz poleceń "--load-cookies cookies.txt" ale nie do końca go
> rozumiem i próba go wklejenia do linii komend wget-a nic nie wniosła.
> Zakładam, że trzeba coś stworzyć co sobie wydłubie potrzebne dane z
> cookies-ów z firefoxa, zanim uruchomi z powodzeniem pobieranie pliku.
> Czy może ktoś biegły w programie wget podać jak powinna wyglądać cała linia
> polecenia aby wget mógł podjąć pobieranie z linku, który uruchomiony w
> firefoxie (którym już byliśmy na stronie, gdzie wpisaliśmy captcha) ponownie
> działa i pobiera od nowa. Wget nie potrafi przejąć takiego linku.

wget -c --output-document=dupa1.txt 
http://keep2s.cc/file/url.html?file=1234567891234
Działa ze wznawianiem.
Ciąg 1234567891234 musisz zmienić na właściwy, który jest w źródle po 
kliknięciu captcha.
Thread Navigation

This is a paginated view of messages in the thread with full content displayed inline.

Messages are displayed in chronological order, with the original post highlighted in green.

Use pagination controls to navigate through all messages in large threads.

Back to All Threads