Thread View: pl.comp.www
10 messages
10 total messages
Started by Andrzej A. Filip
Tue, 08 Mar 2022 18:38
Czy pytanie o sczytywanie stron programami/skryptami to tu?
Author: Andrzej A. Filip
Date: Tue, 08 Mar 2022 18:38
Date: Tue, 08 Mar 2022 18:38
6 lines
1067 bytes
1067 bytes
Czy pytanie o sczytywanie stron programami/skryptami to tu? P.S. Tak naprawdę to jest chyba test czy ta grupa jeszcze dycha. -- Andrzej A. Filip
Re: Czy pytanie o sczytywanie stron programami/skryptami to tu?
Author: Tomek
Date: Wed, 09 Mar 2022 09:40
Date: Wed, 09 Mar 2022 09:40
6 lines
1381 bytes
1381 bytes
W dniu 08.03.2022 o 19:38, Andrzej A. Filip pisze: > Czy pytanie o sczytywanie stron programami/skryptami to tu? > > P.S. Tak naprawdę to jest chyba test czy ta grupa jeszcze dycha. Zadaj pytanie, to może ktoś się wybudzi z hibernacji.
Re: Sczytuwanie skryptem Amazon Top100 [Was: Czy pytanie o sczytywanie stron programami/skryptami to tu?]
Author: Andrzej A. Filip
Date: Wed, 09 Mar 2022 13:41
Date: Wed, 09 Mar 2022 13:41
16 lines
1573 bytes
1573 bytes
Tomek <skowtm@wp.xx.pl> pisze: > W dniu 08.03.2022 o 19:38, Andrzej A. Filip pisze: >> Czy pytanie o sczytywanie stron programami/skryptami to tu? >> P.S. Tak naprawdę to jest chyba test czy ta grupa jeszcze dycha. > > Zadaj pytanie, to może ktoś się wybudzi z hibernacji. Czy da się *bez java-script* sczytać pełne top100 z list amazona? Może skryptu bez java-script (po stronie klienta) widzą pozycje 1:30 i 51:80. https://www.amazon.com/best-sellers-books-Amazon/zgbs/books/ -- Andrzej A. Filip
Re: Sczytuwanie skryptem Amazon Top100 [Was: Czy pytanie o sczytywanie stron programami/skryptami to tu?]
Author: Tomek
Date: Thu, 10 Mar 2022 07:41
Date: Thu, 10 Mar 2022 07:41
10 lines
1595 bytes
1595 bytes
W dniu 09.03.2022 o 14:41, Andrzej A. Filip pisze: > Czy da się *bez java-script* sczytać pełne top100 z list amazona? > > Może skryptu bez java-script (po stronie klienta) widzą pozycje > 1:30 i 51:80. > > https://www.amazon.com/best-sellers-books-Amazon/zgbs/books/ > A sprawdzałeś jak sobie radzi "wget"?
Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez?]
Author: Andrzej A. Filip
Date: Thu, 10 Mar 2022 08:00
Date: Thu, 10 Mar 2022 08:00
23 lines
2043 bytes
2043 bytes
Tomek <skowtm@wp.xx.pl> pisze: > W dniu 09.03.2022 o 14:41, Andrzej A. Filip pisze: >> Czy da się *bez java-script* sczytać pełne top100 z list amazona? >> Może skryptu bez java-script (po stronie klienta) widzą pozycje >> 1:30 i 51:80. >> https://www.amazon.com/best-sellers-books-Amazon/zgbs/books/ >> > > A sprawdzałeś jak sobie radzi "wget"? Chciałem sprawdzić tylko "na odczepnego" ale o dziwo różnica jest i na pierwszy rzut oka jest 50 pozycji na stronie. Dzięki za *o dziwo* działające rozwiązane. Później sprawdzę czy samo ustawienie nagłówka User-Agent wystarcza [raczej tak nie niekoniecznie (na dłużej)]. Wkopałem się w obecną pozycję bo AFAIR Amazon się biesił na pusty User-Agent albo "nie poprawiony" dla WWW::Mechanize (perl). Zresztą AFAIR Amazon co kilka miesięcy odstawia "małą rewolucje". "Good Judgment Comes with Experience. Experience Comes from Bad Judgment" -- Andrzej A. Filip
Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
Author: Andrzej A. Filip
Date: Fri, 11 Mar 2022 06:31
Date: Fri, 11 Mar 2022 06:31
29 lines
2355 bytes
2355 bytes
"Andrzej A. Filip" <anfi@onet.eu> pisze: > Tomek <skowtm@wp.xx.pl> pisze: >> W dniu 09.03.2022 o 14:41, Andrzej A. Filip pisze: >>> Czy da się *bez java-script* sczytać pełne top100 z list amazona? >>> Może skryptu bez java-script (po stronie klienta) widzą pozycje >>> 1:30 i 51:80. >>> https://www.amazon.com/best-sellers-books-Amazon/zgbs/books/ >>> >> >> A sprawdzałeś jak sobie radzi "wget"? > > Chciałem sprawdzić tylko "na odczepnego" ale o dziwo różnica jest i na > pierwszy rzut oka jest 50 pozycji na stronie. Dzięki za *o dziwo* > działające rozwiązane. Później sprawdzę czy samo ustawienie nagłówka > User-Agent wystarcza [raczej tak nie niekoniecznie (na dłużej)]. > > Wkopałem się w obecną pozycję bo AFAIR Amazon się biesił na pusty > User-Agent albo "nie poprawiony" dla WWW::Mechanize (perl). > Zresztą AFAIR Amazon co kilka miesięcy odstawia "małą rewolucje". Sugestia przestała był użyteczna. Amazon blokuje User-Agent wget i samego wget "zależnie od fazy księżyca". Kilka razy zadziałało a teraz blokuje dostęp prawie zawsze. PO prostu użyje czego innego to śledzenia nowości z kategorii książek które mnie interesują "w akceptowalnym dla mnie formacie". -- Andrzej A. Filip
Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
Author: Roman Tyczka
Date: Sun, 13 Mar 2022 19:26
Date: Sun, 13 Mar 2022 19:26
15 lines
1836 bytes
1836 bytes
On 11.03.2022 07:31, Andrzej A. Filip wrote: > Sugestia przestała był użyteczna. Amazon blokuje User-Agent wget i > samego wget "zależnie od fazy księżyca". Kilka razy zadziałało a > teraz blokuje dostęp prawie zawsze. > > PO prostu użyje czego innego to śledzenia nowości z kategorii książek > które mnie interesują "w akceptowalnym dla mnie formacie". Zatem sprawdź curla, on ma większe możliwości niż wget. Np. zmiana user agenta: curl -A "moj osobisty browser" adres -- pzdr Roman
Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
Author: Andrzej A. Filip
Date: Sun, 13 Mar 2022 19:56
Date: Sun, 13 Mar 2022 19:56
26 lines
2346 bytes
2346 bytes
Roman Tyczka <romantyczka@hate.you.spammer> pisze: > On 11.03.2022 07:31, Andrzej A. Filip wrote: >> Sugestia przestała był użyteczna. Amazon blokuje User-Agent wget i >> samego wget "zależnie od fazy księżyca". Kilka razy zadziałało a >> teraz blokuje dostęp prawie zawsze. >> PO prostu użyje czego innego to śledzenia nowości z kategorii >> książek >> które mnie interesują "w akceptowalnym dla mnie formacie". > > Zatem sprawdź curla, on ma większe możliwości niż wget. > Np. zmiana user agenta: > curl -A "moj osobisty browser" adres Ależ wget raz czy dwa dostał wszystkie 50 wpisów na stronie (zamiast początkowych 30) zanim zaczął dostawać od amazona "503: Service Unavailable". [Wpisy 31-50 daje javascript] A co do "User-Agent:" : to z czego korzystam też pozwala to ustawić ale wygląda że amazon nie tylko to bierze pod uwagę≥. Moje oskryptowanie radzi sobie nawet z captha (z moją "ręczną" pomocą). Kiedyś amazon pytał co chwilę, jak zaczął dostawać captcha to (w końcu) przestał. Użycie Lynx-a jako browsera (czysto tekstoweggo) też nie pomogło. -- Andrzej A. Filip
Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
Author: Tomek
Date: Tue, 15 Mar 2022 08:46
Date: Tue, 15 Mar 2022 08:46
10 lines
1790 bytes
1790 bytes
W dniu 13.03.2022 o 20:56, Andrzej A. Filip pisze: > Roman Tyczka <romantyczka@hate.you.spammer> pisze: >> On 11.03.2022 07:31, Andrzej A. Filip wrote: >>> Sugestia przestała był użyteczna. Amazon blokuje User-Agent wget i >>> samego wget "zależnie od fazy księżyca". Kilka razy zadziałało a >>> teraz blokuje dostęp prawie zawsze. To może użyj wgeta z parametrem: --random-wait
Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
Author: Andrzej A. Filip
Date: Tue, 15 Mar 2022 11:18
Date: Tue, 15 Mar 2022 11:18
38 lines
2273 bytes
2273 bytes
Tomek <skowtm@wp.xx.pl> pisze: > W dniu 13.03.2022 o 20:56, Andrzej A. Filip pisze: >> Roman Tyczka <romantyczka@hate.you.spammer> pisze: >>> On 11.03.2022 07:31, Andrzej A. Filip wrote: >>>> Sugestia przestała był użyteczna. Amazon blokuje User-Agent wget i >>>> samego wget "zależnie od fazy księżyca". Kilka razy zadziałało a >>>> teraz blokuje dostęp prawie zawsze. > > > To może użyj wgeta z parametrem: > --random-wait Problem polega na tym że amazom.com *teraz już* odwala próbę ściągnięcia pierwszej strony przez wget. ---request begin--- GET /Best-Sellers-Science-Fiction-Fantasy/zgbs/books/25/ HTTP/1.1 Host: www.amazon.com User-Agent: Wget/1.21.2 Accept: */* Accept-Encoding: identity Connection: Keep-Alive ---response begin--- HTTP/1.1 503 Service Unavailable Content-Type: text/html Content-Length: 2671 Connection: keep-alive … Vary: Content-Type,Accept-Encoding,X-Amzn-CDN-Cache,X-Amzn-AX-Treatment,User-Agent … X-Cache: Error from cloudfront … -- Andrzej A. Filip
Thread Navigation
This is a paginated view of messages in the thread with full content displayed inline.
Messages are displayed in chronological order, with the original post highlighted in green.
Use pagination controls to navigate through all messages in large threads.
Back to All Threads