Article View: pl.comp.www
Article #408868Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
From: Andrzej A. Filip
Date: Sun, 13 Mar 2022 19:56
Date: Sun, 13 Mar 2022 19:56
26 lines
2346 bytes
2346 bytes
Roman Tyczka <romantyczka@hate.you.spammer> pisze: > On 11.03.2022 07:31, Andrzej A. Filip wrote: >> Sugestia przestała był użyteczna. Amazon blokuje User-Agent wget i >> samego wget "zależnie od fazy księżyca". Kilka razy zadziałało a >> teraz blokuje dostęp prawie zawsze. >> PO prostu użyje czego innego to śledzenia nowości z kategorii >> książek >> które mnie interesują "w akceptowalnym dla mnie formacie". > > Zatem sprawdź curla, on ma większe możliwości niż wget. > Np. zmiana user agenta: > curl -A "moj osobisty browser" adres Ależ wget raz czy dwa dostał wszystkie 50 wpisów na stronie (zamiast początkowych 30) zanim zaczął dostawać od amazona "503: Service Unavailable". [Wpisy 31-50 daje javascript] A co do "User-Agent:" : to z czego korzystam też pozwala to ustawić ale wygląda że amazon nie tylko to bierze pod uwagę≥. Moje oskryptowanie radzi sobie nawet z captha (z moją "ręczną" pomocą). Kiedyś amazon pytał co chwilę, jak zaczął dostawać captcha to (w końcu) przestał. Użycie Lynx-a jako browsera (czysto tekstoweggo) też nie pomogło. -- Andrzej A. Filip
Technical Details
Message-ID:
<anfi+w5epx6kzff-m3d0@wp.eu>Path:
mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!newsfeed.pionier.net.pl!3.eu.feeder.erje.net!feeder.erje.net!news2.arglkargh.de!news.mixmin.net!eternal-september.org!reader02.eternal-september.org!.POSTED!not-for-mailReferences:
<anfi+gsqf5l4j3f-m382@wp.eu> <622875ce$0$500$65785112@news.neostrada.pl> <anfi+1x2o5bm3cf-m393@wp.eu> <6229ab7a$0$488$65785112@news.neostrada.pl> <anfi+958ky9o8af-m3a4@wp.eu> <anfi+c3k3z8o8af-m3b5@wp.eu> <622e4561$0$464$65785112@news.neostrada.pl>Show Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!newsfeed.pionier.net.pl!3.eu.feeder.erje.net!feeder.erje.net!news2.arglkargh.de!news.mixmin.net!eternal-september.org!reader02.eternal-september.org!.POSTED!not-for-mail From: "Andrzej A. Filip" <anfi@onet.eu> Newsgroups: pl.comp.www Subject: Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.] Date: Sun, 13 Mar 2022 20:56:26 +0100 (CET) Organization: It is for me to know and for you to find out. Lines: 26 Message-ID: <anfi+w5epx6kzff-m3d0@wp.eu> References: <anfi+gsqf5l4j3f-m382@wp.eu> <622875ce$0$500$65785112@news.neostrada.pl> <anfi+1x2o5bm3cf-m393@wp.eu> <6229ab7a$0$488$65785112@news.neostrada.pl> <anfi+958ky9o8af-m3a4@wp.eu> <anfi+c3k3z8o8af-m3b5@wp.eu> <622e4561$0$464$65785112@news.neostrada.pl> Mime-Version: 1.0 Injection-Info: reader02.eternal-september.org; posting-host="53b06414f66020890f2d203498b9a36a"; logging-data="31549"; mail-complaints-to="abuse@eternal-september.org"; posting-account="U2FsdGVkX1+o7vMXcnhAUcUWxJ9w0Ifx" Cancel-Lock: sha1:mcSnGVTgGSXGbopkjY9V1BZpXDs= sha1:+MLmAQMzzp2oL4PhxNHIDCneJIw= Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit