Article View: pl.comp.www
Article #408872Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
From: Andrzej A. Filip
Date: Tue, 15 Mar 2022 11:18
Date: Tue, 15 Mar 2022 11:18
38 lines
2273 bytes
2273 bytes
Tomek <skowtm@wp.xx.pl> pisze: > W dniu 13.03.2022 o 20:56, Andrzej A. Filip pisze: >> Roman Tyczka <romantyczka@hate.you.spammer> pisze: >>> On 11.03.2022 07:31, Andrzej A. Filip wrote: >>>> Sugestia przestała był użyteczna. Amazon blokuje User-Agent wget i >>>> samego wget "zależnie od fazy księżyca". Kilka razy zadziałało a >>>> teraz blokuje dostęp prawie zawsze. > > > To może użyj wgeta z parametrem: > --random-wait Problem polega na tym że amazom.com *teraz już* odwala próbę ściągnięcia pierwszej strony przez wget. ---request begin--- GET /Best-Sellers-Science-Fiction-Fantasy/zgbs/books/25/ HTTP/1.1 Host: www.amazon.com User-Agent: Wget/1.21.2 Accept: */* Accept-Encoding: identity Connection: Keep-Alive ---response begin--- HTTP/1.1 503 Service Unavailable Content-Type: text/html Content-Length: 2671 Connection: keep-alive … Vary: Content-Type,Accept-Encoding,X-Amzn-CDN-Cache,X-Amzn-AX-Treatment,User-Agent … X-Cache: Error from cloudfront … -- Andrzej A. Filip
Technical Details
Message-ID:
<anfi+1pln96f7mf-m3f2@wp.eu>Path:
mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!newsfeed.pionier.net.pl!2.eu.feeder.erje.net!feeder.erje.net!eternal-september.org!reader02.eternal-september.org!.POSTED!not-for-mailReferences:
<anfi+gsqf5l4j3f-m382@wp.eu> <622875ce$0$500$65785112@news.neostrada.pl> <anfi+1x2o5bm3cf-m393@wp.eu> <6229ab7a$0$488$65785112@news.neostrada.pl> <anfi+958ky9o8af-m3a4@wp.eu> <anfi+c3k3z8o8af-m3b5@wp.eu> <622e4561$0$464$65785112@news.neostrada.pl> <anfi+w5epx6kzff-m3d0@wp.eu> <62305243$0$491$65785112@news.neostrada.pl>Show Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!newsfeed.pionier.net.pl!2.eu.feeder.erje.net!feeder.erje.net!eternal-september.org!reader02.eternal-september.org!.POSTED!not-for-mail From: "Andrzej A. Filip" <anfi@onet.eu> Newsgroups: pl.comp.www Subject: Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.] Date: Tue, 15 Mar 2022 12:18:48 +0100 (CET) Organization: It is for me to know and for you to find out. Lines: 38 Message-ID: <anfi+1pln96f7mf-m3f2@wp.eu> References: <anfi+gsqf5l4j3f-m382@wp.eu> <622875ce$0$500$65785112@news.neostrada.pl> <anfi+1x2o5bm3cf-m393@wp.eu> <6229ab7a$0$488$65785112@news.neostrada.pl> <anfi+958ky9o8af-m3a4@wp.eu> <anfi+c3k3z8o8af-m3b5@wp.eu> <622e4561$0$464$65785112@news.neostrada.pl> <anfi+w5epx6kzff-m3d0@wp.eu> <62305243$0$491$65785112@news.neostrada.pl> Mime-Version: 1.0 Injection-Info: reader02.eternal-september.org; posting-host="a249e4af995a8f7334890cb4bfce76b4"; logging-data="17585"; mail-complaints-to="abuse@eternal-september.org"; posting-account="U2FsdGVkX1/rV0FYY4+rinQLUastt8wP" Cancel-Lock: sha1:Pre2678DOnB5T1ELnloueYds+Tk= sha1:hyh4vc6CegVp0iONJQCkLjn9HNw= Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit