Article View: pl.comp.www
Article #408862Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez?]
From: Andrzej A. Filip
Date: Thu, 10 Mar 2022 08:00
Date: Thu, 10 Mar 2022 08:00
23 lines
2043 bytes
2043 bytes
Tomek <skowtm@wp.xx.pl> pisze: > W dniu 09.03.2022 o 14:41, Andrzej A. Filip pisze: >> Czy da się *bez java-script* sczytać pełne top100 z list amazona? >> Może skryptu bez java-script (po stronie klienta) widzą pozycje >> 1:30 i 51:80. >> https://www.amazon.com/best-sellers-books-Amazon/zgbs/books/ >> > > A sprawdzałeś jak sobie radzi "wget"? Chciałem sprawdzić tylko "na odczepnego" ale o dziwo różnica jest i na pierwszy rzut oka jest 50 pozycji na stronie. Dzięki za *o dziwo* działające rozwiązane. Później sprawdzę czy samo ustawienie nagłówka User-Agent wystarcza [raczej tak nie niekoniecznie (na dłużej)]. Wkopałem się w obecną pozycję bo AFAIR Amazon się biesił na pusty User-Agent albo "nie poprawiony" dla WWW::Mechanize (perl). Zresztą AFAIR Amazon co kilka miesięcy odstawia "małą rewolucje". "Good Judgment Comes with Experience. Experience Comes from Bad Judgment" -- Andrzej A. Filip
Technical Details
Message-ID:
<anfi+958ky9o8af-m3a4@wp.eu>Path:
mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!newsfeed.pionier.net.pl!2.eu.feeder.erje.net!feeder.erje.net!weretis.net!feeder8.news.weretis.net!eternal-september.org!reader02.eternal-september.org!.POSTED!not-for-mailReferences:
<anfi+gsqf5l4j3f-m382@wp.eu> <622875ce$0$500$65785112@news.neostrada.pl> <anfi+1x2o5bm3cf-m393@wp.eu> <6229ab7a$0$488$65785112@news.neostrada.pl>Show Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!newsfeed.pionier.net.pl!2.eu.feeder.erje.net!feeder.erje.net!weretis.net!feeder8.news.weretis.net!eternal-september.org!reader02.eternal-september.org!.POSTED!not-for-mail From: "Andrzej A. Filip" <anfi@onet.eu> Newsgroups: pl.comp.www Subject: Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez?] Date: Thu, 10 Mar 2022 09:00:40 +0100 (CET) Organization: It is for me to know and for you to find out. Lines: 23 Message-ID: <anfi+958ky9o8af-m3a4@wp.eu> References: <anfi+gsqf5l4j3f-m382@wp.eu> <622875ce$0$500$65785112@news.neostrada.pl> <anfi+1x2o5bm3cf-m393@wp.eu> <6229ab7a$0$488$65785112@news.neostrada.pl> Mime-Version: 1.0 Injection-Info: reader02.eternal-september.org; posting-host="924b582709318ae118802018f52d97f9"; logging-data="2776"; mail-complaints-to="abuse@eternal-september.org"; posting-account="U2FsdGVkX1+ly1qlj17nfIET+PYEbcDH" Cancel-Lock: sha1:gHaJ+j1VXWP6FtYaMsltpSt6uIg= sha1:plFDxFXLEeHj9EbcX8ltJehyYAw= Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit