🚀 go-pugleaf

RetroBBS NetNews Server

Inspired by RockSolid Light RIP Retro Guy

Article View: pl.comp.www
Article #408864

Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]

#408864
From: Andrzej A. Filip
Date: Fri, 11 Mar 2022 06:31
29 lines
2355 bytes
"Andrzej A. Filip" <anfi@onet.eu> pisze:
> Tomek <skowtm@wp.xx.pl> pisze:
>> W dniu 09.03.2022 o 14:41, Andrzej A. Filip pisze:
>>> Czy da się *bez java-script* sczytać pełne top100 z list amazona?
>>> Może skryptu bez java-script (po stronie klienta) widzą pozycje
>>> 1:30 i 51:80.
>>> https://www.amazon.com/best-sellers-books-Amazon/zgbs/books/
>>> 
>>
>> A sprawdzałeś jak sobie radzi "wget"?
>
> Chciałem sprawdzić tylko "na odczepnego" ale o dziwo różnica jest i na
> pierwszy rzut oka jest 50 pozycji na stronie. Dzięki za *o dziwo*
> działające rozwiązane.  Później sprawdzę czy samo ustawienie nagłówka
> User-Agent wystarcza [raczej tak nie niekoniecznie (na dłużej)].
>
> Wkopałem się w obecną pozycję bo AFAIR Amazon się biesił na pusty
> User-Agent albo "nie poprawiony" dla WWW::Mechanize (perl).
> Zresztą AFAIR Amazon co kilka miesięcy odstawia "małą rewolucje".

Sugestia przestała był użyteczna.  Amazon blokuje User-Agent wget i
samego wget "zależnie od fazy księżyca".  Kilka razy zadziałało a
teraz blokuje dostęp prawie zawsze.

PO prostu użyje czego innego to śledzenia nowości z kategorii książek
które mnie interesują "w akceptowalnym dla mnie formacie".

-- 
Andrzej A. Filip
Technical Details
Message-ID: <anfi+c3k3z8o8af-m3b5@wp.eu>
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!newsfeed.pionier.net.pl!2.eu.feeder.erje.net!feeder.erje.net!eternal-september.org!reader02.eternal-september.org!.POSTED!not-for-mail
References: <anfi+gsqf5l4j3f-m382@wp.eu> <622875ce$0$500$65785112@news.neostrada.pl> <anfi+1x2o5bm3cf-m393@wp.eu> <6229ab7a$0$488$65785112@news.neostrada.pl> <anfi+958ky9o8af-m3a4@wp.eu>

Show Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!newsfeed.pionier.net.pl!2.eu.feeder.erje.net!feeder.erje.net!eternal-september.org!reader02.eternal-september.org!.POSTED!not-for-mail
From: "Andrzej A. Filip" <anfi@onet.eu>
Newsgroups: pl.comp.www
Subject: Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
Date: Fri, 11 Mar 2022 07:31:14 +0100 (CET)
Organization: It is for me to know and for you to find out.
Lines: 29
Message-ID: <anfi+c3k3z8o8af-m3b5@wp.eu>
References: <anfi+gsqf5l4j3f-m382@wp.eu> <622875ce$0$500$65785112@news.neostrada.pl> <anfi+1x2o5bm3cf-m393@wp.eu> <6229ab7a$0$488$65785112@news.neostrada.pl> <anfi+958ky9o8af-m3a4@wp.eu>
Mime-Version: 1.0
Injection-Info: reader02.eternal-september.org; posting-host="bf97d023af2c160e715194203fcb9af3"; logging-data="29744"; mail-complaints-to="abuse@eternal-september.org"; posting-account="U2FsdGVkX18C9vEtQUwBbONCpD9lgYum"
Cancel-Lock: sha1:AdnNkMo0mypvOVXKtHRudgKvinU= sha1:ODp4MsuI1h5w0KLapZHPFgNovVk=
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit