🚀 go-pugleaf

RetroBBS NetNews Server

Inspired by RockSolid Light RIP Retro Guy

Article View: pl.comp.lang.python
Article #27892

Re: jaki serwer do takie zastosowania (import i parsowanie XML'i)

#27892
From: Szyk
Date: Fri, 28 Jan 2011 21:34
37 lines
2793 bytes
W dniu 2011-01-26 19:24, luky pisze:
> Witam,
> dopiero zaczynam przygodę z pythonem więc prosze o wyrozumiałość.
> Mam potrzebe cyklicznie (co kilka minut) importować duże XML'e po
> http/https następnie zawartość tych XML'i wkładać do bazy danych
> PostgreSQL. XML'e chciałbym pobierać i parsować za pomocą Pythona i jego
> biblotek
>
> mam więc kilka pytań:
> -załóżmy że posiadam serwer dedykowany, jaki serwer na nim zainstalować
> dla pythonk'a aby ten cyklicznie sobie wykonywał porządane operacje,
> wiem że tak naprawde wystarczy cron+python ale w przyszłości chciałbym
> to rozwijać o np. zrobienie webservices, itd.

Do samego ściągania nie potrzeba własnego serwera. Ściąganie i wrzucanie 
do bazi to jedno, a serwer www to drugie. Oba mogą latać na pythonie, 
ale nie muszą (mogą to być zupełnie inne języki a nawet kilka róznych 
jezyków).

> -jaka bilboteka do parsowania XML'i byłaby odpowiednia do powyższgo
> zastosowania (gdzieś czytam o simpleXML...)

Szczerze mówiąc, to do ściągania co parę minut dużych plików i do ich 
mielenia ja bym odradzał pythona, bo może okazać się zbyt wolny. Ale na 
upartego można to zrobić w pythonie. Ja kiedyś użyłem tego: 
http://www.crummy.com/software/BeautifulSoup/

> -jakiś pomysł na pobieranie tych XML'i? a może jakoś da bezpośrednio je
> czytać (leżą one na innym serwerze oczywiście).

Python ma wbudowanego klienta HTTP dokumentacja jest na stronie 
projektu. Czasem zdarzają się pliki asynchronicznie udostępniane (do 
pobierania skryptami JavaScript). W takim przypadku skutecznie użyłem 
asynchttp.py

Ja się tym bawiłem jeszcze starym Pythonem, dlatego podane przeze mnie 
narzędzia mogą być nie dostępne w Python v3.x.
Technical Details
Message-ID: <4d43366c$0$2508$65785112@news.neostrada.pl>
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.rmf.pl!agh.edu.pl!news.agh.edu.pl!news.onet.pl!news.nask.pl!news.nask.org.pl!newsfeed2.atman.pl!newsfeed.atman.pl!newsfeed.neostrada.pl!unt-exc-02.news.neostrada.pl!unt-spo-a-02.news.neostrada.pl!news.neostrada.pl.POSTED!not-for-mail
References: <ihpotm$kep$1@news.onet.pl>

Show Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.rmf.pl!agh.edu.pl!news.agh.edu.pl!news.onet.pl!news.nask.pl!news.nask.org.pl!newsfeed2.atman.pl!newsfeed.atman.pl!newsfeed.neostrada.pl!unt-exc-02.news.neostrada.pl!unt-spo-a-02.news.neostrada.pl!news.neostrada.pl.POSTED!not-for-mail
Date: Fri, 28 Jan 2011 22:34:49 +0100
From: Szyk <szyk100@o2.pl>
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; pl; rv:1.9.2.13) Gecko/20101207 Thunderbird/3.1.7
MIME-Version: 1.0
Newsgroups: pl.comp.lang.python
Subject: Re: jaki serwer do takie zastosowania (import i parsowanie XML'i)
References: <ihpotm$kep$1@news.onet.pl>
In-Reply-To: <ihpotm$kep$1@news.onet.pl>
Lines: 37
Message-ID: <4d43366c$0$2508$65785112@news.neostrada.pl>
Organization: Telekomunikacja Polska
NNTP-Posting-Host: 83.20.90.189
X-Trace: 1296250476 unt-rea-a-02.news.neostrada.pl 2508 83.20.90.189:2459
X-Complaints-To: abuse@news.neostrada.pl
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit