Article View: pl.comp.lang.python
Article #27892Re: jaki serwer do takie zastosowania (import i parsowanie XML'i)
From: Szyk
Date: Fri, 28 Jan 2011 21:34
Date: Fri, 28 Jan 2011 21:34
37 lines
2793 bytes
2793 bytes
W dniu 2011-01-26 19:24, luky pisze: > Witam, > dopiero zaczynam przygodę z pythonem więc prosze o wyrozumiałość. > Mam potrzebe cyklicznie (co kilka minut) importować duże XML'e po > http/https następnie zawartość tych XML'i wkładać do bazy danych > PostgreSQL. XML'e chciałbym pobierać i parsować za pomocą Pythona i jego > biblotek > > mam więc kilka pytań: > -załóżmy że posiadam serwer dedykowany, jaki serwer na nim zainstalować > dla pythonk'a aby ten cyklicznie sobie wykonywał porządane operacje, > wiem że tak naprawde wystarczy cron+python ale w przyszłości chciałbym > to rozwijać o np. zrobienie webservices, itd. Do samego ściągania nie potrzeba własnego serwera. Ściąganie i wrzucanie do bazi to jedno, a serwer www to drugie. Oba mogą latać na pythonie, ale nie muszą (mogą to być zupełnie inne języki a nawet kilka róznych jezyków). > -jaka bilboteka do parsowania XML'i byłaby odpowiednia do powyższgo > zastosowania (gdzieś czytam o simpleXML...) Szczerze mówiąc, to do ściągania co parę minut dużych plików i do ich mielenia ja bym odradzał pythona, bo może okazać się zbyt wolny. Ale na upartego można to zrobić w pythonie. Ja kiedyś użyłem tego: http://www.crummy.com/software/BeautifulSoup/ > -jakiś pomysł na pobieranie tych XML'i? a może jakoś da bezpośrednio je > czytać (leżą one na innym serwerze oczywiście). Python ma wbudowanego klienta HTTP dokumentacja jest na stronie projektu. Czasem zdarzają się pliki asynchronicznie udostępniane (do pobierania skryptami JavaScript). W takim przypadku skutecznie użyłem asynchttp.py Ja się tym bawiłem jeszcze starym Pythonem, dlatego podane przeze mnie narzędzia mogą być nie dostępne w Python v3.x.
Technical Details
Message-ID:
<4d43366c$0$2508$65785112@news.neostrada.pl>Path:
mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.rmf.pl!agh.edu.pl!news.agh.edu.pl!news.onet.pl!news.nask.pl!news.nask.org.pl!newsfeed2.atman.pl!newsfeed.atman.pl!newsfeed.neostrada.pl!unt-exc-02.news.neostrada.pl!unt-spo-a-02.news.neostrada.pl!news.neostrada.pl.POSTED!not-for-mailReferences:
<ihpotm$kep$1@news.onet.pl>Show Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.rmf.pl!agh.edu.pl!news.agh.edu.pl!news.onet.pl!news.nask.pl!news.nask.org.pl!newsfeed2.atman.pl!newsfeed.atman.pl!newsfeed.neostrada.pl!unt-exc-02.news.neostrada.pl!unt-spo-a-02.news.neostrada.pl!news.neostrada.pl.POSTED!not-for-mail Date: Fri, 28 Jan 2011 22:34:49 +0100 From: Szyk <szyk100@o2.pl> User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; pl; rv:1.9.2.13) Gecko/20101207 Thunderbird/3.1.7 MIME-Version: 1.0 Newsgroups: pl.comp.lang.python Subject: Re: jaki serwer do takie zastosowania (import i parsowanie XML'i) References: <ihpotm$kep$1@news.onet.pl> In-Reply-To: <ihpotm$kep$1@news.onet.pl> Lines: 37 Message-ID: <4d43366c$0$2508$65785112@news.neostrada.pl> Organization: Telekomunikacja Polska NNTP-Posting-Host: 83.20.90.189 X-Trace: 1296250476 unt-rea-a-02.news.neostrada.pl 2508 83.20.90.189:2459 X-Complaints-To: abuse@news.neostrada.pl Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit