🚀 go-pugleaf

On Tue, 1 Nov 2011 16:13:40 -0700 (PDT) Seweryn Habdank-Wojewódzki
<habdank@gmail.com> wrote:

> Czy ktos pisal w Pythonie cos co przeszukuje usenet?
> 
> Chodzi mi o wsparcie do nastepujacego zagadnienia.
> Jest grupa dyskusyjna A i chce miec ogolne pojecie o tym
> jakie tematy sa najczesciej walkowane - np. na potrzeby FAQ.
> Jesli moge przecesac usenet (w jakims zakresie czasowym),
> to moge zbudowac baze wiedzy, jakie tematy byly poruszane,
> np. na podstawie slow kluczowych.
> 
> A moze sa gdzies gotowe moduly?
> 
> Myslalem o prymitywnym podejsciu odwrotnym.
> 
> Wziac przygotowac plik ze slowami kluczowymi i zapuszczac
> dla kazdego z osobna google i srawdzac ile ma wynikow,
> ale w sumie nie wiem, czy to dobre podejscie, bo zgubi
> mase tematow, ktorych nie bede mial w pliku.

Ja lata temu napisałem program do archiwizacji grup,
opierał swoje działanie na standardowym module nntplib.
Ściągałem wszystko z serwera, każdą wiadomość do osobnego
pliku, a potem z tego robiłem indeks autorów, podział na
miesiące itp.

w.

epsilon$ while read LINE; do echo \>"$LINE"; done < "Wojciech Muła"
>Ja lata temu napisałem program do archiwizacji grup,
>opierał swoje działanie na standardowym module nntplib.
>Ściągałem wszystko z serwera, każdą wiadomość do osobnego
>pliku,

A nie mogłeś do tego po prostu fetchnewsa z leafnode użyć? :-)



-- 
\------------------------/
|  Kruk@epsilon.eu.org   |
| http://epsilon.eu.org/ |
/------------------------\

On Wed, 02 Nov 2011 09:28:57 +0100 Mariusz Kruk
<Mariusz.Kruk@epsilon.eu.org> wrote:

> epsilon$ while read LINE; do echo \>"$LINE"; done < "Wojciech Muła"
> >Ja lata temu napisałem program do archiwizacji grup,
> >opierał swoje działanie na standardowym module nntplib.
> >Ściągałem wszystko z serwera, każdą wiadomość do osobnego
> >pliku,
> 
> A nie mogłeś do tego po prostu fetchnewsa z leafnode użyć? :-)

Wtedy nie wiedziałem co to jest leafnode. :)

w.

Witam,

> > A nie mogłeś do tego po prostu fetchnewsa z leafnode użyć? :-)

Dzieki za wskazowki. Sprobuje cos takiego machnac.

Pozdrawiam,
Seweryn Habdank-Wojewodzki.

> Wziac przygotowac plik ze slowami kluczowymi i zapuszczac
> dla kazdego z osobna google i srawdzac ile ma wynikow,
> ale w sumie nie wiem, czy to dobre podejscie, bo zgubi
> mase tematow, ktorych nie bede mial w pliku.

To raczej chybiony pomysł, bo google ma zabezpieczenie i po kilku 
nagłych zapytaniach odmawia wykonania usługi, a jeśli nie automatem, to 
przepytywanie trwało by wieki. Google oferuje dedykowane wersje swojej 
przeglądarki w wersji bezpłatnej (gdzie trzeba podać, że się korzysta z 
google i z wersji płatnej bez tego ograniczenia. Ale nie wiem czy to by 
Ci pomogło...

epsilon$ while read LINE; do echo \>"$LINE"; done < "Seweryn Habdank-Wojewódzki"
>Myslalem o prymitywnym podejsciu odwrotnym.
>
>Wziac przygotowac plik ze slowami kluczowymi i zapuszczac
>dla kazdego z osobna google i srawdzac ile ma wynikow,
>ale w sumie nie wiem, czy to dobre podejscie, bo zgubi
>mase tematow, ktorych nie bede mial w pliku.

Bardzo kiepskie podejście. DLa każdego słowa kluczowego przeczesujesz
bazę. Lepiej byłoby chyba na przykład na podstawie słownika zbudować drzewo
decyzyjne i po kolei szukać nim w plikach.
Ale to jak już masz listę.
Chyba prościej byłoby lecieć w drugą stronę - czytać pliki i tworzyć
słownik.

-- 
\------------------------/
|  Kruk@epsilon.eu.org   |
| http://epsilon.eu.org/ |
/------------------------\

Witam,

> Bardzo kiepskie podej cie. DLa ka dego s owa kluczowego przeczesujesz
> baz . Lepiej by oby chyba na przyk ad na podstawie s ownika zbudowa drzewo
> decyzyjne i po kolei szuka nim w plikach.
> Ale to jak ju masz list .
> Chyba pro ciej by oby lecie w drug stron - czyta pliki i tworzy
> s ownik.

Nie chodzi o wydajne przeszukiwanie tekstu, a w zasadzie klasyfikacje
kontekstu.
To jest oczywiscie ciekawe zadanie i mozna je odseparowac od samych
niusow,
majac pliki tekstowe, lub cokolwiek zassanego z sieci.
Np. fajnie wyglada klasyfikacja tekstow, przy nieznanej liczbie grup,
ale przy zalozonej
odleglosci Levensteina.

Chodzilo mi o samo zadanie ssania niusow, tudziez dostepu do niusow.

Pozdrawiam,
Seweryn Habdank-Wojewodzki.

epsilon$ while read LINE; do echo \>"$LINE"; done < "Seweryn Habdank-Wojewódzki"
>Chodzilo mi o samo zadanie ssania niusow, tudziez dostepu do niusow.

No to albo nntplib, albo pociągnąć zewnętrznym programem (np. fetchnews,
o którym już wspominałem) i mamy pliki.

-- 
\------------------------/
|  Kruk@epsilon.eu.org   |
| http://epsilon.eu.org/ |
/------------------------\