🚀 go-pugleaf

Apache Nutch:
-używa Hadoopa,
-buduje index Solr,
-plugowalny,
-pozwala na inkrementalny crawl.

On 27 Paź, 15:47, Marcin Czech <macz...@gmail.com> wrote:
> Apache Nutch:
> -używa Hadoopa,
> -buduje index Solr,
> -plugowalny,
> -pozwala na inkrementalny crawl.

Ideologicznie ten crawler jest idealny, niby pod apachem - idealnie.
Jednak jak chciałem go odpalić z kodu javowego (z eclipsa po windows),
to okazało się, że muszę przebrnąć dłuuugą drogę konfiguracyjną (w tym
zainstalować Cygwina itd..).

Choć doceniam Nutch, poszukuję crawlera, który sprawia nieco mniej
problemów. Macie jakąś inną propozycję ?

W dniu 2011-11-01 23:20, Hollow Quincy pisze:
> On 27 Paź, 15:47, Marcin Czech<macz...@gmail.com>  wrote:


> Choć doceniam Nutch, poszukuję crawlera, który sprawia nieco mniej
> problemów. Macie jakąś inną propozycję ?
Rozejrzałeś się w kręgu Lucene? Coś tam jest.
A Hadoop zniechęcił mnie na podobnym etapie, tzn. Cygwin.

Napisałeś, że chcesz crawlować ogromną ilość stron, wydaje mi się, że
z poziomu jednej maszyny a w szczególności eclipsa to raczej jest
niewykonalne, chyba że masz naprawdę dużo czasu. Jeśli chodzi o Hadoop
i windows to zdecydowanie odradzam. Lepiej zainstalować w virtualboxie
Centosa i użyć dystrybucji od Cloudery, instaluje się kilkoma
kliknięciami. Jest jeszcze Bixo, ale on też jest oparty o Hadoopa.

On 2 Lis, 09:19, Marcin Czech <macz...@gmail.com> wrote:
> Napisałeś, że chcesz crawlować ogromną ilość stron, wydaje mi się, że
> z poziomu jednej maszyny a w szczególności eclipsa to raczej jest
> niewykonalne, chyba że masz naprawdę dużo czasu. Jeśli chodzi o Hadoop
> i windows to zdecydowanie odradzam. Lepiej zainstalować w virtualboxie
> Centosa i użyć dystrybucji od Cloudery, instaluje się kilkoma
> kliknięciami. Jest jeszcze Bixo, ale on też jest oparty o Hadoopa.

Hej, No rzeczywiście napisałem, że chciałbym crawlować bardzo dużo,
jednak na chwilę obecną szukam dobrego crawlera, którego jestem w
stanie uruchomić w 3 godziny ;-)

On 27 Paź, 15:47, Marcin Czech <macz...@gmail.com> wrote:
> Apache Nutch:
[...]

Po głębszej analizie stwierdzam, że Apache Nutch jest rzeczywiście
dobrym rozwiązaniem. Jego konfiguracja jest jednak dosyć żmudna
materiałów nie ma dużo.
Apache Nutch zapisuje scrawlowane strony do swojej wewnętrznej bazy,
czy ktoś wie jak je stamtąd wydobyć i dostać oryginalne pliki html ?

Dzięki za pomoc !

Powinieneś zastanowić się czy zależy Ci na czystym htmlu? Czy może na
informacjach w nim zawartych. Jeśli na informacjach to piszesz swojego
plugina rejestrujesz go i informacje zapisujesz jako pola w indeksie.
A jak czytac indeks Lucene znajdziesz tutaj
http://stackoverflow.com/questions/2335329/how-to-read-a-lucene-index
albo zapytaj googla :)

Zapomnialem dodac tutaj jest przyklad plugina parsujacego html
http://sujitpal.blogspot.com/2009/07/nutch-custom-plugin-to-parse-and-add.html

On 8 Lis, 16:07, Marcin Czech <macz...@gmail.com> wrote:
> Zapomnialem dodac tutaj jest przyklad plugina parsujacego htmlhttp://sujitpal.blogspot.com/2009/07/nutch-custom-plugin-to-parse-and...

Cześć,

Zależy mi na informacjach zawartych w html'u, na tekście.
Gdy crawler skończył swoje działanie, we wskazanym katalogu pojawiły
mi się podkatalogi z różnymi plikami, np.
cd /my_crawled_pages/
$ ls
crawldb linkdb segments
cd /my_crawled_pages/segments/crawl_fetch/part-00000/
$ ls
data  index

Czy w tych plikach data znajduje się zawartość scrawlowanych stron ?
Jak je otworzyć ? Przez chwilę myślałem, że jest to index lucene, ale
nie mogę tych plików otworzyć w przeglądarce indexów lucene - Luke..
Gdy otwieram to vim'em, widzę że w pliku przewija się nazwa:
"Hadoop"..

Dzięki za pomoc !

On 10 Lis, 00:35, Hollow Quincy <hollow.qui...@gmail.com> wrote:
> On 8 Lis, 16:07, Marcin Czech <macz...@gmail.com> wrote:

Reasumując: - powinienem napisać swój plugin, który zapisuje rezultaty
na boku czy Nutch sam w sobie przechowuje dane (jeśli tak, to jak je
wyjąć?) ?

Ja kiedyś otwierałem ten index za pomocą Luke, ale teraz nie przypomnę
sobie który plik, a nie mam tutaj środowiska, zawsze możesz przenieść
dane do Solra http://wiki.apache.org/nutch/NutchTutorial#A6._Integrate_Solr_with_Nutch
a  wtedy to i Luke i panelem administracyjnym Solra możesz czytać.

On 10 Lis, 09:12, Marcin Czech <macz...@gmail.com> wrote:
> Ja kiedyś otwierałem ten index za pomocą Luke, ale teraz nie przypomnę
> sobie który plik, a nie mam tutaj środowiska, zawsze możesz przenieść
> dane do Solrahttp://wiki.apache.org/nutch/NutchTutorial#A6._Integrate_Solr_with_Nutch
> a  wtedy to i Luke i panelem administracyjnym Solra możesz czytać.

Cześć,

Probowałem otworzyć za pomoca Luke'a _wszystkie_ pliki stworzone przez
Nutch'a. Niestety albo Nutch domyslanie nie tworzy indexu lucene (moze
trzeba dodać jakąś opcję?), albo coś innego robię źle.
No nie mam pomysłu jak dobrać się do scrawlowanych przez Nutcha stron.

Pozdrawiam

Hollow Quincy <hollow.quincy@gmail.com> napisał(a)
> On 10 Lis, 09:12, Marcin Czech <macz...@gmail.com> wrote:
>> Ja kiedyś otwierałem ten index za pomocą Luke, ale teraz nie przypomnę
>> sobie który plik, a nie mam tutaj środowiska, zawsze możesz przenieść
>> dane do Solrahttp://wiki.apache.org/nutch/NutchTutorial#A6._Integrate_Solr_with_Nutch
>> a  wtedy to i Luke i panelem administracyjnym Solra możesz czytać.
>
> Cześć,
>
> Probowałem otworzyć za pomoca Luke'a _wszystkie_ pliki stworzone przez
> Nutch'a. Niestety albo Nutch domyslanie nie tworzy indexu lucene (moze
> trzeba dodać jakąś opcję?), albo coś innego robię źle.
> No nie mam pomysłu jak dobrać się do scrawlowanych przez Nutcha stron.
>

Czy Luke otwiera indeksy w standardzie Lucene 3.x?

-- 
Tomek

On 14 Lis, 14:14, Tomek Kańka <t...@tomkan.eu.org> wrote:
[...]
> > Probowałem otworzyć za pomoca Luke'a _wszystkie_ pliki stworzone przez
> > Nutch'a. Niestety albo Nutch domyslanie nie tworzy indexu lucene (moze
> > trzeba dodać jakąś opcję?), albo coś innego robię źle.
> > No nie mam pomysłu jak dobrać się do scrawlowanych przez Nutcha stron.
>
> Czy Luke otwiera indeksy w standardzie Lucene 3.x?

Rzeczywiście Luke obsluguje index lucene do 3.0.x. Chyba Nutch
zapisuje pliki w nowszej wersji indexu lucene. Napiszę program
otwierający index z javy i dam znać jak sprawa wygląda.

On 15 Lis, 09:46, Hollow Quincy <hollow.qui...@gmail.com> wrote:
> On 14 Lis, 14:14, Tomek Kańka <t...@tomkan.eu.org> wrote:
> [...]
>
> > > Probowałem otworzyć za pomoca Luke'a _wszystkie_ pliki stworzone przez
> > > Nutch'a. Niestety albo Nutch domyslanie nie tworzy indexu lucene (moze
> > > trzeba dodać jakąś opcję?), albo coś innego robię źle.
> > > No nie mam pomysłu jak dobrać się do scrawlowanych przez Nutcha stron.
>
> > Czy Luke otwiera indeksy w standardzie Lucene 3.x?
>
> Rzeczywiście Luke obsluguje index lucene do 3.0.x. Chyba Nutch
> zapisuje pliki w nowszej wersji indexu lucene. Napiszę program
> otwierający index z javy i dam znać jak sprawa wygląda.

Dla testow sprobuj najpierw przeniesc dane do Solr poleceniem bin/
nutch solrindex http://127.0.0.1:8983/solr/ crawldb  crawldb/segments/
* crawldb/linkdb testowa wersje solr uruchomisz w ciagu kilku minut
tutaj masz tutorial http://wiki.apache.org/nutch/NutchTutorial#A6._Integrate_Solr_with_Nutch
indeks obejrzysz z konsoli administarcyjnej http://localhost:8983/solr/admin/