🚀 go-pugleaf

Kiedys uzylem ruby do skopiowania bazy napisow do piosenek z pewnego 
portalu, algorytm pobieral strone, parsowal html, tworzyl rekordy w 
bazie, cala strona to okolo 3 GB kodu html, baza po sparsowaniu 350 mb, 
caly proces trwal okolo 4 dni, biblioteka do parsowania kodu html w ruby 
byla koszmarnie wolna :( zapewne uzywajac samych regexpow zajelo by to 
kilkanascie godzin, ale napisanie tego z wykorzystaniem DOM bylo owiele 
prostrze :) i latwiejsze w debugowaniu.

Dnia 07-10-19 15:32, moldovenu napisał(a):
>> Powiedz wiecej o tym, przedstaw pomiary, problemy, zadania. Chetnie o 
>> tym poczytam.
> 
> Moje testy to np. lista obiektów-danych. Tę listę tworzę, sortuję, 
> iteruję, używam regexpa zmieniając coś w danych.
> Albo hashowanie różnych struktur i losowe wybieranie ich.
> 
> Jak znajdę dziś jeszcze czas, to wrzucę te kody, jak nie to po weekendzie.
> 
> Ale póki co, nikt tu z was nie pisze o programach w .rb zajmujących po 
> 2-4gb ramu... :(
> 
> adam