🚀 go-pugleaf

I nastał wieczór, i stał się zaranek, 
i BLE_Maciek odzywa się do nas w te słowa:
> Tue, 9 Mar 2004 11:25:58 +0000 (UTC) jednostka biologiczna o nazwie
> Godryk <godric@sf-f.pl> wyslala do portu 119
> jednego z serwerow news nastepujace dane:
>
>>Przy tych parametrach false positives będzie bardzo mało - w ciągu 
>>dziesieciu angielskich słów użytych w sensownym tekście prktycznie 
>>na pewno znajdzie się znak przestankowy, czy rodzajnik albo przyimek, 
>>krótszy niż 4 litery - a wśród słów polskich, czy w innym języku 
>>- znak diakrytyczny. 
> Hmm taki pewny to bym nie byl, ale pomysl ciekawy. Jednak zwiekszylbym
> limit do np. 15-20 slow.

Jasne, to można sobie zresztą dobrać eksperymentalnie. Jak dla mnie, 
kryterium (5,8) wystarcza (co najmniej 8 ciągów co najmniej 5-literowych 
liter wyłącznie łacińskich) - jest zero false positives.

Zrobiłem test. Mam archiwum wysłanych postów, sent_posts - ok. 1,8 MB 
z ostatnich paru miesięcy - wszystko po polsku, chociaż część bez pliterek. 
Archiwa pocztowe: sent-mail - 3,5 MB, incoming - 1,1 MB.

Przeciwko temu - 103 kB spamu, nie odsianego przez obecne regułki procmaila 
- 23 przesyłki, w tym dwie po polsku, 480 kB porno spamu oraz ok. 40 kB 
nigeryjczyków (bo jedyny kawałek angielszczyzny, jaki miałem pod ręką).

egrep "([a-zA-Z]{5,}[ ]+){8,}" sent_posts 
Wynik: 0 trafień.

egrep "([a-zA-Z]{5,}[ ]+){8,}" incoming
Wynik: 0 trafień.

egrep "([a-zA-Z]{5,}[ ]+){8,}" sent_mail
Wynik: 0 trafień.

egrep "([a-zA-Z]{5,}[ ]+){8,}" unfiltered 
Wynik: 22 linie.

egrep "([a-zA-Z]{5,}[ ]+){8,}" porn-spam 
Wynik: 0 trafień (nic dziwnego, bo zniekształcanie wyrazów jest tu częste).

egrep "([a-zA-Z]{5,}[ ]+){8,}" nigerian-scam 
Wynik: 0 trafień (i dobrze - to znaczy, że normalnego angielskiego tekstu 
nie rusza; ale mała próbka, ledwie 40 kilo).

Przy osłabianiu kryteriów z (5,8) do (5,5) załapywało się bardzo dużo linii 
z postów pisanych po polsku bez pliterek, oraz kilka linii z pliterkami. 
Ponadto ze spamu "unfiltered" wybierało linie z normalnym tekstem 
angielskim i polskim. 

Po wzmocnieniu do (5,10) złapało tylko 16 linii z "unfiltered", nic 
z pozostałych plików.

-- 
Godryk / S.M.O.K. prfs-f / godric@sf-f.pl / Tomek Marcinkowski
______________________________________________________________
>>>    dziękuję kyi za pomoc w losowaniu sygnaturek :-)    <<<