🚀 go-pugleaf

RetroBBS NetNews Server

Inspired by RockSolid Light RIP Retro Guy

Article View: pl.news.mordplik
Article #37915

Re: Śmieci słownikowe - łatwo po nich ciąć!

#37915
From: Godryk
Date: Wed, 10 Mar 2004 07:42
62 lines
3818 bytes
I nastał wieczór, i stał się zaranek, 
i Michal Kosek odzywa się do nas w te słowa:
> Godryk <godric@sf-f.pl> wrote:
>>>> /([a-zA-Z]{4,}\s+){10,}/i
>>>
>>> Chyba moja odpowiedz zostalaby zakwalifikowana przez Twoj regexp jako spam 
>>> mimo ze jest w miare normalna :-)
>> Owszem - przedostatnia linia - ale piszesz bez znaków interpunkcyjnych. 
>> Jakbyś tam użył przecinków, to już by było po problemie. A powinieneś użyć 
>> dwóch.
> Wydaje mi sie - na ile znam interpunkcje - ze tylko po "spam",
> a ominiecie jednego przecinka kazdemu moze sie zdarzyc. Gdzie jeszcze
> wg Ciebie powinien byc przecinek?

Nie, miałem na myśli przedostatnią linię. 

Jest:
>>> Istnienie linijki zawierajacej same wyrazy majace ponad trzy litery wcale
Powinno być:
>>> Istnienie linijki, zawierajacej same wyrazy majace ponad trzy litery, wcale

Natomiast ta linia, o której piszesz, powinna mieć jeden przecinek, po 'spam'. 

>> [...]
>>> Istnienie linijki zawierajacej same wyrazy majace ponad trzy litery wcale 
>>> nie jest takie nieprawdopodobne jak Ci sie wydaje.
>> 
>> I owszem. Ale jak pisałem we wcześniejszej odpowiedzi, jest to kwestia 
>> indywidualnego doboru parametrów. U mnie sprawdza się (5,8) - (4,10) jest 
>> faktycznie zbyt silne.
>
> Postawione przez Ciebie zadanie napisania sensownej linijki zawierajacej
> wyrazy piecio- i wiecejliterowe jest nieco trudniejsze, acz nie
> niewykonalne ;) Wg mnie to nie jest zbyt dobra metoda na odsiew, chyba

Ależ oczywiście - Tomek Surmacz też się przyłaczył do konkursu. ;-)

> ze potraktujesz to tylko jako jeden z klasyfikatorow, ze stosunkowo
> niewielka waga...

Inaczej. Ja nie twierdzę, ze to ma być jedyny test. Natomiast w przypadku 
kogoś, kto używa do cięcia spamu procmaila, może to być jeen z dość 
skutecznych, a łatwych do przeprowadzenia testów wstępnych.

Przykładowo - ja używam skryptu antywirusowego YAVR (Yet Another antiVirus 
Recipe) v1.9.1 Nikosa Kantariakasa <URL: http://agriroot.aua.gr/~nikant/nkvir/>
Działa pięknie, tylko że waży 50 kilo. Znaczy, jako INCLUDE w moim .procmailrc.
Nie muszę chyba mówić, ile zasobów zżera skanowanie długich wiadomości. 

Więc co mogę, tnę przed includem. I to, co proponuję, jest dobre jako test 
wstępny. Co się załapie, mogę wrzucić do worka "spam" i już. I co najwyżej 
rzucić okiem raz w tygodniu, czy nie złapało jakiejś wiadomości wysłanej 
faktycznie do mnie.

A akurat test zliczający tylko długość ciągów, bez zwracania uwagi na
konkretne literki, będzie mało skomplikowany, szybszy w wykonaniu od
dowolnego filtrowania po słowach kluczowych.

-- 
Godryk / S.M.O.K. prfs-f / godric@sf-f.pl / Tomek Marcinkowski
______________________________________________________________
>>>       [ lepszy dla ciebie byłby świt zimowy ]          <<<
Technical Details
Message-ID: <slrnc4thpr.plr.godric@godric.was.here>
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news2.icm.edu.pl!news.zigzag.pl!not-for-mail
References: <slrnc4rafv.fae.godric@godric.was.here> <c2l17b$dkj$1@druid.ceti.pl> <slrnc4sdfg.mv3.godric@godric.was.here> <c2lhhr$jrf$1@druid.ceti.pl>

Show Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news2.icm.edu.pl!news.zigzag.pl!not-for-mail
From: Godryk <godric@sf-f.pl>
Newsgroups: pl.news.mordplik
Subject: Re: Śmieci słownikowe - łatwo
 po nich ciąć!
Date: Wed, 10 Mar 2004 07:42:56 +0000 (UTC)
Organization: The Workstation - where every work stops...
Lines: 62
Message-ID: <slrnc4thpr.plr.godric@godric.was.here>
References: <slrnc4rafv.fae.godric@godric.was.here> <c2l17b$dkj$1@druid.ceti.pl> <slrnc4sdfg.mv3.godric@godric.was.here> <c2lhhr$jrf$1@druid.ceti.pl>
NNTP-Posting-Host: drozd.smutek.pl
Mime-Version: 1.0
X-Trace: news.zigzag.pl 1078904576 7280 193.109.226.14 (10 Mar 2004 07:42:56 GMT)
X-Complaints-To: abuse@zigzag.pl
NNTP-Posting-Date: Wed, 10 Mar 2004 07:42:56 +0000 (UTC)
User-Agent: slrn/0.9.8.0 (NetBSD)
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit