Article View: pl.news.mordplik
Article #37915Re: Śmieci słownikowe - łatwo po nich ciąć!
From: Godryk
Date: Wed, 10 Mar 2004 07:42
Date: Wed, 10 Mar 2004 07:42
62 lines
3818 bytes
3818 bytes
I nastał wieczór, i stał się zaranek,
i Michal Kosek odzywa się do nas w te słowa:
> Godryk <godric@sf-f.pl> wrote:
>>>> /([a-zA-Z]{4,}\s+){10,}/i
>>>
>>> Chyba moja odpowiedz zostalaby zakwalifikowana przez Twoj regexp jako spam
>>> mimo ze jest w miare normalna :-)
>> Owszem - przedostatnia linia - ale piszesz bez znaków interpunkcyjnych.
>> Jakbyś tam użył przecinków, to już by było po problemie. A powinieneś użyć
>> dwóch.
> Wydaje mi sie - na ile znam interpunkcje - ze tylko po "spam",
> a ominiecie jednego przecinka kazdemu moze sie zdarzyc. Gdzie jeszcze
> wg Ciebie powinien byc przecinek?
Nie, miałem na myśli przedostatnią linię.
Jest:
>>> Istnienie linijki zawierajacej same wyrazy majace ponad trzy litery wcale
Powinno być:
>>> Istnienie linijki, zawierajacej same wyrazy majace ponad trzy litery, wcale
Natomiast ta linia, o której piszesz, powinna mieć jeden przecinek, po 'spam'.
>> [...]
>>> Istnienie linijki zawierajacej same wyrazy majace ponad trzy litery wcale
>>> nie jest takie nieprawdopodobne jak Ci sie wydaje.
>>
>> I owszem. Ale jak pisałem we wcześniejszej odpowiedzi, jest to kwestia
>> indywidualnego doboru parametrów. U mnie sprawdza się (5,8) - (4,10) jest
>> faktycznie zbyt silne.
>
> Postawione przez Ciebie zadanie napisania sensownej linijki zawierajacej
> wyrazy piecio- i wiecejliterowe jest nieco trudniejsze, acz nie
> niewykonalne ;) Wg mnie to nie jest zbyt dobra metoda na odsiew, chyba
Ależ oczywiście - Tomek Surmacz też się przyłaczył do konkursu. ;-)
> ze potraktujesz to tylko jako jeden z klasyfikatorow, ze stosunkowo
> niewielka waga...
Inaczej. Ja nie twierdzę, ze to ma być jedyny test. Natomiast w przypadku
kogoś, kto używa do cięcia spamu procmaila, może to być jeen z dość
skutecznych, a łatwych do przeprowadzenia testów wstępnych.
Przykładowo - ja używam skryptu antywirusowego YAVR (Yet Another antiVirus
Recipe) v1.9.1 Nikosa Kantariakasa <URL: http://agriroot.aua.gr/~nikant/nkvir/>
Działa pięknie, tylko że waży 50 kilo. Znaczy, jako INCLUDE w moim .procmailrc.
Nie muszę chyba mówić, ile zasobów zżera skanowanie długich wiadomości.
Więc co mogę, tnę przed includem. I to, co proponuję, jest dobre jako test
wstępny. Co się załapie, mogę wrzucić do worka "spam" i już. I co najwyżej
rzucić okiem raz w tygodniu, czy nie złapało jakiejś wiadomości wysłanej
faktycznie do mnie.
A akurat test zliczający tylko długość ciągów, bez zwracania uwagi na
konkretne literki, będzie mało skomplikowany, szybszy w wykonaniu od
dowolnego filtrowania po słowach kluczowych.
--
Godryk / S.M.O.K. prfs-f / godric@sf-f.pl / Tomek Marcinkowski
______________________________________________________________
>>> [ lepszy dla ciebie byłby świt zimowy ] <<<
Technical Details
Message-ID:
<slrnc4thpr.plr.godric@godric.was.here>Path:
mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news2.icm.edu.pl!news.zigzag.pl!not-for-mailReferences:
<slrnc4rafv.fae.godric@godric.was.here> <c2l17b$dkj$1@druid.ceti.pl> <slrnc4sdfg.mv3.godric@godric.was.here> <c2lhhr$jrf$1@druid.ceti.pl>Show Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news2.icm.edu.pl!news.zigzag.pl!not-for-mail From: Godryk <godric@sf-f.pl> Newsgroups: pl.news.mordplik Subject: Re: Śmieci słownikowe - łatwo po nich ciąć! Date: Wed, 10 Mar 2004 07:42:56 +0000 (UTC) Organization: The Workstation - where every work stops... Lines: 62 Message-ID: <slrnc4thpr.plr.godric@godric.was.here> References: <slrnc4rafv.fae.godric@godric.was.here> <c2l17b$dkj$1@druid.ceti.pl> <slrnc4sdfg.mv3.godric@godric.was.here> <c2lhhr$jrf$1@druid.ceti.pl> NNTP-Posting-Host: drozd.smutek.pl Mime-Version: 1.0 X-Trace: news.zigzag.pl 1078904576 7280 193.109.226.14 (10 Mar 2004 07:42:56 GMT) X-Complaints-To: abuse@zigzag.pl NNTP-Posting-Date: Wed, 10 Mar 2004 07:42:56 +0000 (UTC) User-Agent: slrn/0.9.8.0 (NetBSD) Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit