🚀 go-pugleaf

RetroBBS NetNews Server

Inspired by RockSolid Light RIP Retro Guy

Article View: alt.pl.mozilla
Article #960

Re: Bayes - filtrowanie - słabe strony [długie](było: Re: Dwa krótkie pytanka) (was: Dwa krótkie pytanka)

#960
From: Ludwik
Date: Wed, 09 Jul 2003 12:51
90 lines
6728 bytes
> Chyba ta twoja główka nie za bardzo cię rozbolała? ;-P
Jaka głowa? ;)

> flame) chcę sobie samemu uzmysłowić sens opierania klienta poczty wyłącznie
> na jednym sposobie postępowania ze spamem.
Jako to _jednym_?? W Kurierze Poczty masz tradycyjne filtry jak w 
Outlooku _oraz_ inteligentny filtr antyspamowy.

> 1. jest dość powolny w działaniu - trening trochę musi trwać
Ja po przeczytaniu tego tekstu (a był to mój pierwszy kontakt z 
inteligentnym filtrem) dokładnie to zrozumiałem. Zauważ też że czym 
więcej spamu do ciebie przychodzi tym filtr szybciej się uczy - więc 
czym bardziej go potrzebujesz tym szybciej jest gotowy do działania ;D

> 2. nie eliminuje spamu, który - łącznie z innymi filtrami (np. nadawcy,
> domeny, tematu, IP, RBL itd.)  - można by wyciąć na pniu: już po pierwszej
> wiadomości
Przepraszam, nie rozumiem tego punktu. Zapewne moja wina.

> 3. bayes nie jest oszczędny - spam i tak pobieramy: co najwyżej ten moduł
> rozpoznawania pozwala przenosić spam z inboxa do innego folderka; tyle to
> ja sam mogę zrobić używając własnych oczu i zdrowego rozsądku.
Pozwala też usunąć (po ściągnięciu). Jeśli ktoś dostaje mało maili i 
mało spamu to żeczywiscie mu bez róznicy. Ale gdy dla kogoś poczta 
elektroniczna jest narzędziem pracy na pewno doceni tę funkcję.

> Technologia beyesianska pewnie inaczej nie może być wykorzystana. Problem w
> tym, aby ludziom to uzmysławiać - sam bayes _nie_ _jest_ _lekiem_ _na_
> *spam*. Zwolennicy tej metody powinni to przyznawać. Więc proszę się nie
> obrażać na moje monotonne zapytania!
Myślę że w dużej mierze jest lekiem. Tradycyjnym filtrom (powtarzam - 
które w Mozilli tez sa obecne) trzeba określać wszystkie możliwe 
przypadki, a i tak większośc spamu się przemknie (bo jest więcej niż 
prawdopodobne, że kolejny spam będzie miał innego nadawce czy temat nić 
poprzedni). To że inteligentny filtr sam się uczy na podstawie naszych 
wyborów oszczedza nam wpisywania ciągle nowych regułek, co gorsza zwykle 
nie skutecznych. To że potrzebuje do tego pełnej treści listu wydaje się 
oczywiste - my sami często nie potrafimy do końca określić listu jako 
spam, puki nie zobaczymy jego treści. Więc jak można żądać tego od filtru?

> I jak dla mnie drugi punkt ważny - chyba pominięty w tekście Barteckiego.
> Otóż załóżmy, że filtr już przeszedł trening - ma już efektywną tablice
> prawdopodobieństw. I co dalej? Otóż tego nie wiem. I o to pytałem. IVHO
> teraz bayes-moduł *przewiduje*, że określona wiadomość, np. posiadająca
> pewien temat plus posiadająca pewnego nadawcę plus posiadająca jakiś
> charakterystyczny nagłówek to jest w 100% śmieć. Te trzy cechy (wysoko
> punktowane w hierarchii "bycia spamem") wystarczą, aby daną wiadomość
> skasować już na serwerze! Nie trzeba za każdym razem analizować *całości*
> wiadomości.
Można by zrobić filtr, który analizuje tylko nagłówki, ale było by to 
*nieskończenie* mniej skuteczne. Temat i nadawca zwykle o niczym nie 
świadczą.

> b. jeśli pewien zestaw minimalnych (ale wysoce niezawodnych) kryteriów już
> wystarcza do rozpoznania i skasowania spamu, to po co cały ten bayes-moduł?
> Przecież to samo - i to bardzo szybko - mogą wykonać *zestawy* paru filtrów
> (po temacie, nadawcy, IP, RBL itd.). I tu jest sporo racji - choć nie do
> końca.
Można? Moim zdaniem nie. Nie znam takiego zestawu "minimalnych, ale 
wysocne niezawodnych, kryteriów". Można powiedzieć że bayes-modół tworzy 
właśnie takie kryteria, tylko jego zestaw napewno nie jest *minimalny*, 
jego zestaw zawiera wszystkie wiadomości które otrzymaliśmy (zarówno te 
uznane za spam jak i nie). Spamy sa bardzo różne i nie analizując ich 
treści na obecność wielu, wielu elementów nie skonstruujemy skutecznego 
filtru.

> Otóż bayse-moduł się uczy: czyli nawet, jak na czarnej liście spamerskich
> tematów będę miał "Increase the rod", to proste filtrowanie po temacie nie
> zabije spamu z tematem "Hey how is it going?" - a bayes-moduł przez etap
> treningu pewnie może w tym drugim temacie (plus inne cechy) rozpoznać
> oznakę spamu. [podany przykład jest fikcyjny - chodzi mi tu o ilustrację]
Dokładnie. Piękna Elizabeth, która zaprasza cię do obejrzenia jej nagich 
zdjęć z tematu "hey how is it going?" wyladuje w koszu. No chyba, ze 
wyuczysz inteligentny filtr że chcesz dostawac spam erotyczny ;)

> Konkludując - użycie w Mozilli filtrowania bayesianskiego jako jedynego
> antidotum na spam, to stanowczo za mało.
Z moich doświadczeń wynika, że wystarcza. Moge wpisywać ręcznie regułki, 
ale po co skoro inteligentny modół zrobi to za mnie? No i moje regułki 
nigdy nie będą tak zaawansowane...


> I pytanie dla dociekliwych: jakie programy antyspamowe używają bayes-filtru
> jako jednego z /kilku/ modułów ochrony przed spamem? ;-)
Kurier Poczty Mozilli :D


-- 
Serwis Usenet w portalu Gazeta.pl -> http://www.gazeta.pl/usenet/
Technical Details
Message-ID: <beh31c$3ua$1@inews.gazeta.pl>
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.rmf.pl!news.ipartners.pl!news.internetia.pl!newsfeed.gazeta.pl!news.gazeta.pl!not-for-mail
References: <be431g$ro9$1@atlantis.news.tpi.pl> <be47lg$plm$1@atlantis.news.tpi.pl> <1cvcoayxcit42$.dlg@do.androids.dream.of.sheep> <be715b$rna$2@inews.gazeta.pl> <1w53rqdruvijt.dlg@do.androids.dream.of.sheep> <be8klt$6nm$1@inews.gazeta.pl> <1c4cqovex7uo8$.dlg@do.androids.dream.of.sheep> <be9i34$1ph$1@inews.gazeta.pl> <1eo9ghffn46d8$.dlg@do.androids.dream.of.sheep> <bechrm$sho$6@inews.gazeta.pl> <42399e3hkh2.dlg@do.androids.dream.of.sheep> <beea7u$ki2$1@inews.gazeta.pl> <1i3gymmvvw1dj.dlg@do.androids.dream.of.sheep>

Show Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.rmf.pl!news.ipartners.pl!news.internetia.pl!newsfeed.gazeta.pl!news.gazeta.pl!not-for-mail
From: Ludwik <ludwik@WYTNIJ_TO.gazeta.pl>
Newsgroups: alt.pl.mozilla
Subject: Re: Bayes - filtrowanie - słabe strony
 [długie](było: Re: Dwa krótkie
 pytanka) (was:   Dwa krótkie pytanka)
Date: Wed, 09 Jul 2003 14:51:10 +0200
Organization: Portal Gazeta.pl -> http://www.gazeta.pl
Lines: 90
Message-ID: <beh31c$3ua$1@inews.gazeta.pl>
References: <be431g$ro9$1@atlantis.news.tpi.pl> <be47lg$plm$1@atlantis.news.tpi.pl> <1cvcoayxcit42$.dlg@do.androids.dream.of.sheep> <be715b$rna$2@inews.gazeta.pl> <1w53rqdruvijt.dlg@do.androids.dream.of.sheep> <be8klt$6nm$1@inews.gazeta.pl> <1c4cqovex7uo8$.dlg@do.androids.dream.of.sheep> <be9i34$1ph$1@inews.gazeta.pl> <1eo9ghffn46d8$.dlg@do.androids.dream.of.sheep> <bechrm$sho$6@inews.gazeta.pl> <42399e3hkh2.dlg@do.androids.dream.of.sheep> <beea7u$ki2$1@inews.gazeta.pl> <1i3gymmvvw1dj.dlg@do.androids.dream.of.sheep>
NNTP-Posting-Host: vm90.neoplus.adsl.tpnet.pl
Mime-Version: 1.0
X-Trace: inews.gazeta.pl 1057754988 4042 80.50.132.90 (9 Jul 2003 12:49:48 GMT)
X-Complaints-To: usenet@agora.pl
NNTP-Posting-Date: Wed, 9 Jul 2003 12:49:48 +0000 (UTC)
In-Reply-To: <1i3gymmvvw1dj.dlg@do.androids.dream.of.sheep>
X-Accept-Language: pl, en, en-us
X-User: ludwik
User-Agent: Mozilla/5.0 (X11; U; Linux i686; pl-PL; rv:1.4) Gecko/20030624
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit