🚀 go-pugleaf

Michal Witczak (lwie...@cwave.com) wrote:
: On 13 Mar 1996 09:03:20 +0100, Michal.J...@fuw.edu.pl (Michal
: Jankowski) wrote:

: >>>>>> "Michal" == Michal Witczak <lwie...@cwave.com> writes:
: >
: >Michal> A co ze s�ownikiem MS Word pracuje �wietnie i ma
: >Michal> zaledwie 600kb nie da si� go przerobi� na ISO? Micha�
: >
: >A co z prawami autorskimi? Czy chcesz, zebysmy tego Worda kradli, czy
: >jak?
: >
: >  MJ

: Michal> A co ze s�ownikiem MS Word pracuje wietnie i ma
: Michal> zaledwie 600kb nie da si� go przerobi� na ISO? Micha�

: A co z prawami autorskimi? Czy chcesz, zebysmy tego Worda kradli, czy
: jak?

:   M

: A kto m�wi �eby kra� mo�na wykorzysta� tylko zas�b s��w.

Jest z tym troche problemu: slownik Worda jest dosc dobry, ale zawiera 
bledy (rzedu 0.5-1.5%) i opuszczenia. No i jest zakodowany. 

Rozwiazaniem ktore jest zgodne z prawem i (na pozor) latwe do wykonania 
to zrobienie listy slow uzytych w dlugim tekscie, odzrzucenie podejrzanych 
i sprawdzenie reszty jakims komercyjnym slownikiem. 

Ale wynik nie byl zgodny z oczekiwaniem: lista slow z tekstow liczacych 
ok. 20Mb ma ok. 120tys pozycji. Jednak form podstawowych jest znacznie mniej,
automatycznie daje sie ich wyodrembnic tylko okolo 10tys (co daje polowe 
listy). Przy tym wiekszosc slow wystepuje bardzo rzadko (prawie polowa 
jednokrotnie) - czyli nawet zla lista daje niezly efekt przy uzyciu, lecz 
zrobienie dobrej listy nie jest latwe. 

Efektem tych prob jest lista liczaca ok. 180 tys pozycji (slowa z tekstu + 
czesc listy Maszkowskiego + odmiana wykrytych rdzeni).  Uwaga: Na razie 
szukalem tylko odmian przymiotnikow i czasownikow. Rzeczowniki sa bardziej 
nieregularne - wiec zostawilem je na pozniej.

W razie zainteresowania moge podzelic sie lista i narzedziami -  lecz 
zrobienie w miare kompletnej listy slow wymagaloby 200M do 2G tekstu, 
a wykorzystanie czestosci do eliminacji bledow wymagaloby rzedu 20G do 200G
(nie wiem czy tyle tekstu po polsku wpisano do komputera).

Pozdrawiam


--
                              Waldek Hebisch
heb...@math.uni.wroc.pl    or heb...@hera.math.uni.wroc.pl