Article View: pl.comp.programming
Article #216729Detekcja strony kodowej (Bayes?)
From: Borneq
Date: Fri, 27 Dec 2019 13:53
Date: Fri, 27 Dec 2019 13:53
12 lines
1754 bytes
1754 bytes
Mam strony kodowe 8859-*, CP12?? oraz KOI8-R. Jak rozpoznać po tekście, np. za pomocą Bayesa, która to strona kodowa? Jak mam język polski (tu musi być dodatkowa wiedza, jaki to język) to używam tylko kilku znaków ośmiobitowych (reszta to Ascii 7-bitowe) więc sprawdzam aby 8-bitowe były z tego zbioru. A jak jest z takimi językami jak rosyjski, grecki, hebrajski, arabski, które mają cały alfabet zdefiniowany w wyższym Ascii? Tu potrzebna była by nauka na tekstach - bo niektóre znaki występują rzadziej i niektóre częściej, a poza tym kontekst znaków w sylabach. Jak zdetektować UTF8? Można próbować konwertować, i czy przekonwertuje się bez błędów lub z bardzo małą ilością błędów. Ale zastanawiam się nad stronami kodowymi.
Technical Details
Message-ID:
<5e060cd2$0$511$65785112@news.neostrada.pl>Path:
mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!newsfeed.pionier.net.pl!feeder.erje.net!2.eu.feeder.erje.net!feeder2.ecngs.de!ecngs!feeder.ecngs.de!border1.nntp.ams1.giganews.com!nntp.giganews.com!newsfeed.neostrada.pl!unt-exc-02.news.neostrada.pl!unt-spo-a-01.news.neostrada.pl!news.neostrada.pl.POSTED!not-for-mailShow Full Headers
Complete Article Headers
Path: mbox-mo1.pugleaf.net!news-archive.icm.edu.pl!news.icm.edu.pl!newsfeed.pionier.net.pl!feeder.erje.net!2.eu.feeder.erje.net!feeder2.ecngs.de!ecngs!feeder.ecngs.de!border1.nntp.ams1.giganews.com!nntp.giganews.com!newsfeed.neostrada.pl!unt-exc-02.news.neostrada.pl!unt-spo-a-01.news.neostrada.pl!news.neostrada.pl.POSTED!not-for-mail Newsgroups: pl.comp.programming X-Mozilla-News-Host: news://news.neostrada.pl:119 From: Borneq <borneq@antyspam.hidden.pl> Subject: Detekcja strony kodowej (Bayes?) Date: Fri, 27 Dec 2019 14:53:31 +0100 User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64; rv:68.0) Gecko/20100101 Thunderbird/68.3.1 MIME-Version: 1.0 Lines: 12 Message-ID: <5e060cd2$0$511$65785112@news.neostrada.pl> Organization: Telekomunikacja Polska NNTP-Posting-Host: 5.184.0.104 X-Trace: 1577454803 unt-rea-b-01.news.neostrada.pl 511 5.184.0.104:29098 X-Complaints-To: abuse@news.neostrada.pl Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit