🚀 go-pugleaf

W dniu 2011-11-13 16:55, nullpointer pisze:
> Zakładam że jesteś w stanie wygenerować jakoś taki plik. Wygeneruj, a
> potem podanym wyżej sposobem zapisz go w różnych kodowaniach (a
> następnie z tych kodowań odczytaj) i sprawdź czy:
> a) Po odczycie masz to co przed zapisem
> b) Pliki w różnych kodowaniach się czymś różnią (np rozmiarem)
> i czy Ci to przeszkadza
>
> Zasadniczo UTF-8 powinien Ci wystarczyć. Idea tego kodowania polega na
> tym, że znaki (o ile się da) kodowane są na jednym bajcie, a jeśli się
> nie da, to masz w tekście potworki tylu 0x0123itd... które kodują znaki
> spoza 8-bitowego zestawu.
>
> Dla UTF-16 każdy znak zapisywany jest na dwóch bajtach, więc pliki będą
> większe, a 16 bitów zdaje się i tak nie wyczerpuje wszystkich
> dopuszczalnych znaków.

Nie do końca prawda - dla znaków z poza tzw. Basic Multilingual Plane
(np. hieroglifów egipskich) przewidziane jest kodowanie na 4 bajtach
w ramach UTF-16 (tzw. surogaty). Tym właśnie UTF-16 różni się od UCS-2.
UTF-16 potrafi (tak jak UTF-8, ale nie UCS-2) zapisać całą dziedzinę
znaków Unicode (aktualnie 2^21 o ile pamiętam).

Do bazowego pytania - jeśli znaków z poza ASCII będzie względnie mało,
a zależy na małym rozmiarze pliku, to UTF-8 jest najlepszym wyborem.
Jeśli dużo ma być znaków z CJK (Chińskie/Japońskie/Koreańskie), to UTF-8
będzie kodował te znaki na trzech bajtach, a UTF-16 - na 2.

-- 
     Paweł Kierski
     news@pkierski.net