🚀 go-pugleaf

Python 2.2 ma jakieś problemy z poprawną obsługą znaków UTF-8 w w
module re. Zobaczcie jakie głupoty powstają.

Wpierw tworzę sobie próbny string z polskimi znaczkami oddzielonymi
spacją.

>>> s = 'ą ć ę ł ń ó ś ż ź'
>>> s
'\xb9 \xe6 \xea \xb3 \xf1 \xf3 \x9c \xbf \x9f'

Teraz zamieniam to na utf-8:

>>> u = unicode(s, 'cp1250').encode('utf-8')
>>> u
'\xc4\x85 \xc4\x87 \xc4\x99 \xc5\x82 \xc5\x84 \xc3\xb3 \xc5\x9b
\xc5\xbc \xc5\xba'

Próbuję wyłuskać z tego polskie znaczki:

>>> re.compile(r'(\w)', re.U).findall(u)
['\xc4', '\xc4', '\xc4', '\xc5', '\xc5', '\xc3', '\xb3', '\xc5',
'\xc5', '\xbc', '\xc5', '\xba']

Kiepsko. Python nie zrozumiał, że ma do czynienia z utf-8 mimo, że mu
ustawiłem flagę re.U

Z kolei jak zmienię wyrażenie regularne na \S czyli wszystkie znaki
oprócz spacji, tabulatora i entera, to mam jeszcze inny wynik:

>>> re.compile(r'(\S)', re.U).findall(u)
['\xc4', '\xc4', '\x87', '\xc4', '\x99', '\xc5', '\x82', '\xc5',
'\x84', '\xc3', '\xb3', '\xc5', '\x9b', '\xc5', '\xbc', '\xc5',
'\xba']

Wygląda na to, że nie można używać modułu re do wyłuskiwania tekstów w
formacie utf-8. Kiepsko. :(

-- 
JZ