(no subject)

[netch80]

$ export F=`printf "\xff\xfe\xfd"`
$ python3 -c 'import os; print(repr(os.environ["F"]))'
'\udcff\udcfe\udcfd'
$ python3 -c 'import os; print(os.environ["F"].encode())'
Traceback (most recent call last):
File "", line 1, in
UnicodeEncodeError: 'utf-8' codec can't encode characters in position 0-2: surrogates not allowed
зачем ловить медведя, если потом он тебя не отпустит?

Comments

[gegmopo4]

os.fsencode()

$ export F=`echo йцукен | iconv -t koi8u`
$ python3 -c 'import os; print(os.fsencode(os.environ["F"]))'
b'\xca\xc3\xd5\xcb\xc5\xce'
$ python3 -c 'import os, sys; sys.stdout.buffer.write(os.fsencode(os.environ["F"]))' | iconv -f koi8u
йцукен

[netch80]

В доке это есть, да.
Но требует слишком повышенного внимания при передаче куда-то вглубь.

[gegmopo4]

Підвищеної уваги потребує робота з кодуванням тексту взагалі. Краще завжди явно вказувати спосіб кодування. Але оскільки середовище може бути як байто-орієнтованим, так і тексто-орієнтованим, то приходиться зводити інтерфейс до спільного знаменника, і це — тип str, який може включати і невалідні коди які взаємно-однозначно кодують артефакти зовнішнього представлення.

Оригінальний приклад простий і має очевидне рішення. Гірше, коли просто виводиш значення змінної середовища або їм'я файла (з os.listdir() або os.getcwd()). Це текст? Текст. Стандартний вивід приймає текст? Текст. Так де ж вказувати яке кодування щоб отримати бажаний результат?

Все ж, гадаю, в Пітоні з цим справа краще, ніж в інших мовах програмування, де або валиться до того, як користувацький код має змогу обробити помилку, або незворотньо псують дані, або залишають користувача з голим системно-залежним представленням, яке потрібно вручну декодувати перш ніж з ним можна працювати. Не ідеал, але ідеал тут взагалі неможливий.

[vitus_wagner]

Ну засунул невалидную в текущей локали строку в переменную среды. А потом удивляешься, почему бедная змейса не может её скушать

``` LANG=ru_RU.CP1251 python3 -c 'import os; print(os.environ["F"])'|iconv -f cp1251

яюэ ```

[netch80]

> почему бедная змейса не может её скушать

Так она _сделала вид_, что скушала, а на самом деле подложила свинью внутреннему коду.
(Хм, питон, подкладывающий свинью...)

[vitus_wagner]

Змейсы они такие - начала заглотят, а потом не знают, как выплюнуть.