(no subject)

[netch80]

$ export F=`printf "\xff\xfe\xfd"`
$ python3 -c 'import os; print(repr(os.environ["F"]))'
'\udcff\udcfe\udcfd'
$ python3 -c 'import os; print(os.environ["F"].encode())'
Traceback (most recent call last):
File "", line 1, in
UnicodeEncodeError: 'utf-8' codec can't encode characters in position 0-2: surrogates not allowed
зачем ловить медведя, если потом он тебя не отпустит?

Comments

[gegmopo4]

os.fsencode()

$ export F=`echo йцукен | iconv -t koi8u`
$ python3 -c 'import os; print(os.fsencode(os.environ["F"]))'
b'\xca\xc3\xd5\xcb\xc5\xce'
$ python3 -c 'import os, sys; sys.stdout.buffer.write(os.fsencode(os.environ["F"]))' | iconv -f koi8u
йцукен

[netch80]

В доке это есть, да.
Но требует слишком повышенного внимания при передаче куда-то вглубь.

[gegmopo4]

Підвищеної уваги потребує робота з кодуванням тексту взагалі. Краще завжди явно вказувати спосіб кодування. Але оскільки середовище може бути як байто-орієнтованим, так і тексто-орієнтованим, то приходиться зводити інтерфейс до спільного знаменника, і це — тип str, який може включати і невалідні коди які взаємно-однозначно кодують артефакти зовнішнього представлення.

Оригінальний приклад простий і має очевидне рішення. Гірше, коли просто виводиш значення змінної середовища або їм'я файла (з os.listdir() або os.getcwd()). Це текст? Текст. Стандартний вивід приймає текст? Текст. Так де ж вказувати яке кодування щоб отримати бажаний результат?

Все ж, гадаю, в Пітоні з цим справа краще, ніж в інших мовах програмування, де або валиться до того, як користувацький код має змогу обробити помилку, або незворотньо псують дані, або залишають користувача з голим системно-залежним представленням, яке потрібно вручну декодувати перш ніж з ним можна працювати. Не ідеал, але ідеал тут взагалі неможливий.