Анализ ввода Unicode с использованием python json.loads

Я приписываю строку в строку unicode, используя «latin-1», исправил ошибку:

 UnicodeDecodeError: 'utf16' codec can't decode byte 0x38 in position 6: truncated data 

Фиксированный код:

 import json ustr_to_load = unicode(str_to_load, 'latin-1') json.loads(ustr_to_load) 

И тогда ошибка не выбрасывается.

ОП разъясняет (в комментарии!) …:

Исходные данные – это огромная строка в кодировке unicode

Затем вы должны знать, какой из многих кодировок Юникода он использует – явно не «utf-16», поскольку это не удалось, но есть так много других – «utf-8», «iso-8859-15» и так далее. Вы либо пробуйте их все до тех пор, пока не print repr(str_to_load[:80]) , либо не print repr(str_to_load[:80]) и вставьте то, что он показывает, как редактирование вашего вопроса, поэтому мы можем догадаться от вашего имени! -).

Самый простой способ, который я нашел, – это

 import simplejson as json 

таким образом ваш код остается тем же

 json.loads(str_to_load) 

ссылка: https://simplejson.readthedocs.org/ru/latest/

С помощью django вы можете использовать SimpleJSON и использовать нагрузки вместо загрузки.

 from django.utils import simplejson simplejson.loads(str_to_load, "utf-8")