Красивые проблемы с супом и юникодом

Вы не сталкиваетесь с проблемой. Все ведет себя так, как предполагалось.

  указывает неразрывный символ пробела . Это не заменяется пробелом, поскольку оно не представляет собой пробел; он представляет собой неразрывное пространство. Замена его пространством потеряла бы информацию: что там, где это место, движок текстового рендеринга не должен помещать разрыв строки.

Кодовая точка Unicode для неразрывного пространства – U + 00A0, которая написана в строке Unicode в Python как \xa0 .

Кодировка UTF-8 U + 00A0 представляет собой шестнадцатеричную последовательность двух байтов C2 A0 или записывается в строковое представление Python, \xc2\xa0 . В UTF-8 для чего-либо, кроме 7-битного набора ASCII, требуется два или более байтов для его представления. В этом случае самый старший бит – восьмой бит. Это означает, что он может быть представлен двухбайтовой последовательностью (в двоичном формате) 110xxxxx 10xxxxxx где x – это биты двоичного представления кодовой точки. В случае A0, то есть 10000000 , или при кодировании в UTF-8, 11000010 10000000 или C2 A0.

Многие люди используют   в HTML, чтобы получить пробелы, которые не сворачиваются с помощью обычных правил свертывания пробелов HTML (в HTML все пробежки последовательных пробелов, вкладок и новых строк интерпретируются как одно пространство, если не применяется одно из правил white-space CSS ) но это не совсем то, для чего они предназначены; они должны использоваться для таких вещей, как имена, такие как «Mr. Miyagi», где вы не хотите, чтобы был разрыв строки между «мистером», и "Мияги". Я не уверен, почему он использовался в этом конкретном случае; это кажется неуместным здесь, но это больше проблема с вашим источником, а не с кодом, который его интерпретирует.

Теперь, если вам не очень нравится макет, поэтому вы не возражаете, выбирают ли алгоритмы компоновки текста как место для обертывания, но хотели бы интерпретировать это просто как обычное пространство, нормализация использования NFKD вполне разумна ответ (или NFKC, если вы предпочитаете предварительно сконфигурированные акценты для разложенных акцентов). Нормативы нормализации NFKC и NFKD, такие, что большинство символов, которые представляют по существу одно и то же семантическое значение в большинстве контекстов, расширяются. Например, лигатуры расширяются (ffi -> ffi), архаичные длинные символы преобразуются в s (s -> s), символы римских цифр расширяются в их отдельные буквы (Ⅳ -> IV) и неразрывное пространство преобразуется в нормальное пространство. Для некоторых символов нормализация NFKC или NFKD может потерять информацию, которая важна в некоторых контекстах: ℌ и ℍ оба будут нормализованы до H, но в математических текстах можно использовать для обозначения разных вещей.