BeautifulSoup возвращает пустой список при поиске по именам составных классов

BeautifulSoup возвращает пустой список при поиске по составным именам классов с помощью regex.

Пример:

import re from bs4 import BeautifulSoup bs = """ <a class="name-single name692" href="www.example.com"">Example Text</a> """ bsObj = BeautifulSoup(bs) # this returns the class found_elements = bsObj.find_all("a", class_= re.compile("^(name-single.*)$")) # this returns an empty list found_elements = bsObj.find_all("a", class_= re.compile("^(name-single name\d*)$")) 

Мне нужно, чтобы выбор класса был очень точным. Есть идеи?

2 Solutions collect form web for “BeautifulSoup возвращает пустой список при поиске по именам составных классов”

К сожалению, когда вы пытаетесь сделать соответствие регулярного выражения атрибуту класса, содержащему несколько классов, BeautifulSoup будет применять регулярное выражение для каждого отдельного класса отдельно. Вот актуальные темы по проблеме:

  • Регулярное выражение Python для Beautiful Soup
  • Поиск нескольких классов CSS неудобен

Это все потому, что class является очень особенным многозначным атрибутом, и каждый раз, когда вы анализируете HTML, один из создателей дерева BeautifulSoup (в зависимости от выбора парсера) внутренне разбивает значение строки класса на список классов (цитата из HTMLTreeBuilderHTMLTreeBuilder ):

 # The HTML standard defines these attributes as containing a # space-separated list of values, not a single value. That is, # class="foo bar" means that the 'class' attribute has two values, # 'foo' and 'bar', not the single value 'foo bar'. When we # encounter one of these attributes, we will parse its value into # a list of values if possible. Upon output, the list will be # converted back into a string. 

Существует несколько способов обхода проблемы, но вот хак-иш – мы собираемся попросить BeautifulSoup не обрабатывать class как многозначный атрибут, создав наш простой пользовательский построитель дерева:

 import re from bs4 import BeautifulSoup from bs4.builder._htmlparser import HTMLParserTreeBuilder class MyBuilder(HTMLParserTreeBuilder): def __init__(self): super(MyBuilder, self).__init__() # BeautifulSoup, please don't treat "class" specially self.cdata_list_attributes["*"].remove("class") bs = """<a class="name-single name692" href="www.example.com"">Example Text</a>""" bsObj = BeautifulSoup(bs, "html.parser", builder=MyBuilder()) found_elements = bsObj.find_all("a", class_=re.compile(r"^name\-single name\d+$")) print(found_elements) 

В этом случае регулярное выражение будет применяться к значению атрибута class в целом.


Кроме того, вы можете просто анализировать HTML с включенными функциями xml (если это применимо):

 soup = BeautifulSoup(data, "xml") 

Вы также можете использовать селектор CSS и сопоставлять все элементы с name-single классом и классом, смотрящим на «имя»:

 soup.select("a.name-single,a[class^=name]") 

Затем вы можете вручную применить регулярное выражение вручную:

 pattern = re.compile(r"^name-single name\d+$") for elm in bsObj.select("a.name-single,a[class^=name]"): match = pattern.match(" ".join(elm["class"])) if match: print(elm) 

Для этого варианта использования я бы просто использовал настраиваемый фильтр , например:

 import re from bs4 import BeautifulSoup from bs4.builder._htmlparser import HTMLParserTreeBuilder def myclassfilter(tag): return re.compile(r"^name\-single name\d+$").search(' '.join(tag['class'])) bs = """<a class="name-single name692" href="www.example.com"">Example Text</a>""" bsObj = BeautifulSoup(bs, "html.parser") found_elements = bsObj.find_all(myclassfilter) print(found_elements) 
Interesting Posts

pythonic способ переписать присваивание в выражении if

Не удалось обновить график Tplinter matplotlib с помощью кнопок и пользовательских данных

Не удалось запустить .py-файл из putty, Синтаксическая ошибка: слово неожиданно (ожидается «)»)

Как генерировать имена динамических переменных в pandas dataframe

Какой самый быстрый способ снять и заменить документ с высокими символами Юникода с помощью Python?

Как проверить подключение к базе данных в python?

двойная кавычка в os.system на окнах

fmin_cg: Желаемая ошибка не всегда достигается из-за потери точности

Lxml html xpath context

Солить все атрибуты, кроме одного

Python return statement error "'return' external function"

Получить все возможные совпадения для регулярных выражений (в python)?

Драйвер python cassandra: неверная или неподдерживаемая версия протокола: 4

Запуск bash в подпроцессе прерывает stdout tty, если прерывается при ожидании `read -s`?

Использование Python и lxml для проверки XML на внешний DTD

Python - лучший язык программирования в мире.