Beautiful Soup 4 find_all не нашел ссылки, которые нашел Beautiful Soup 3

Я заметил очень раздражающую ошибку: BeautifulSoup4 (пакет: bs4 ) часто находит меньше тегов, чем предыдущая версия (пакет: BeautifulSoup ).

Вот воспроизводимый пример этой проблемы:

• Почему bs4 возвращает теги, а затем пустой список этого метода find_all ()?
• Очистка веб-сайта Python для содержимого, созданного javascript.
• Как я могу прокручивать данные для нескольких страниц на веб-сайте с помощью python и beautifulsoup4
• Данные веб-соскабливания с интерактивной диаграммы
• Как ускорить очистку веб-страниц в python
• Веб-скребка HTML-таблицы с использованием Python

 import requests import bs4 import BeautifulSoup r = requests.get('http://wordpress.org/download/release-archive/') s4 = bs4.BeautifulSoup(r.text) s3 = BeautifulSoup.BeautifulSoup(r.text) print 'With BeautifulSoup 4 : {}'.format(len(s4.findAll('a'))) print 'With BeautifulSoup 3 : {}'.format(len(s3.findAll('a'))) 

Вывод:

 With BeautifulSoup 4 : 557 With BeautifulSoup 3 : 1701 

Разница не незначительна, как вы можете видеть.

Вот точные версии модулей, если кто-то задается вопросом:

 In [20]: bs4.__version__ Out[20]: '4.2.1' In [21]: BeautifulSoup.__version__ Out[21]: '3.2.1' 

 s4 = bs4.BeautifulSoup(r.text, 'html.parser')