Как получить текст с текстом «быстрый ответ» в googles?

Я пытаюсь получить текст «быстрый ответ» в googles. То, что я подразумеваю под «быстрым ответом», должно быть ясно при посещении скриншота: введите описание изображения здесь

Этот ящик отображается google, если вы вводите поиск, а google знает ответ. Поэтому вам не нужно открывать одну из ссылок, показанных ниже. Поле отображается, если вы вводите следующий запрос:

https://google.de/search?q=definition%20calcium

Теперь я хочу прочитать этот текст через скрипт python. Я пишу метод, который использует запросы и прекрасный суп для достижения этого:

def execute(self): response = requests.get(url='https://google.de/search?q=definition%20calcium', proxies=self._proxy) soup = BeautifulSoup(response.content, 'html.parser') return soup.find_all("ol", class_="lr_dct_sf_sens") 

Метод всегда возвращает [], что означает пустой список. Но если я использую хром-консоль, я могу найти именно этот термин:

введите описание изображения здесь

Поэтому я не могу понять, почему это невозможно найти. Для тестирования я пишу весь контент из requests.get в файл с этим:

 file = open('C:\\Users\\me\\Desktop\\test.txt', 'w') file.write(response.text) file.close() 

Пытался искать файл с помощью блокнота, но я не могу найти шаблон поиска. Не уверен, что response.text сократит некоторые детали.

Кто-то там, кто может объяснить это мне? Как я могу получить этот текст?

One Solution collect form web for “Как получить текст с текстом «быстрый ответ» в googles?”

Если вы внимательно наблюдаете за запросами сети при загрузке этой страницы, вы увидите, что Google запускает еще одну ссылку, которая содержит ваши данные.

Попробуйте получить доступ к этому в своем браузере:

https://www.google.com/search?q=definition:+calcium&bav=on.2,or.r_cp.&cad=b&fp=1&biw=1920&bih=984&dpr=1&tch=1&ech=1&psi=1489578048971.3

Он загрузит файл, в котором доступны ваши данные быстрого доступа. Вы можете найти в этом файле the chemical element of atomic number чтобы проверить это.

Вам придется очистить файл и очистить данные, которые вы хотите.

  • python игнорировать сертификат подтверждения urllib2
  • Запросы с несколькими соединениями
  • Использование «запросов» Python с существующим подключением сокетов
  • Python скрежет страницы с печеньем
  • Передача csrftoken с запросами python
  • Объект AttributeError: '_socketobject' не имеет атрибута 'set_tlsext_host_name'
  • request.get () throwing requests.exceptions.ConnectionError после 100 запросов
  • Библиотека запросов Python - определить конкретный DNS?
  • Python - лучший язык программирования в мире.