Использование Python для очистки вложенных разделов и интервалов в Twitter?
Я пытаюсь очистить понравившиеся и ретвиты от результатов поиска в Twitter.
После запуска Python ниже я получаю пустой список, [] . Я не использую API-интерфейс Twitter, потому что он не смотрит на твиты хэштегом так далеко.
- Как я могу анализировать переменные Javascript с помощью python?
- соскабливание ответа от выбранного варианта в выпадающем списке
- Скремблирование веб-сайта с интерактивным контентом в Python
- Скопировать данные с помощью Python, когда с веб-сайта с несколькими страницами, но URL-адрес не изменяется?
- Проблема скремблирования созданного javascript контента с помощью Selenium и python
Код, который я использую:
from bs4 import BeautifulSoup import requests url = 'https://twitter.com/search?q=%23bangkokbombing%20since%3A2015-08-10%20until%3A2015-09-30&src=typd&lang=en' r = requests.get(url) data = r.text soup = BeautifulSoup(data, "lxml") all_likes = soup.find_all('span', class_='ProfileTweet-actionCountForPresentation') print(all_likes)
Я могу успешно сохранить html в файл, используя этот код. При поиске текста не хватает больших объемов информации, таких как имена классов, которые я ищу …
Поэтому (часть) проблема, по-видимому, заключается в точном доступе к исходному коду.
filename = 'newfile2.txt' with open(filename, 'w') as handle: handle.writelines(str(data))
На этом снимке экрана показан диапазон, который я пытаюсь очистить.
Я посмотрел на этот вопрос, другие понравились, но я не совсем понял.
Как использовать BeautifulSoup для получения глубоко вложенных значений div?
- Начинающий скрежет, продолжайте получать пустые списки
- Используйте BeautifulSoup, чтобы получить значение после определенного тега
- Python: csv.writer, записывающий каждый символ слова в отдельном столбце / ячейке
- Чтение динамически созданных веб-страниц с использованием python
- Селен Python пропускает необходимые элементы
- Необходимо очистить информацию с веб-страницы с помощью кнопки «показать больше», каких-либо рекомендаций?
- Использование Mechanize (Python) для заполнения формы
- Не имея проблем с пониманием того, где искать исходный код, чтобы создать веб-скребок
One Solution collect form web for “Использование Python для очистки вложенных разделов и интервалов в Twitter?”
Кажется, что ваш запрос GET возвращает допустимый HTML, но без элементов твита в элементе #timeline. Однако, добавление агента пользователя в заголовки запроса, похоже, исправляет это.
from bs4 import BeautifulSoup import requests url = 'https://twitter.com/search?q=%23bangkokbombing%20since%3A2015-08-10%20until%3A2015-09-30&src=typd&lang=en' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36'} r = requests.get(url, headers=headers) data = r.text soup = BeautifulSoup(data, "lxml") all_likes = soup.find_all('span', class_='ProfileTweet-actionCountForPresentation') print(all_likes)