Безглавой браузер для Python (поддержка Javascript НЕОБХОДИМА!)
Мне нужен безголовый браузер, который довольно прост в использовании (я до сих пор довольно новичок в Python и вообще в программировании), что позволит мне перейти на страницу, войти в форму, которая требует Javascript, а затем очистить полученную веб-страницу поиск результатов, соответствующих определенным критериям, нажатие флажков и загрузка файлов. Все это требует Javascript.
Я слышал, что безголовый браузер – это то, что я хочу – требования / предпочтения в том, что я могу запустить его с Python, и желательно, чтобы результирующий скрипт был скомпилирован py2exe (я пишу эту программу для других пользователей).
- веб-соскабливание динамического содержимого с помощью python
- BeautifulSoup get_text не разделяет все теги и JavaScript
- Скремблирование и анализ результатов поиска Google с использованием Python
- Сырое HTML против DOM соскабливания в питоне с использованием механизации и красивого супа
- Выполнение Javascript с Python
- Почему декодер python заменяет более чем недопустимые байты из кодированной строки?
Пока Ветряная мельница выглядит так, ЧТО Я хочу, но я не уверен.
Любые идеи оценили!
6 Solutions collect form web for “Безглавой браузер для Python (поддержка Javascript НЕОБХОДИМА!)”
Я использую webkit как безгласный браузер в Python через pyqt / pyside:
http://www.riverbankcomputing.co.uk/software/pyqt/download
http://developer.qt.nokia.com/wiki/Category:LanguageBindings::PySide::Downloads
Мне особенно нравится webkit, потому что он прост в настройке. Для Ubuntu вы просто используете: sudo apt-get install python-qt4
Вот пример скрипта:
http://webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/
Ответ на этот вопрос был Spynner
Я посреди написания драйвера Python для Zombie.js, «легкая структура для проверки кода JavaScript на стороне клиента в моделируемой среде».
Я в настоящее время застопорился в решении проблемы с ошибкой в Node.js (прежде чем писать больше тестов и больше кода), но не стесняйтесь следить за моим проектом по мере его продвижения:
Существует не так уж много безголовых браузеров, которые поддерживают Javascript.
Вы можете попробовать Zombie.js или Phantomjs . Это не Python, а простой Javascript, и они действительно могут справиться с этой задачей.
Попробуйте использовать phantomjs, у него отличная поддержка javascript. Затем вы можете запустить его как подпроцесс скрипта python
http://docs.python.org/library/subprocess.html
которые могли бы его повредить.
Вы можете использовать HTQL в сочетании с webscraper IRobotSoft. Примеры здесь: http://htql.net/