Безглавой браузер для Python (поддержка Javascript НЕОБХОДИМА!)

Мне нужен безголовый браузер, который довольно прост в использовании (я до сих пор довольно новичок в Python и вообще в программировании), что позволит мне перейти на страницу, войти в форму, которая требует Javascript, а затем очистить полученную веб-страницу поиск результатов, соответствующих определенным критериям, нажатие флажков и загрузка файлов. Все это требует Javascript.

Я слышал, что безголовый браузер – это то, что я хочу – требования / предпочтения в том, что я могу запустить его с Python, и желательно, чтобы результирующий скрипт был скомпилирован py2exe (я пишу эту программу для других пользователей).

Пока Ветряная мельница выглядит так, ЧТО Я хочу, но я не уверен.

Любые идеи оценили!

  • Оцените javascript в локальном html-файле (без браузера)
  • веб-соскабливание динамического содержимого с помощью python
  • Регулярное выражение Python для разбора HTML (BeautifulSoup)
  • Как визуализировать содержимое тега в юникоде в BeautifulSoup?
  • Выполнение Javascript с Python
  • Вращающиеся прокси для веб-соскабливания
  • Извлечение содержимого таблицы из html с помощью python и BeautifulSoup
  • Может ли соскабливаться на этой странице, которая активно пересчитывается?
  • 6 Solutions collect form web for “Безглавой браузер для Python (поддержка Javascript НЕОБХОДИМА!)”

    Я использую webkit как безгласный браузер в Python через pyqt / pyside:
    http://www.riverbankcomputing.co.uk/software/pyqt/download
    http://developer.qt.nokia.com/wiki/Category:LanguageBindings::PySide::Downloads

    Мне особенно нравится webkit, потому что он прост в настройке. Для Ubuntu вы просто используете: sudo apt-get install python-qt4

    Вот пример скрипта:
    http://webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/

    Ответ на этот вопрос был Spynner

    Я посреди написания драйвера Python для Zombie.js, «легкая структура для проверки кода JavaScript на стороне клиента в моделируемой среде».

    Я в настоящее время застопорился в решении проблемы с ошибкой в ​​Node.js (прежде чем писать больше тестов и больше кода), но не стесняйтесь следить за моим проектом по мере его продвижения:

    https://github.com/ryanpetrello/python-zombie

    Существует не так уж много безголовых браузеров, которые поддерживают Javascript.

    Вы можете попробовать Zombie.js или Phantomjs . Это не Python, а простой Javascript, и они действительно могут справиться с этой задачей.

    Попробуйте использовать phantomjs, у него отличная поддержка javascript. Затем вы можете запустить его как подпроцесс скрипта python

    http://docs.python.org/library/subprocess.html

    которые могли бы его повредить.

    Вы можете использовать HTQL в сочетании с webscraper IRobotSoft. Примеры здесь: http://htql.net/

    Interesting Posts

    Загрузка и загрузка файлов с помощью фляжки

    Python 2.7: Как преобразовать escape-последовательности unicode в строку в фактические символы utf-8

    Установка пакетов Python в Windows

    Как найти ближайшее значение, которое больше в массиве numpy?

    Как удаленная отладка в PyCharm

    Как я могу использовать pywin32 с virtualenv без необходимости включать папку узлов сайта хост-среды?

    isinstance не выводит ничего

    Как петля через генератор

    Запустите команду linux system в качестве суперпользователя, используя скрипт python

    Безопасное создание файла тогда и только тогда, когда он не существует с помощью python

    Почему я получаю сообщение об ошибке на последней строке установки Pylons 1.0 с easy_install и Python 2.7 в Windows Vista 64?

    Латекс на python: \ alpha и \ beta не работают?

    Разбирать значения из блока текста на основе определенных клавиш

    Предоставление экземпляра класса C ++ встроенному интерпретатору на основе python

    Ошибка отпечатка Python:

    Python - лучший язык программирования в мире.