Tag: screen

страница соскабливания, чтобы получить цены от google finance

Я пытаюсь получить цены на акции, соскабливая страницы финансов Google, я делаю это в python, используя пакет urllib, а затем используя regex для получения данных о ценах. Когда я покидаю скрипт python, он работает изначально в течение некоторого времени (несколько минут), а затем запускает исключение исключения [HTTP Error 503: Service Unavailable] Я предполагаю, что это […]

Как запустить фоновые задания w / paramiko?

Вот мой сценарий: я пытаюсь автоматизировать некоторые задачи с помощью Paramiko. Задачи должны быть начаты в этом порядке (с использованием обозначения (хост, задача)): (A, 1), (B, 2), (C, 2), (A, 3), (B, 3) – – по существу, запуск серверов и клиентов для некоторого тестирования в правильном порядке. Кроме того, поскольку в тестах сеть может быть […]

Python – Скремблирование экрана и управление мышью в OS X

Я изучаю экранные скребки и управляю мышью в OS X для проекта хобби. Я не ищу самый элегантный способ, но мне нужно улавливать экран каждые полсекунды или около того. Я обнаружил, что могу использовать инструмент командной строки screencapture -w -W -i ~/Desktop/capture.jpg ( screencapture -w -W -i ~/Desktop/capture.jpg ), но я беспокоюсь, что это может […]

Python web scraping – как получить ресурсы с красивым супом, когда страница загружает содержимое через JS?

Поэтому я пытаюсь очистить таблицу с определенного сайта с помощью BeautifulSoup и urllib. Моя цель – создать единый список из всех данных в этой таблице. Я пробовал использовать этот же код с помощью таблиц с других сайтов, и он отлично работает. Однако, пытаясь использовать этот сайт, таблица возвращает объект NoneType. Может кто-то помочь мне с […]

Ищете рекомендацию хорошего учебника по передовой практике для проекта веб-соскабливания?

Мне нужно сделать довольно обширный проект с использованием веб-соскабливания, и я рассматриваю использование Hpricot или Beautiful Soup (т.е. Ruby или Python). Кто-нибудь сталкивался с учебником, который, по их мнению, был особенно хорош в этом вопросе, который помог бы мне запустить проект на правой ноге?

Как Evernote Web Clipper так хорошо анализирует веб-страницы?

Я пытаюсь реплицировать возможности синтаксического анализа Evernote Web Clipper в python для моих собственных проектов веб-скрепок. Я заинтересован в том, чтобы извлечь основной текст только, ничего больше. Я использовал порт python Arc90: https://github.com/buriy/python-readability в сочетании с замечательной html2text-библиотекой aaronsw: https://github.com/aaronsw/html2text и это дает хорошие результаты большую часть времени, но Evernote намного лучше разбирает основной текст. […]

python: скребок поиска Google с помощью BeautifulSoup

Цель: передать строку поиска для поиска в google и scrape url, название и небольшое описание, которое будет опубликовано вместе с заголовком url. У меня есть следующий код, и на данный момент мой код дает только первые 10 результатов, который является лимитом Google по умолчанию для одной страницы. Я не уверен, как реально обрабатывать разбиение на […]

Как программно запускать POST-запрос в python с помощью графического интерфейса? (spynner, webkit …)

У меня есть веб-сайт со вспышками, которые мне нужно очистить . Вместо заполнения flash форм я хотел бы POST некоторые ключи / значения для URL-адреса, который не поддерживает запросы GET . Я использую spynner для взаимодействия с сайтом, а spynner может иметь GUI , но мой поиск в google, stackoverflow, spynner github и в модуле […]

Как указать, где pygame создает игровое окно

Есть ли способ контролировать, где pygame создает экран игры? Кажется, он всегда создает его в той же общей области, но не в постоянном месте.

Python Scrapy не запускает тайм-аут соединения

Я использовал некоторые прокси для сканирования какого-либо веб-сайта. Вот что я сделал в settings.py: # Retry many times since proxies often fail RETRY_TIMES = 10 # Retry on most error codes since proxies fail for different reasons RETRY_HTTP_CODES = [500, 503, 504, 400, 403, 404, 408] DOWNLOAD_DELAY = 3 # 5,000 ms of delay DOWNLOADER_MIDDLEWARES […]

Python - лучший язык программирования в мире.