авторизация авторизации с помощью cookie

Я новичок в scrapy и решил попробовать его из-за хороших онлайн-обзоров. Я пытаюсь войти на сайт с помощью scrapy. Я успешно вошел в систему с комбинацией селена и механизации, собирая необходимые куки с селеном и добавляя их для механизации. Теперь я пытаюсь сделать что-то подобное с помощью scrapy и selenium, но, похоже, не может заставить что-то работать. Я даже не могу сказать, работает ли что-то или нет. Кто-нибудь может мне помочь, пожалуйста. Ниже приводится то, что начал Ив. Возможно, мне даже не понадобится перенести куки с помощью scrapy, но я не могу сказать, действительно ли вещь когда-либо входит в систему или нет. благодаря

from scrapy.spider import BaseSpider from scrapy.http import Response,FormRequest,Request from scrapy.selector import HtmlXPathSelector from selenium import webdriver class MySpider(BaseSpider): name = 'MySpider' start_urls = ['http://my_domain.com/'] def get_cookies(self): driver = webdriver.Firefox() driver.implicitly_wait(30) base_url = "http://www.my_domain.com/" driver.get(base_url) driver.find_element_by_name("USER").clear() driver.find_element_by_name("USER").send_keys("my_username") driver.find_element_by_name("PASSWORD").clear() driver.find_element_by_name("PASSWORD").send_keys("my_password") driver.find_element_by_name("submit").click() cookies = driver.get_cookies() driver.close() return cookies def parse(self, response,my_cookies=get_cookies): return Request(url="http://my_domain.com/", cookies=my_cookies, callback=self.login) def login(self,response): return [FormRequest.from_response(response, formname='login_form', formdata={'USER': 'my_username', 'PASSWORD': 'my_password'}, callback=self.after_login)] def after_login(self, response): hxs = HtmlXPathSelector(response) print hxs.select('/html/head/title').extract() 

One Solution collect form web for “авторизация авторизации с помощью cookie”

Ваш вопрос больше связан с проблемой отладки, поэтому в моем ответе будут только некоторые заметки по вашему вопросу, а не точный ответ.

 def parse(self, response,my_cookies=get_cookies): return Request(url="http://my_domain.com/", cookies=my_cookies, callback=self.login) 

my_cookies=get_cookies – здесь вы назначаете функцию, а не результат. Я думаю, вам не нужно передавать какую-либо функцию здесь как параметр вообще. Должен быть:

 def parse(self, response): return Request(url="http://my_domain.com/", cookies=self.get_cookies(), callback=self.login) 

cookies для Request должен быть dict – пожалуйста, проверьте, действительно ли это dict.

Я даже не могу сказать, работает ли что-то или нет.

Поместите некоторые отпечатки в обратные вызовы, чтобы выполнить выполнение.

Interesting Posts

Динамический метод вызова в Python 2.7 с использованием строк имен методов

Django 1.4 – перенаправление на не-HTTP-адреса

Лучший способ построения категориальных данных

Преобразование видеофайлов, загружаемых пользователем и обслуживание с помощью django, python

Отображение юникода в pygame

Как вызвать код Python из существующего проекта iOS, написанного в Swift

Как я могу сделать временную задержку в Python?

Прочитать файл как список кортежей

Распаковка директории с помощью python

«pip» не распознается как внутренняя или внешняя команда

Эффективное вычисление согласованного по границе среднего значения окрестности

Преобразуйте набор чисел в numpy, чтобы каждый номер преобразовывался в ряд других чисел, которые меньше, чем это

Как добавить легенду к imshow () в matplotlib

Как создать форму UserProfile в Django с модификациями first_name, last_name?

Arduino Live Serial Plotting с MatplotlibAnimation становится медленным

Python - лучший язык программирования в мире.