from scrapy.selector import selector error

Я не могу сделать следующее:

from scrapy.selector import Selector 

Ошибка:

Файл «/Desktop/KSL/KSL/spiders/spider.py», строка 1, из scrapy.selector import Selector ImportError: невозможно импортировать имя Selector

Это как если бы LXML не был установлен на моей машине, но это так. Кроме того, я думал, что это модуль по умолчанию, встроенный в scrapy. Возможно, нет?

Мысли?

Попробуйте вместо этого импортировать HtmlXPathSelector .

  from scrapy.selector import HtmlXPathSelector 

И затем используйте метод .select () для анализа вашего html. Например,

  sel = HtmlXPathSelector(response) site_names = sel.select('//ul/li') 

Если вы следуете руководству на сайте Scrapy ( http://doc.scrapy.org/en/latest/intro/tutorial.html ), обновленный пример будет выглядеть следующим образом:

  from scrapy.spider import BaseSpider from scrapy.selector import HtmlXPathSelector class DmozSpider(BaseSpider): name = "dmoz" allowed_domains = ["dmoz.org"] start_urls = [ "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" ] def parse(self, response): sel = HtmlXPathSelector(response) sites = sel.select('//ul/li') for site in sites: title = site.select('a/text()').extract() link = site.select('a/@href').extract() desc = site.select('text()').extract() print title, link, desc 

Надеюсь это поможет!

Я сталкиваюсь с той же проблемой. Я думаю, что что-то не так с вашей версией scrapy.

Вы можете ввести scrapy version -v в cmd для проверки версии. Насколько мне известно, самая новая версия – 0.24.4 (2014.10.23). Вы можете посетить http://scrapy.org/, чтобы найти новейшее.

Имел ту же проблему, которая была связана с тем, как я установил scrapy (моя ОС – Ubuntu). Я сделал это через

 sudo apt-get install python-scrapy 

Вместо этого установите его из python. Если вы используете Anaconda, просто сделайте

 conda install -c scrapinghub scrapy 

Если нет, то

 pip install Scrapy 

http://doc.scrapy.org/en/latest/intro/install.html