scrapy не может сканировать все ссылки на странице

Я пытаюсь выполнить scrapy для обхода веб-сайта ajax http://play.google.com/store/apps/category/GAME/collection/topselling_new_free

Я хочу, чтобы все ссылки направлялись в каждую игру.

Я проверяю элемент страницы. И это выглядит так: как выглядит страница, поэтому я хочу извлечь все ссылки с помощью шаблона / store / apps / details? Id =

но когда я запускал команды в оболочке, он ничего не возвращал: команда оболочки

Я также попробовал // a / @ href. не получилось, но не знаю, что не так происходит ….

  • Теперь я могу просканировать первые 120 ссылок с измененным starturl и добавить «formdata», как сказал мне кто-то, но после этого больше нет ссылок.

Может кто-то помочь мне с этим?

One Solution collect form web for “scrapy не может сканировать все ссылки на странице”

Фактически это ajax-post-request который заполняет данные на этой странице. В scrapy shell вы не получите этого, вместо проверки элемента проверьте вкладку network там, вы найдете запрос.

formdata={'start':'0','num':'60','numChildren':'0','ipf':'1','xhr':'1'} запрос на https://play.google.com/store/apps/category/GAME/collection/topselling_new_free?authuser=0 url с помощью formdata={'start':'0','num':'60','numChildren':'0','ipf':'1','xhr':'1'}

Приращение начинается с 60 по каждому запросу, чтобы получить результат с разбивкой по страницам.

  • Как я могу анализировать HTML с помощью html5lib и запрашивать анализируемый HTML с помощью XPath?
  • Получение определенного значения атрибута с помощью XPath
  • Невозможно прочитать текст из тега div в python
  • Как заставить XPath возвращать «None» в Python, если данные не найдены?
  • Как получить все дочерние узлы в одном запросе с помощью lxml и XPATH
  • Python и libxml2: как итерации в узлах xml с помощью XPATH
  • атрибут value для lxml.html
  • Извлечение информации из таблицы на веб-сайте с использованием python, LXML и XPATH
  • Python - лучший язык программирования в мире.