используя python urllib2 для отправки запроса POST и получения ответа

Я пытаюсь вернуть HTML-страницу из отправки запроса POST:

import httplib import urllib import urllib2 from BeautifulSoup import BeautifulSoup headers = { 'Host': 'digitalvita.pitt.edu', 'Connection': 'keep-alive', 'Content-Length': '325', 'Origin': 'https://digitalvita.pitt.edu', 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1', 'Content-type': 'application/x-www-form-urlencoded; charset=UTF-8', 'Accept': 'text/javascript, text/html, application/xml, text/xml, */*', 'Referer': 'https://digitalvita.pitt.edu/index.php', 'Accept-Encoding': 'gzip,deflate,sdch', 'Accept-Language': 'en-US,en;q=0.8', 'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3', 'Cookie': 'PHPSESSID=lvetilatpgs9okgrntk1nvn595' } data = { 'action': 'search', 'xdata': '<search id="1"><context type="all" /><results><ordering>familyName</ordering><pagesize>100000</pagesize><page>1</page></results><terms><name>d</name><school>All</school></terms></search>', 'request': 'search' } data = urllib.urlencode(data) print data req = urllib2.Request('https://digitalvita.pitt.edu/dispatcher.php', data, headers) response = urllib2.urlopen(req) the_page = response.read() soup=BeautifulSoup(the_page) print soup 

Может ли кто-нибудь сказать мне, как заставить его работать?

One Solution collect form web for “используя python urllib2 для отправки запроса POST и получения ответа”

Не указывайте заголовок Content-Length , urllib2 рассчитывает его для вас. Как бы то ни было, ваш заголовок указывает неправильную длину:

 >>> data = urllib.urlencode(data) >>> len(data) 319 

Без этого заголовка остальная часть опубликованного кода отлично работает для меня.

  • python urllib2 - подождите, пока страница закончит загрузку / перенаправление перед очисткой?
  • Получение конечного адресата перенаправления javascript на веб-сайте
  • Python urllib2.urlopen () медленный, нужен лучший способ прочитать несколько URL-адресов
  • Необходимо установить urllib2 для Python 3.5.1
  • Запросы Python Многостраничный HTTP-запрос
  • чтение потока, сделанного urllib2, никогда не восстанавливается, когда соединение прерывается
  • Загрузка XML с URL-адреса
  • Использование парных сертификатов с urllib2
  •  
    Interesting Posts for Van-Lav

    Как суммировать список чисел, хранящихся в виде строк

    Не понимаю этот питон для цикла

    Как исправить проблему «NaN или бесконечность» для разреженной матрицы в python?

    Django с точки зрения разработчика Zend Framework

    Запись в Python, работающая в Windows, но не в Mac OS

    Получить вывод сканера Scrapy / результаты в функции файла скрипта

    Чтение двух отдельных значений в одной строке в python

    Просьба сообщить о Ruby vs Python, для тех, кто любит LISP много

    Представленные данные не были файлом. Проверьте тип кодировки в форме в DRF 3

    Как Python хранит списки внутри?

    Python: динамически создавать функцию во время выполнения

    как разработать веб-приложение с angularjs на стороне клиента и фляж на бэкэнде?

    Как обрабатывать различные исключения, возникающие в разных версиях Python

    Как вы визуализируете дерево прихода из sklearn.cluster.ward_tree?

    Как добавить numpy.array в качестве нового столбца в pyspark.SQL DataFrame?

    Python - лучший язык программирования в мире.