urllib2 не получает весь HTTP-ответ

Лучший способ получить все данные:

 fp = urllib2.urlopen("http://www.example.com/index.cfm") response = "" while 1: data = fp.read() if not data: # This might need to be if data == "": -- can't remember break response += data print response 

Причина в том, что .read() не гарантированно возвращает весь ответ, учитывая природу сокетов. Я думал, что это обсуждалось в документации (возможно, urllib ), но я не могу ее найти.

Используйте tcpdump (или что-то вроде этого) для мониторинга реальных сетевых взаимодействий – тогда вы можете проанализировать, почему сайт поврежден для некоторых клиентских библиотек. Убедитесь, что вы повторяете несколько раз, создавая сценарий теста, чтобы вы могли понять, совместима ли проблема:

 import urllib2 url = 'http://friendfeed.com/api/room/friendfeed-feedback/profile?format=json' stream = urllib2.urlopen(url) expected = int(stream.headers['content-length']) data = stream.read() datalen = len(data) print expected, datalen, expected == datalen 

Работа сайта для меня постоянно, поэтому я не могу привести примеры обнаружения сбоев 🙂

Продолжайте вызывать stream.read (), пока это не будет выполнено …

 while data = stream.read() : ... do stuff with data 

 readlines() 

также работает