Разбор HTML-ссылок с использованием BeautifulSoup

вот мой код Python, который я использую, чтобы извлечь конкретный HTML из ссылок страницы, которые я отправляю в качестве параметра. Я использую BeautifulSoup . Этот код отлично работает, иногда, и иногда он застревает!

import urllib from bs4 import BeautifulSoup rawHtml = '' url = r'http://iasexamportal.com/civilservices/tag/voice-notes?page=' for i in range(1, 49): #iterate url and capture content sock = urllib.urlopen(url+ str(i)) html = sock.read() sock.close() rawHtml += html print i 

Здесь я печатаю переменную цикла, чтобы узнать, где она застревает. Это показывает мне, что он случайно застревает в любой последовательности цикла.

• Программно открывать URL-адреса в веб-браузере в Python
• Django: ссылка на url в шаблоне, когда функция находится в представлении в другом каталоге?
• Получение URL-адреса сервера в Google App Engine с использованием python
• urllib2 дает HTTP-ошибку 400: плохой запрос для определенных URL-адресов, работает для других
• Получите субдомен от URL-адреса с помощью Python

 soup = BeautifulSoup(rawHtml, 'html.parser') t='' for link in soup.find_all('a'): t += str(link.get('href')) + "</br>" #t += str(link) + "</br>" f = open("Link.txt", 'w+') f.write(t) f.close() 

какова может быть проблема. Это проблема с конфигурацией сокета или какой-то другой проблемой.

Это ошибка, которую я получил. Я проверил эти ссылки – python-gaierror-errno-11004 , ioerror-errno-socket-error-errno-11004-getaddrinfo-failed для решения. Но я не нашел его полезным.

  d:\python>python ext.py Traceback (most recent call last): File "ext.py", line 8, in <module> sock = urllib.urlopen(url+ str(i)) File "d:\python\lib\urllib.py", line 87, in urlopen return opener.open(url) File "d:\python\lib\urllib.py", line 213, in open return getattr(self, name)(url) File "d:\python\lib\urllib.py", line 350, in open_http h.endheaders(data) File "d:\python\lib\httplib.py", line 1049, in endheaders self._send_output(message_body) File "d:\python\lib\httplib.py", line 893, in _send_output self.send(msg) File "d:\python\lib\httplib.py", line 855, in send self.connect() File "d:\python\lib\httplib.py", line 832, in connect self.timeout, self.source_address) File "d:\python\lib\socket.py", line 557, in create_connection for res in getaddrinfo(host, port, 0, SOCK_STREAM): IOError: [Errno socket error] [Errno 11004] getaddrinfo failed 

Он работает отлично, когда я запускаю его на своем личном ноутбуке. Но он дает ошибку, когда я запускаю его на рабочем столе Office. Кроме того, моя версия Python – 2,7. Надеюсь, эта информация поможет.