Beautiful Soup, чтобы проанализировать URL-адрес, чтобы получить другие данные URL-адресов

 import urllib2 from BeautifulSoup import BeautifulSoup page = urllib2.urlopen('http://yahoo.com').read() soup = BeautifulSoup(page) soup.prettify() for anchor in soup.findAll('a', href=True): print anchor['href'] 

Он предоставит вам список URL-адресов. Теперь вы можете перебирать эти URL-адреса и анализировать данные.

• inner_div = soup.findAll("div", {"id": "y-shade"}) Это пример. Вы можете ознакомиться с учебниками BeautifulSoup.

Для следующей группы людей, которые сталкиваются с этим, BeautifulSoup был повышен до версии v4 на этом посту, поскольку v3 больше не обновляется.

 $ easy_install beautifulsoup4 $ pip install beautifulsoup4 

Использовать в Python …

 import bs4 as BeautifulSoup 

Используйте urllib2, чтобы получить страницу, затем используйте красивый суп, чтобы получить список ссылок, а также попробуйте scraperwiki.com

Редактировать:

Недавнее открытие: использование BeautifulSoup через lxml с

 from lxml.html.soupparser import fromstring 

намного лучше, чем просто BeautifulSoup. Это позволяет вам делать dom.cssselect («ваш селектор»), который является спасателем жизни. Просто убедитесь, что у вас установлена ​​хорошая версия BeautifulSoup. 3.2.1 работает.

 dom = fromstring('<html... ...') navigation_links = [a.get('href') for a in htm.cssselect('#navigation a')]