Tag: beautifulsoup

Обход ответа скрипта при очистке веб-сайта с помощью запросов / BeautifulSoup

Я соскабливаю www.marriot.com для получения информации об их отелях и ценах. Я использовал инструмент проверки хрома, чтобы отслеживать сетевой трафик, чтобы выяснить, какой API-интерфейс используется endpoint marriot. Это запрос, который я пытаюсь подражать: http://www.marriott.com/reservation/availabilitySearch.mi?propertyCode=TYSMC&isSearch=true&fromDate=02/23/17&toDate=02/24/17&numberOfRooms=1&numberOfGuests=1&numberOfChildren=0&numberOfAdults=1 С моим кодом python: import requests from bs4 import BeautifulSoup base_uri = 'https://www.marriott.com' availability_search_ext = '/reservation/availabilitySearch.mi' rate_params = { 'propertyCode': 'TYSMC', […]

Веб-страница Scrape с несколькими разделами

Довольно новичок в python … и я пытаюсь вступить в свой первый проект. Был способен воспроизвести несколько простых демо … но я думаю, что есть несколько дополнительных сложностей с тем, что я пытаюсь сделать. Я пытаюсь очистить галоги за сайт НХЛ Вот что я придумал … аналогичный код работает для верхней части сайта (например: получить […]

разобрать html красивый суп

У меня есть html-страница <a email="corporate@max.ru" href="http://www.max.ru/agent?message&to=corporate@max.ru" title="Click herе" class="mf_spIco spr-mrim-9"></a><a class="mf_t11" type="booster" href="http://max.ru/mail/corporate/"> Я пишу строку синтаксического анализа soup = BeautifulSoup(data string = soup.find("a",{"email": ""}) print string Но это не работает. Где ошибка?

Как получить доступ к subtags внутри тега с помощью beautifulsoup в python?

Я пытаюсь получить статистику игрока с MLB.com в течение сезона 2016 года. Я использую Beautiful Soup в Python, и мне нужно извлечь информацию в таблицу, которую вы видите здесь: http://mlb.mlb.com/stats/sortable.jsp#elem=%5Bobject+Object%5D&tab_level=child&click_text=Sortable+Player+hitting&game_type='R'&season=2016&season_type=ANY&league_code='MLB'&sectionType=sp&statType=hitting&page = 1 & ц = 1493672037085 & playerType = ALL & sportCode = 'Чемпионат' & сплит = & team_id = & active_sw = & положение […]

Получить атрибут значения для каждого найденного тега, используя Tag.find_all ()

Я создал список со всеми тегами моего файла HTML под названием «option». Но я не могу получить значения внутри тега. Это мой код и данные: >>> soup2 = soup.findAll('option') >>> soup2 [ <option value="ufs_munic">&nbsp;&nbsp;Por Município&nbsp;&nbsp;</option>, <option value="ext_paises">&nbsp;&nbsp;Por País&nbsp;&nbsp;</option>, … ] Я хотел бы получить приведенные значения после значения option value= в каждом теге. Например: ufs_munic […]

Как использовать beautifulsoup для получения перенаправления html?

Я просматриваю веб-файл со следующим заголовком. Как я могу получить содержимое страницы google.com с помощью bs4? <head> <meta http-equiv="refresh" content="5;url=http://google.com"/> </head> Благодаря!

Извлечение данных из html в csv с помощью BeautifulSoup

Я хочу извлечь данные с сайта погоды и скопировать его в файл csv для дальнейшего анализа. Я использую python и BeautifulSoup. Я боролся за то, чтобы получить пострадавшие города от метеорологического отчета и ценностей. Как HTML выглядит так: > <html> <head> <meta charset="utf-8"/> </head> <body> <div > id="main"> <div id="wettertab"> > <p> > <strong> > […]

получение важных данных с веб-страницы с использованием python

Ниже приведена часть веб-страницы, которую я загрузил urlretrieve (urllib). Я хочу написать только эти данные с веб-страницы, приведенной ниже, в другой текстовый файл: ENGINEERING MATHEMATICS-IV, 4 ,36 ,40 , F ENVIRONMENTAL STUDIES, 47, 36, 83 , p … .. . likeways .. какой модуль я должен использовать ?, который все команды ??? thanx заранее .. […]

Исключить скрытые теги при очистке с помощью b4

У меня есть веб-сайт с большим количеством скрытых тегов в html. Я вставил исходный код ниже. Проблема состоит в том, что существует два типа скрытых тегов, 1. Ones со style="display:none" 2. У них есть список стилей, упомянутых в каждом теге td . И он изменяется с каждым тегом td. для примера ниже он имеет следующие […]

найти конкретный текст в beautifulsoup

У меня есть конкретный фрагмент текста, который я пытаюсь использовать BeautifulSoup и Python, однако я не уверен, как его получить, используя sou.find (). Я пытаюсь получить «№ 1 в красоте» только из следующего. <ul> <li>…<li> <li>…<li> <li id="salesRank"> <b>Amazon Best Sellers Rank:</b> "#1 in Beauty (" <a href="http://www.amazon.com/gp/bestsellers/beauty/ref=pd_dp_ts_k_1"> See top 100</a> ") Кто-нибудь может мне […]

Python - лучший язык программирования в мире.