Крупные веб-сайты блокируют доступ к своему контенту для AI-пауков

Веб-сайты блокируют доступ AI-пауков

.fav_bar { float:left; border:1px solid #a7b1b5; margin-top:10px; margin-bottom:20px; } .fav_bar span.fav_bar-label { text-align:center; padding:8px 0px 0px 0px; float:left; margin-left:-1px; border-right:1px dotted #a7b1b5; border-left:1px solid #a7b1b5; display:block; width:69px; height:24px; color:#6e7476; font-weight:bold; font-size:12px; text-transform:uppercase; font-family:Arial, Helvetica, sans-serif; } .fav_bar a, #plus-one { float:left; border-right:1px dotted #a7b1b5; display:block; width:36px; height:32px; text-indent:-9999px; } .fav_bar a.fav_print { background:url(‘/images/icons/print.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_print:hover { background:url(‘/images/icons/print.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.mobile-apps { background:url(‘/images/icons/generic.gif’) no-repeat 13px 7px #FFF; background-size: 10px; } .fav_bar a.mobile-apps:hover { background:url(‘/images/icons/generic.gif’) no-repeat 13px 7px #e6e9ea; background-size: 10px} .fav_bar a.fav_de { background: url(/images/icons/de.gif) no-repeat 0 0 #fff } .fav_bar a.fav_de:hover { background: url(/images/icons/de.gif) no-repeat 0 0 #e6e9ea } .fav_bar a.fav_acm_digital { background:url(‘/images/icons/acm_digital_library.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_acm_digital:hover { background:url(‘/images/icons/acm_digital_library.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_pdf { background:url(‘/images/icons/pdf.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_pdf:hover { background:url(‘/images/icons/pdf.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_more .at-icon-wrapper{ height: 33px !important ; width: 35px !important; padding: 0 !important; border-right: none !important; } .a2a_kit { line-height: 24px !important; width: unset !important; height: unset !important; padding: 0 !important; border-right: unset !important; border-left: unset !important; } .fav_bar .a2a_kit a .a2a_svg { margin-left: 7px; margin-top: 4px; padding: unset !important; }

Любая страница, к которой можно получить доступ через веб-браузер, также может быть "парсером" веб-страницы, который работает подобно браузеру, но сохраняет материал в базе данных вместо его отображения для пользователя. ¶ Автор: Annelise Capossela/Axios

Почти 20% из топ-1000 веб-сайтов в мире блокируют веб-парсеры, которые собирают данные с веб-страниц для использования в AI-сервисах, согласно новым данным от Originality.AI, детектора контента AI.

Почему это важно: В отсутствие четких правовых или регулятивных правил, регулирующих использование AI защищенного авторским правом материала, веб-сайты, большие и малые, принимают дело в свои руки.

События: OpenAI представила своего веб-парсера GPTBot в начале августа, заявив, что собранные данные “могут быть использованы для улучшения будущих моделей”, обещая исключить контент с платной подпиской и указывая веб-сайтам, как блокировать парсер.

Сразу после этого несколько известных новостных сайтов, включая New York Times, Reuters и CNN, начали блокировать GPTBot, и с тех пор за ними последовали многие другие. (Axios также среди них.)

От статьи Axios Просмотреть полную статью