За теплым обниманием глубокий взгляд на лицо, обнимающее
Тепло объятия и глубокий взгляд искусство прикосновения к лицу
Настройка языковых моделей для распознавания именованных сущностей
Hugging Face – это платформа, которая предлагает инструменты и готовые модели для различных задач обработки естественного языка (NLP) и понимания естественного языка (NLU). В нашей предыдущей статье «Теплый объятие: исследование Hugging Face» мы погрузились в основы этой платформы и ее библиотеки с открытым исходным кодом, в которой реализованы множество современных архитектур трансформаторов. В этой статье предоставляется дополнительная информация о Hugging Face для начинающих специалистов по обработке данных, объединяющая различные инструменты для конкретной задачи. А именно, в данной статье объясняется, как с помощью нескольких возможностей Hugging Face можно настроить существующую языковую модель для распознавания именованных сущностей (NER).
Соответствующая долговременная подготовка модели
В этом разделе мы кратко рассмотрим два фундаментальных понятия, необходимых для создания нашей модели. Напомним, что мы описывали основы Hugging Face в статье «Теплый объятие: исследование Hugging Face».
- Распознавание именованных сущностей
- Настройка модели
В следующих разделах предполагается, что у вас есть некоторые знания о разработке моделей и связанных с ними концепциях, однако, если что-то не ясно, не стесняйтесь обращаться!
Распознавание именованных сущностей
Распознавание именованных сущностей (NER) – это распространенная задача обработки естественного языка, заключающаяся в определении и категоризации соответствующей информации или сущностей в одну из многих заранее определенных (именованных) групп. Модели NER могут быть обучены на различных типах сущностей. Некоторые из наиболее распространенных:
- ChatGPT в качестве OCR для PDF Ваш новый инструмент для ETL-обработки данных для анализа
- LLM Доверяй, но проверяй
- Понимание SCD — медленно меняющиеся измерения
- Имена
- Организации
- Даты
- Места и локации
На картинке ниже я вручную пометил несколько различных именованных сущностей в примерном предложении. В контексте машинного обучения и NLP, NER – это процесс автоматизации этого категоризационного процесса через модели.
Модели NER могут использоваться для различных задач, включая поиск информации, автоматическое создание краткого содержания, рекомендации контента и машинный перевод.
