Нейронные сети помогают Яндексу

Запущен новый поисковый алгоритм «Палех». Теперь Яндекс сможет лучше понимать, о чем его спрашивают пользователи сети Интернет. Нужные веб-страницы можно будет отыскать не только по ключевикам, но и по смыслу. За это и отвечает «Палех», работающий на основе нейронных сетей.

В большинстве случаев частотное распределения запросов изображают в виде птицы: «клюв» состоит из самых распространенных запросов, «туловище» представлено запросами средней частотности, а низкочастотники хоть и попадаются по отдельности не часто, но целиком напоминают «длинный хвост». «Палех» поможет Яндексу качественнее отвечать на сложные запросы этого самого «длинного хвоста».

В последнее время искусственные нейросети – один из популярных методов машинного обучения. Они способны выделять на изображениях различные объекты. Если же мы имеем дело с текстами, то это тексты поисковых запросов и заголовков веб-страниц. Обучение происходит на основе положительных и отрицательных примеров, подбирающихся из статистики, которую накопил поиск. Постепенно за счет обучения на поведении пользователей нейронная сеть учится «понимать» смысловое соответствие между запросом и заголовками страниц.

По материалам сайта yandex.ru/blog/company
Изображение с сайта sdelanounas.ru