Аналитик-разработчик поисковой платформы Nova в Поиск с Алисой
Мы создаём единую поисково-рекомендательную систему, в которой любая команда Яндекса сможет запускать свой поиск или рекомендации. Ищем аналитика-разработчика, который будет формализовывать продуктовые требования и анализировать качество ранжирования. Ждём, что вы пишете на Python и SQL.Эталонная разметка
Вам предстоит формализовывать продуктовые требования и принципы сервисов, разбираться в их болях, проводить глубокий анализ качества текущего ранжирования, копаться в логах, собирать голденсеты, формулировать критерии приёмки нового ранжирования. Внедрение подхода LLM-as-a-judge
На основе голденсетов вам предстоит собирать агентов на топовых моделях для разметки релевантности — таких, которые работают на разных сервисах. Необходимо будет продумывать тулы и RAG-инфраструктуру, замерять качество, чинить баги, следить за тенденциями в LLM-as-a-judge; готовить датасеты для дистилляции знаний в ранжирующие модели (берты, катбусты). Больше об аналитике в Яндексе — в канале Yandex for Analytics* Понимаете, почему важно всегда смотреть в данные * Уверенно пишете на Python и SQL, разбираетесь в алгоритмах и структурах данных * Знаете математическую статистику и умеете проверять гипотезы* Работали с поиском или рекомендациями * Интересуетесь ML * Готовы исследовать продукт, чтобы понимать, каким он должен быть и почему * Умеете общаться, ясно излагать мысли, убеждать, понимать и учитывать мнение коллег
Вам предстоит формализовывать продуктовые требования и принципы сервисов, разбираться в их болях, проводить глубокий анализ качества текущего ранжирования, копаться в логах, собирать голденсеты, формулировать критерии приёмки нового ранжирования. Внедрение подхода LLM-as-a-judge
На основе голденсетов вам предстоит собирать агентов на топовых моделях для разметки релевантности — таких, которые работают на разных сервисах. Необходимо будет продумывать тулы и RAG-инфраструктуру, замерять качество, чинить баги, следить за тенденциями в LLM-as-a-judge; готовить датасеты для дистилляции знаний в ранжирующие модели (берты, катбусты). Больше об аналитике в Яндексе — в канале Yandex for Analytics* Понимаете, почему важно всегда смотреть в данные * Уверенно пишете на Python и SQL, разбираетесь в алгоритмах и структурах данных * Знаете математическую статистику и умеете проверять гипотезы* Работали с поиском или рекомендациями * Интересуетесь ML * Готовы исследовать продукт, чтобы понимать, каким он должен быть и почему * Умеете общаться, ясно излагать мысли, убеждать, понимать и учитывать мнение коллег