Лид экспертной аналитики в Alice AI
Мы создаём новые метрики, проектируем процессы сбора и валидации данных, анализируем поведение моделей и выводим их на новые уровни качества. Вам предстоит выстроить аналитическое направление, объединить экспертов и исследователей и принимать решения, которые повлияют на миллионы пользователей.Стратегия и лидерство
Вы будете формировать аналитическую стратегию для развития LLM-навыков модели, строить команду аналитиков, заниматься менторством и планировать ресурсы. Также вам предстоит разработать подходы к оценке качества LLM в разных продуктах компании в экспертных доменах. Система метрик и оценок
Вы будете разрабатывать комплексные метрики, отражающие реальное качество моделей, создавать методологии оценки в сверхсложных экспертных срезах — формировать критерии, подбирать авторитетные источники, описывать идеальные ответы. Также предстоит сравнивать собственные модели с SOTA-подходами на рынке и автоматизировать оценки с помощью LLM (LLM-as-a-judge) и гибридных методов. Сбор данных
Вы будете запускать сложные процессы разметки данных для fine-tuning и RLHF/RLAIF, работать с узкими экспертными группами, строить пайплайны с участием доменных специалистов и ускорять процессы с помощью LLM-инструментов, а также контролировать качество данных и готовить датасеты для исследовательских задач. Внедрение лучших практик
Вы будете отслеживать и анализировать новые исследования, бенчмарки и методологии, проводить эксперименты с synthetic data, LLM feedback, active learning, expert-in-the-loop и внедрять исследовательские находки в производственные процессы. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Управляли командой аналитиков не менее трёх лет * Любите работать с данными и умеете извлекать из них практический результат * Знаете математическую статистику и теорию вероятностей * Умеете писать код на Python и знаете алгоритмы * Самостоятельны и готовы браться за новые задачи, для которых нет готового решения * Интересуетесь развитием LLM и хотите глубоко погрузиться в тему
Вы будете формировать аналитическую стратегию для развития LLM-навыков модели, строить команду аналитиков, заниматься менторством и планировать ресурсы. Также вам предстоит разработать подходы к оценке качества LLM в разных продуктах компании в экспертных доменах. Система метрик и оценок
Вы будете разрабатывать комплексные метрики, отражающие реальное качество моделей, создавать методологии оценки в сверхсложных экспертных срезах — формировать критерии, подбирать авторитетные источники, описывать идеальные ответы. Также предстоит сравнивать собственные модели с SOTA-подходами на рынке и автоматизировать оценки с помощью LLM (LLM-as-a-judge) и гибридных методов. Сбор данных
Вы будете запускать сложные процессы разметки данных для fine-tuning и RLHF/RLAIF, работать с узкими экспертными группами, строить пайплайны с участием доменных специалистов и ускорять процессы с помощью LLM-инструментов, а также контролировать качество данных и готовить датасеты для исследовательских задач. Внедрение лучших практик
Вы будете отслеживать и анализировать новые исследования, бенчмарки и методологии, проводить эксперименты с synthetic data, LLM feedback, active learning, expert-in-the-loop и внедрять исследовательские находки в производственные процессы. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Управляли командой аналитиков не менее трёх лет * Любите работать с данными и умеете извлекать из них практический результат * Знаете математическую статистику и теорию вероятностей * Умеете писать код на Python и знаете алгоритмы * Самостоятельны и готовы браться за новые задачи, для которых нет готового решения * Интересуетесь развитием LLM и хотите глубоко погрузиться в тему