Аналитик-разработчик претрейна Alice AI LLM
Мы занимаемся аналитикой претрейн-модели Alice AI LLM, лежащей в основе Алисы, Поиска и других продуктов Яндекса. Ищем активных и заинтересованных аналитиков. Откликайтесь, если работали над метриками в NLP, владеете SQL и Python, умеете анализировать данные и строить процессы их обработки.Создание метрик качества претрейна
Наша главная задача — всесторонне оценивать качество претрейн-модели. Перед нами часто возникают новые интересные задачи: как оценить агентские способности модели на этапе претрейна; как замерить, хорошо ли модель будет работать на задачах от разных сервисов Яндекса; хорошо ли наша модель с высоким сodeforces-рейтингом будет писать код для пользователей; как правильно принимать эксперименты на моделях разных размеров. Интерпретация результатов экспериментов
Команда разработки проводит много экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в этом случае задача аналитиков — помочь разобраться, что произошло. Анализ точек роста
Всё ещё остаются сложные задачи, с которыми наша модель пока не справляется на должном уровне, но мы стараемся выбрать из них самые перспективные, разобрать проблемы и вместе с командой разработки придумать план решения. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Работали над метриками в NLP * Уверенно владеете SQL и Python * Умеете анализировать данные, строили эффективные процессы их обработки * Знаете теорию вероятностей и математическую статистику * Интересуетесь развитием LLM и хотели бы погрузиться в эту тему * Самостоятельны, аккуратны* Работали над LLM * Строили агентские системы * Делали крауд-разметки с системой контроля качества * Свободно читаете на английском
Наша главная задача — всесторонне оценивать качество претрейн-модели. Перед нами часто возникают новые интересные задачи: как оценить агентские способности модели на этапе претрейна; как замерить, хорошо ли модель будет работать на задачах от разных сервисов Яндекса; хорошо ли наша модель с высоким сodeforces-рейтингом будет писать код для пользователей; как правильно принимать эксперименты на моделях разных размеров. Интерпретация результатов экспериментов
Команда разработки проводит много экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в этом случае задача аналитиков — помочь разобраться, что произошло. Анализ точек роста
Всё ещё остаются сложные задачи, с которыми наша модель пока не справляется на должном уровне, но мы стараемся выбрать из них самые перспективные, разобрать проблемы и вместе с командой разработки придумать план решения. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Работали над метриками в NLP * Уверенно владеете SQL и Python * Умеете анализировать данные, строили эффективные процессы их обработки * Знаете теорию вероятностей и математическую статистику * Интересуетесь развитием LLM и хотели бы погрузиться в эту тему * Самостоятельны, аккуратны* Работали над LLM * Строили агентские системы * Делали крауд-разметки с системой контроля качества * Свободно читаете на английском