Лид аналитики направления образования в команду Alice AI
Мы развиваем Alice AI LLM, на базе которой работает Алиса. Отдельный трек — повышение качества ответов в направлении образования. Вы будете руководить командой аналитиков-разработчиков, обсуждать тактические и стратегические цели стрима. Ждём, что у вас есть опыт руководства или менторства в аналитике.Создание метрик качества
Одна из главных задач — оценивать качество модели. Для этого мы используем разные подходы: от бенчмарков и LLM-as-a-Judge до краудсорсинга и привлечения высококвалифицированных AI-тренеров. Вам предстоит формулировать критерии, экспериментировать с подходами и создавать стабильные метрики, по которым можно улучшаться. Анализ проблемных срезов
Задача аналитика — проактивно искать проблемы, с которыми модель пока не справляется, и вместе с командой разработки придумывать план решения, готовить данные для обучения моделей, а потом оценивать эффективность изменений. Сбор данных
Хорошие данные — это очень важно. Вам предстоит искать качественные источники инстрактов для обучения и валидации, находить проблемы в имеющихся данных, формулировать критерии эталонных ответов и пристально следить за соблюдением этих критериев. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Работали над метриками в ML * Имеете опыт руководства или менторства в аналитике * Уверенно владеете SQL и Python * Любите и умеете анализировать текстовые данные, строили эффективные процессы их обработки * Знаете теорию вероятностей и математическую статистику * Самостоятельны и готовы браться за новые задачи, для которых нет готовых решений * Интересуетесь развитием LLM и хотели бы погрузиться в эту тему* Работали с LLM * Работали с Толокой или другими краудсорс-платформами
Одна из главных задач — оценивать качество модели. Для этого мы используем разные подходы: от бенчмарков и LLM-as-a-Judge до краудсорсинга и привлечения высококвалифицированных AI-тренеров. Вам предстоит формулировать критерии, экспериментировать с подходами и создавать стабильные метрики, по которым можно улучшаться. Анализ проблемных срезов
Задача аналитика — проактивно искать проблемы, с которыми модель пока не справляется, и вместе с командой разработки придумывать план решения, готовить данные для обучения моделей, а потом оценивать эффективность изменений. Сбор данных
Хорошие данные — это очень важно. Вам предстоит искать качественные источники инстрактов для обучения и валидации, находить проблемы в имеющихся данных, формулировать критерии эталонных ответов и пристально следить за соблюдением этих критериев. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Работали над метриками в ML * Имеете опыт руководства или менторства в аналитике * Уверенно владеете SQL и Python * Любите и умеете анализировать текстовые данные, строили эффективные процессы их обработки * Знаете теорию вероятностей и математическую статистику * Самостоятельны и готовы браться за новые задачи, для которых нет готовых решений * Интересуетесь развитием LLM и хотели бы погрузиться в эту тему* Работали с LLM * Работали с Толокой или другими краудсорс-платформами