ML-аналитик в команду LLM-спецпроектов Алисы
Мы ищем ML-аналитика, который поможет развивать LLM-агентов Алисы: улучшать качество ответов, анализировать поведение моделей, строить процессы оценки и обучения. Откликайтесь, если уверенно владеете Python, работали с текстовыми данными или задачами NLP, понимаете базовые статистические методы.Улучшение качества LLM-агентов Алисы
Вы будете изучать ответы моделей, выявлять типичные ошибки и точки роста, а также участвовать в улучшении поведения агентов через prompt engineering и context engineering. Оценка и сравнение моделей
Вам предстоит участвовать в приёмке новых версий моделей, анализировать результаты экспериментов и сравнивать модели по ключевым метрикам качества. Работа с данными и разметкой
Вы станете формировать задания на разметку, готовить корзины данных, контролировать качество разметки и подготавливать обучающие и learn-датасеты. Развитие инструментов оценки качества
Понадобится применять статистические методы для проверки гипотез и работать с системами автоматической оценки ответов (например, LLM-as-a-Judge). Аналитика и развитие процессов
Ещё одна важная задача — писать аналитические скрипты на Python для обработки данных и участвовать в развитии процессов оценки и улучшения работы LLM-агентов. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Уверенно владеете Python и работали с данными * Имели дело с текстовыми данными или задачами NLP * Понимаете базовые статистические методы, анализировали результаты экспериментов с помощью статистических тестов * Умеете анализировать метрики качества моделей и проверять гипотезы * Готовили и структурировали датасеты * Внимательны к деталям и способны работать с большими объёмами текстовых данных * Способны разбираться в сложных системах и находить причины ошибок моделей* Работали с LLM или генеративными моделями * Работали с разметкой данных или управляли процессом разметки * Строили evaluation-пайплайны для моделей * Понимаете принципы работы современных LLM
Вы будете изучать ответы моделей, выявлять типичные ошибки и точки роста, а также участвовать в улучшении поведения агентов через prompt engineering и context engineering. Оценка и сравнение моделей
Вам предстоит участвовать в приёмке новых версий моделей, анализировать результаты экспериментов и сравнивать модели по ключевым метрикам качества. Работа с данными и разметкой
Вы станете формировать задания на разметку, готовить корзины данных, контролировать качество разметки и подготавливать обучающие и learn-датасеты. Развитие инструментов оценки качества
Понадобится применять статистические методы для проверки гипотез и работать с системами автоматической оценки ответов (например, LLM-as-a-Judge). Аналитика и развитие процессов
Ещё одна важная задача — писать аналитические скрипты на Python для обработки данных и участвовать в развитии процессов оценки и улучшения работы LLM-агентов. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Уверенно владеете Python и работали с данными * Имели дело с текстовыми данными или задачами NLP * Понимаете базовые статистические методы, анализировали результаты экспериментов с помощью статистических тестов * Умеете анализировать метрики качества моделей и проверять гипотезы * Готовили и структурировали датасеты * Внимательны к деталям и способны работать с большими объёмами текстовых данных * Способны разбираться в сложных системах и находить причины ошибок моделей* Работали с LLM или генеративными моделями * Работали с разметкой данных или управляли процессом разметки * Строили evaluation-пайплайны для моделей * Понимаете принципы работы современных LLM