Data Analyst / ML Analyst (ИИ в Яндекс.Авто)
Мы развиваем автомобильную мультимедийную платформу с Алисой в полноценную ИИ-платформу для водителя и пассажиров. Ищем аналитика, который поможет анализировать реальные пользовательские сценарии, находить ошибки модели, строить систему оценки качества, собирать данные для обучения и приёмки.Анализ работы автомобильного ИИ-ассистента
Вам предстоит глубоко разбираться в том, как Алиса работает внутри автомобиля: анализировать пользовательские запросы в гео- и автосценариях; находить проблемные кейсы в навигации, мультимедиа, управлении автомобилем и сервисах; сегментировать ошибки модели, DSAT и негативные пользовательские паттерны; формировать гипотезы по улучшению качества; оценивать влияние изменений на пользовательский опыт водителя и пассажиров. Построение системы оценки качества
Вместе с командой вы будете развивать систему оценки качества автомобильного ИИ-ассистента: офлайн-метрики качества модели; сценарные evals для авто и гео-доменов; LLM-as-a-judge для оценки диалогов и tool-calling-цепочек; принимать новые модели и разбирать регрессии после релизов. Развитие tool-calling-модели для автомобиля
Вы будете участвовать в развитии новой модели, где LLM самостоятельно выбирает и вызывает нужные инструменты для выполнения пользовательских задач. Фокус будет на автомобильных и геосценариях: навигация и построение маршрутов; поиск мест по пути и рядом с пользователем; заправки, зарядки, парковки, сервисы и точки интереса; мультимедиа в автомобиле; управление функциями автомобиля (климат, окна, двери, багажник, подогревы и другие); сценарии умного дома из автомобиля. Сбор данных для обучения и приёмки моделей
Вы будете работать с данными на всём цикле улучшения модели: находить реальные пользовательские кейсы в логах; собирать датасеты для обучения и тестирования; проектировать разметку интентов, tool calls и ошибок; анализировать качество разметки. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Работали от 2-х лет в роли Data Analyst / Product Analyst / Analyst в data-driven продукте * Работали с LLM/Generative AI помимо решения бытовых задач и хотите создавать свои AI-системы * Проводили продуктовую аналитику и поиск инсайтов через данные * Уверенно владеете SQL и Python для анализа данных * Умеете работать с большими объёмами логов и событийных данных * Понимаете основы статистики и A/B-тестирования * Умеете формулировать продуктовые гипотезы и оценивать их эффект * Обладаете системным мышлением и умеете разбираться в сложных многокомпонентных продуктах* Работали с LLM-based продуктами или AI-ассистентами * Занимались оценкой качества LLM (LLM-as-a-judge, evals, RAG и т. п.) * Работали с NLP/NLU-продуктами или голосовыми ассистентами * Знакомы с концепциями Agentic AI и tool calling * Умеете строить дашборды (Tableau, DataLens, Superset и др.) * Понимаете, как устроен цикл обучения и улучшения ML/LLM-моделей * Умеете работать с неструктурированными данными и текстовыми логами
Вам предстоит глубоко разбираться в том, как Алиса работает внутри автомобиля: анализировать пользовательские запросы в гео- и автосценариях; находить проблемные кейсы в навигации, мультимедиа, управлении автомобилем и сервисах; сегментировать ошибки модели, DSAT и негативные пользовательские паттерны; формировать гипотезы по улучшению качества; оценивать влияние изменений на пользовательский опыт водителя и пассажиров. Построение системы оценки качества
Вместе с командой вы будете развивать систему оценки качества автомобильного ИИ-ассистента: офлайн-метрики качества модели; сценарные evals для авто и гео-доменов; LLM-as-a-judge для оценки диалогов и tool-calling-цепочек; принимать новые модели и разбирать регрессии после релизов. Развитие tool-calling-модели для автомобиля
Вы будете участвовать в развитии новой модели, где LLM самостоятельно выбирает и вызывает нужные инструменты для выполнения пользовательских задач. Фокус будет на автомобильных и геосценариях: навигация и построение маршрутов; поиск мест по пути и рядом с пользователем; заправки, зарядки, парковки, сервисы и точки интереса; мультимедиа в автомобиле; управление функциями автомобиля (климат, окна, двери, багажник, подогревы и другие); сценарии умного дома из автомобиля. Сбор данных для обучения и приёмки моделей
Вы будете работать с данными на всём цикле улучшения модели: находить реальные пользовательские кейсы в логах; собирать датасеты для обучения и тестирования; проектировать разметку интентов, tool calls и ошибок; анализировать качество разметки. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Работали от 2-х лет в роли Data Analyst / Product Analyst / Analyst в data-driven продукте * Работали с LLM/Generative AI помимо решения бытовых задач и хотите создавать свои AI-системы * Проводили продуктовую аналитику и поиск инсайтов через данные * Уверенно владеете SQL и Python для анализа данных * Умеете работать с большими объёмами логов и событийных данных * Понимаете основы статистики и A/B-тестирования * Умеете формулировать продуктовые гипотезы и оценивать их эффект * Обладаете системным мышлением и умеете разбираться в сложных многокомпонентных продуктах* Работали с LLM-based продуктами или AI-ассистентами * Занимались оценкой качества LLM (LLM-as-a-judge, evals, RAG и т. п.) * Работали с NLP/NLU-продуктами или голосовыми ассистентами * Знакомы с концепциями Agentic AI и tool calling * Умеете строить дашборды (Tableau, DataLens, Superset и др.) * Понимаете, как устроен цикл обучения и улучшения ML/LLM-моделей * Умеете работать с неструктурированными данными и текстовыми логами