Лид ML-аналитики в Нейросервисы
Мы строим AI-сервисы для бизнеса на базе технологий Яндекса. Среди наших продуктов — Нейроюрист, Алиса Про и Нейросаппорт. Ищем лида ML-аналитики, который поможет выстроить сильную функцию аналитики качества AI-сервисов: от процессов и метрик до команды и платформенных решений.Развитие аналитики качества LLM
Основная часть работы будет связана с качеством AI-продуктов и ML-систем. Вам предстоит вместе с командами искать способы измерять качество моделей и AI-сценариев, строить систему метрик, улучшать процессы оценки и помогать командам быстрее и безопаснее запускать изменения. У нас много неоднозначных задач: как оценивать качество генераций, как измерять полезность AI-фич для бизнеса, как автоматизировать проверку качества и как быстро понимать, стало лучше или хуже после очередного изменения модели или промптов. Построение процессов ML-аналитики
Нужно будет выстроить понятные процессы вокруг оценки качества: от ручной разметки и продуктовых исследований до LLM-as-a-judge и автоматических проверок. Мы хотим, чтобы аналитика качества стала полноценной частью платформы Нейросервисов. Работа с несколькими сервисами одновременно
Вам предстоит помогать сразу нескольким AI-продуктам и новым гипотезам: Нейроюристу, Алисе Про, Нейросаппорту, Нейросейлзу и другим направлениям. Нужно будет уметь быстро переключаться между задачами, видеть общие паттерны и переносить лучшие практики между командами. Управление командой и её развитие
Вы будете нанимать и развивать ML-аналитиков, помогать им расти и формировать сильную инженерно-продуктовую культуру вокруг аналитики качества AI. Больше об ML в Яндексе — в канале Yandex for ML* Руководили аналитиками, ML-аналитиками или quality-направлениями * Работали с офлайн- и онлайн-оценкой качества моделей * Хорошо понимаете специфику ML- и LLM-продуктов * Умеете строить метрики качества для AI-систем * Понимаете ограничения классических продуктовых метрик для генеративных моделей * Уверенно владеете SQL и Python * Можете самостоятельно проводить исследования и разбираться в сложных неоднозначных задачах * Знаете, как устроены процессы разметки, evals и проверки качества моделей * Умеете выстраивать процессы и эффективно работать с большим количеством стейкхолдеров * Любите нанимать и развивать сильных людей* Работали с LLM-as-a-judge, synthetic data или автоматическими evals * Строили ML-метрики или платформы оценки качества * Умеете работать с AI-ассистентами, RAG-системами или агентами * Понимаете специфику B2B- и enterprise-AI-продуктов * Имеете опыт работы в быстрорастущих AI-командах или стартапах * Разбираетесь в продуктовой аналитике и отстраивали соответствующие процессы
Основная часть работы будет связана с качеством AI-продуктов и ML-систем. Вам предстоит вместе с командами искать способы измерять качество моделей и AI-сценариев, строить систему метрик, улучшать процессы оценки и помогать командам быстрее и безопаснее запускать изменения. У нас много неоднозначных задач: как оценивать качество генераций, как измерять полезность AI-фич для бизнеса, как автоматизировать проверку качества и как быстро понимать, стало лучше или хуже после очередного изменения модели или промптов. Построение процессов ML-аналитики
Нужно будет выстроить понятные процессы вокруг оценки качества: от ручной разметки и продуктовых исследований до LLM-as-a-judge и автоматических проверок. Мы хотим, чтобы аналитика качества стала полноценной частью платформы Нейросервисов. Работа с несколькими сервисами одновременно
Вам предстоит помогать сразу нескольким AI-продуктам и новым гипотезам: Нейроюристу, Алисе Про, Нейросаппорту, Нейросейлзу и другим направлениям. Нужно будет уметь быстро переключаться между задачами, видеть общие паттерны и переносить лучшие практики между командами. Управление командой и её развитие
Вы будете нанимать и развивать ML-аналитиков, помогать им расти и формировать сильную инженерно-продуктовую культуру вокруг аналитики качества AI. Больше об ML в Яндексе — в канале Yandex for ML* Руководили аналитиками, ML-аналитиками или quality-направлениями * Работали с офлайн- и онлайн-оценкой качества моделей * Хорошо понимаете специфику ML- и LLM-продуктов * Умеете строить метрики качества для AI-систем * Понимаете ограничения классических продуктовых метрик для генеративных моделей * Уверенно владеете SQL и Python * Можете самостоятельно проводить исследования и разбираться в сложных неоднозначных задачах * Знаете, как устроены процессы разметки, evals и проверки качества моделей * Умеете выстраивать процессы и эффективно работать с большим количеством стейкхолдеров * Любите нанимать и развивать сильных людей* Работали с LLM-as-a-judge, synthetic data или автоматическими evals * Строили ML-метрики или платформы оценки качества * Умеете работать с AI-ассистентами, RAG-системами или агентами * Понимаете специфику B2B- и enterprise-AI-продуктов * Имеете опыт работы в быстрорастущих AI-командах или стартапах * Разбираетесь в продуктовой аналитике и отстраивали соответствующие процессы