Аналитик-разработчик в команду качества генеративных моделей

Мы развиваем Алису AI — систему моделей для построения ответов LLM с использованием поиска как источника информации и обогащений ответа. Внедрили её в Поиск Яндекса и Алису и учимся качественно отвечать на запросы, требующие специализированных знаний. Ищем аналитика-разработчика со знанием Python, SQL и матстатистики.Метрики качества
Вам предстоит разбираться, как устроены метрики качества модели, развивать их на экспертных срезах и помогать улучшать продукт. Вы будете напрямую работать с экспертами (практикующими специалистами в своей области), формализовать их знания и превращать их в разметку и понятные критерии оценки для модели. Аналитика генеративных ответов
Вместе с экспертами вы станете анализировать ответы модели на сложные темы, формулировать, что делает их полезными и точными для пользователя, и на основе этих выводов улучшать качество ответов. Разработка инфраструктуры
Вы будете создавать процессы и инструменты, которые снижают рутину для экспертов и ускоряют разметку: разбираться в инфраструктуре, предлагать улучшения и запускать новые пайплайны для более эффективной работы. Больше об аналитике в Яндексе — в канале Yandex for Analytics
* Уверенно работаете с Python и SQL * Знаете математическую статистику и теорию вероятностей * Умеете формализировать и структурировать требования и ожидания заказчиков * Самостоятельны и готовы браться за новые задачи, для которых нет готового решения * Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую* Писали инструкции и самостоятельно запускали проекты разметки данных * Работали с машинным обучением и нейронными сетями * Умеете создавать точные и эффективные промпты для генеративных нейросетей