Аналитик-разработчик в Нейроэксперт
Команда Нейроэксперта ищет аналитика. Вы будете учить LLM лучше работать с длинными контекстами: создавать резюме по ссылкам на вакансии, делать выводы из сложных Excel и писать понятные конспекты к лекциям. Приходите собирать сложные разметки, придумывать новые метрики и искать точки роста.Приёмка качества
В Нейроэксперте новые гипотезы проверяются несколько раз в неделю, поэтому важно выстроить чувствительную и интерпретируемую приёмку качества сервиса. Задача усложняется тем, что в Нейроэксперте каждый запрос сопровождается обширной базой знаний. Здесь нам на помощь приходят бенчмарки длинного контекста, LLM-as-a-judge и адаптации традиционных разметок на AI-тренерах (среди них: лингвокриминалист, эксперт-биолог по мхам, пилот, электрофизиолог, пресс-атташе клуба РФПЛ, инструктор по дайвингу). Развитие технологии
Вам предстоит выявлять проблемные срезы и улучшать их совместно с ML-командой. Мы детально изучаем результаты замеров, проводим продуктовые исследования потока, собираем качественные данные для дообучения моделей. Для улучшения конкретных частей пайплайна мы разрабатываем собственные бенчмарки и метрики. Наработки, полученные в Нейроэксперте, впоследствии используются для улучшения базовых моделей Alice AI LLM. Улучшение продуктов
Нейроэксперт как технология присутствует в различных сервисах Яндекса: это и чат с Алисой, и ответы Алисы в Яндекс Браузере, и Яндекс Почта (Алиса Про). Поток запросов в каждом продукте специфичен и требует отдельной проработки как на уровне обучающих пулов, так и на уровне приёмки. Мы формулируем требования и адаптируем технологию под конкретные сценарии. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Работали над метриками в ML * Уверенно владеете SQL и Python * Не боитесь работать с текстовыми данными и умеете искать точки роста * Знаете теорию вероятностей и математическую статистику * Интересуетесь развитием LLM и хотели бы погрузиться в эту тему* Работали с LLM * Делали крауд-разметки, знаете Толоку или другие краудсорс-платформы
В Нейроэксперте новые гипотезы проверяются несколько раз в неделю, поэтому важно выстроить чувствительную и интерпретируемую приёмку качества сервиса. Задача усложняется тем, что в Нейроэксперте каждый запрос сопровождается обширной базой знаний. Здесь нам на помощь приходят бенчмарки длинного контекста, LLM-as-a-judge и адаптации традиционных разметок на AI-тренерах (среди них: лингвокриминалист, эксперт-биолог по мхам, пилот, электрофизиолог, пресс-атташе клуба РФПЛ, инструктор по дайвингу). Развитие технологии
Вам предстоит выявлять проблемные срезы и улучшать их совместно с ML-командой. Мы детально изучаем результаты замеров, проводим продуктовые исследования потока, собираем качественные данные для дообучения моделей. Для улучшения конкретных частей пайплайна мы разрабатываем собственные бенчмарки и метрики. Наработки, полученные в Нейроэксперте, впоследствии используются для улучшения базовых моделей Alice AI LLM. Улучшение продуктов
Нейроэксперт как технология присутствует в различных сервисах Яндекса: это и чат с Алисой, и ответы Алисы в Яндекс Браузере, и Яндекс Почта (Алиса Про). Поток запросов в каждом продукте специфичен и требует отдельной проработки как на уровне обучающих пулов, так и на уровне приёмки. Мы формулируем требования и адаптируем технологию под конкретные сценарии. Больше об аналитике в Яндексе — в канале Yandex for Analytics* Работали над метриками в ML * Уверенно владеете SQL и Python * Не боитесь работать с текстовыми данными и умеете искать точки роста * Знаете теорию вероятностей и математическую статистику * Интересуетесь развитием LLM и хотели бы погрузиться в эту тему* Работали с LLM * Делали крауд-разметки, знаете Толоку или другие краудсорс-платформы