Data Scientist (LLM / Agents)
- Повышать качество текущих инструментов: применять актуальные подходы для получения необходимого контекста, добавлять поддержку многомерных данных (изображений, таблиц), работать с политиками агента.
- Добавлять новые инструменты агента для повышения процента автоматически закрытых обращений.
- Развивать систему оценки: собирать датасеты и кейсы, разрабатывать метрики, строить диалоговые симуляции, добавлять верифицируемую среду оценки.
- Анализировать ошибки из прода и фидбек пользователей.
- Исследовать новые подходы в разработке AI-агентов: память, harness среда
- Опыт промышленной ML разработки от 3 лет
- Владение Python и стремление писать воспроизводимый и качественный код
- Опыт разработки AI-агентов с использованием фреймворков (LangGraph / OpenAI Agents SDK / Google ADK), понимание современных паттернов проектирования: structured output, память, планирование, циклы агента.
- Опыт построения систем оценок AI-агентов: LLM-as-Judge, FactScore, RAGAS.
- Опыт разработки RAG систем: retrieval, чанкование, sparse / dense / hybrid поиск, reranking
- Понимание основ ML/DL и NLP: метрики качества, embeddings, общее устройство трансформеров (токенизация, attention).
- Знание алгоритмов и структур данных, опыт работы со стеком (FastAPI, Docker, Redis, Postgres, Airflow)