DL-разработчик в команду исследования архитектуры Alice AI LLM

Мы занимаемся исследованием и обучением моделей Alice AI LLM. Ищем опытного DL-инженера, который будет вместе с нами улучшать технологию, чтобы внедрять её в ключевые продукты Яндекса. Откликайтесь, если разбираетесь в современных LLM и машинном обучении, реализовывали трансформерные модели на PyTorch.Воспроизведение и улучшение мировых наработок по обучению LLM
Вы будете реализовывать и исследовать архитектуры LLM и все составные части обучения. Ваша работа может включать реализацию новых оптимизаторов, постановку экспериментов с Mixture of Experts, улучшение attention-а и многое другое. Вы будете ставить эксперименты для достижения максимального качества и эффективного инференса моделей. Повышение эффективности распределённого обучения на GPU
Вам предстоит ускорять обучение моделей на кластере, исследовать и реализовывать наиболее оптимальные стратегии параллелизма, профилировать CUDA и CPU-код и находить ботлнеки. Разбор релевантных публикаций
Нужно будет глубоко анализировать релевантные современные публикации по теме, выявлять наиболее перспективные и полезные подходы, а затем воспроизводить их и улучшать. Больше об ML в Яндексе — в канале Yandex for ML* Обучали и реализовывали трансформерные модели на PyTorch * Понимаете, как устроены современные LLM * Имеете опыт в распределённом обучении и знаете, какие алгоритмы в нём используются * Обладаете крепкой базой в машинном обучении* Разрабатывали на CUDA или Triton * Умеете выявлять и устранять проблемы в процессе обучения на GPU * Знакомы с FSDP и ZeRO, понимаете концепции Model Parallelism