Тестировщик (Команда разработки AI-Консультанта)

Мы разрабатываем AI-агента который помогает пользователям подобрать и оформить пособия и льготы согласно своей жизненной ситуации и возможностей предусмотренных законодательством.* проверка точности и релевантности ответов: Придумывать и проводить сценарии диалога, имитирующие самые разные жизненные ситуации пользователей (молодые родители, пенсионеры, люди с инвалидностью и т.д.) * тестирование промтов и логики диалога: Проверять, как ассистент реагирует на уточняющие вопросы, неправильные или эмоционально окрашенные реплики, меняет ли тему и сохраняет контекст разговора * поиск кейсов, где модель «галлюцинирует»: Выявлять случаи, когда AI выдает неправдивую или выдуманную информацию о льготах * тестирование интеграций: Проверять работу всего контура системы: от интерфейса чата до корректности подключения базы знаний о льготах * работа с требованиями: Участвовать в составлении и проверке сценариев диалога (user journeys), предлагать улучшения с точки зрения пользователя * тесное взаимодействие с разработчиками и продукт-менеджерами для улучшения продукта * разработка заглушек и скриптов автоматизированного тестировании * контроль за соблюдением требований релизной политики и ведение необходимых артефактов тестирования * определение приоритетных для автоматизации сценариев и их адаптации под автоматизацию.* опыт в сфере тестирования не менее 2-х лет * опыт разработки автотестов от 1 года * опыт написания prompt-ов для LLM (в т.ч. и для целей тестирования) * базовое понимание, как работают LLM (большие языковые модели типа ChatGPT) и что такое «галлюцинации» * навыки коммуникации: Умение четко и ясно описать проблему так, чтобы ее поняли и разработчик, и дизайнер * опыт использования инструментов API тестирования * опыт работы и анализа XML\\HTML\\XSD\\JSON схема\\кода * опыт использования в работе протоколов и инструментов REST/Apache Kafka. * понимание жизненного цикла разработки ПО * знание языка Java/Python на уровне Middle (коллекции (структуры данных)); исключения; ООП; умение использовать функциональные интерфейсы) * знание основных паттернов проектирования программного обеспечения и умение применять их на практике.* офис рядом с м. Кутузовская * стабильный оклад и премии по результатам работы, ежегодный пересмотр зарплаты * корпоративный спортзал и зоны отдыха * уникальная система обучения Сбера для профессионального и карьерного развития * программа адаптации и помощь руководителя на старте * расширенный ДМС и льготное страхование семьи * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера * корпоративная пенсионная программа