Analista QA - Quality & AI Agents

O QUE É SER UM MUTANT?Quando você decide ser Mutant, você decide dar um passo diferente na sua vida e na sua carreira.Ser Mutant é aceitar ser parte de um grupo com coragem para traçar novos caminhos e ambição para chegar mais longe a cada dia.A gente não é a empresa da moda - nem faz questão de ser. Ao contrário, fazemos muito mais do que falamos. E preferimos fazer em grupo porque aqui é com todos e por todos.Estamos sempre em busca de gente talentosa e apaixonada para crescer e evoluir com a gente. Se você acredita no seu talento e consegue mostrar isso na prática, venha ser um Mutant.A gente te aguarda. 🚀Responsabilidades e atribuiçõesEstamos buscando um QA Engineer especializado em testes de agentes conversacionais baseados em IA Generativa.Esse profissional será responsável por garantir a qualidade, confiabilidade e consistência das respostas de agentes baseados em LLMs, estruturando estratégias de teste, automação de validação e monitoramento de comportamento dos agentes.Essa pessoa trabalhará próximo de Prompt Engineers, especialistas de IA e analistas de dados, garantindo que os agentes evoluam de forma segura e confiável ao longo do tempo.Diferente de testes tradicionais de software, este papel envolve validar comportamentos probabilísticos de modelos de linguagem, analisando aspectos como: Precisão das respostas; Consistência do comportamento; Alucinações; Aderência a políticas e guardrails; Qualidade da experiência conversacionalEssa pessoa irá:Criar estratégias de testes para agentes conversacionais baseados em LLMsDesenvolver cenários de teste para validação de comportamento do agenteAutomatizar testes de prompts e respostas do modeloIdentificar alucinações, inconsistências e respostas inadequadasCriar datasets de teste e suites de regressãoValidar aderência a guardrails e políticas de respostaParticipar da análise de qualidade antes de deploy de novas versões do agenteTrabalhar com times técnicos na correção e melhoria do comportamento do agenteMonitorar qualidade das respostas em produçãoVocê trabalhará com tecnologias como:Large Language Models (LLMs)Test automation frameworksAPIs e automação de testesFerramentas de análise de conversasTest datasetsPipelines de avaliação de IAFerramentas comuns incluem:Python (desejável)Frameworks de testes automatizadosFerramentas de experimentação com LLMsAmbientes de simulação de conversasRequisitos e qualificaçõesExperiência em Quality Assurance ou Test AutomationExperiência em criação de cenários e planos de testeCapacidade de estruturar testes sistemáticos para sistemas complexosExperiência com APIs e testes automatizadosExperiência prática com ferramentas de IA como ChatGPT, Claude, GeminiPerfil analítico e investigativoForte atenção a detalhesDiferenciais fortesExperiência com IA Generativa ou LLMsExperiência com testes de chatbots ou voicebotsConhecimento em NLP ou análise de textoExperiência com automação de testes em PythonExperiência em Customer Experience ou Contact CentersExperiência com testes de sistemas baseados em IAInformações adicionaisO que você vai encontrar por aqui:Flexibilidade nos seus horários;Estrutura horizontal;Dress code livre;Estacionamento para bikes e patinetes (em caso de ida ao escritório);Oportunidades de crescimento cross brands;Empresa Cidadã: Nossos colaboradores tem a licença parental estendida;Benefícios:Assistência médica e odontológica;Seguro de vida;Vale-transporte;Vale-refeição e alimentação;Wellhub (Gympass);Auxílio Creche;Auxílio filhos com deficiência;Bônus por resultados;Dayoff para aniversários;Alelo Multibenefícios;Allya - parcerias e descontos no app;Plano de saúde para o seu pet;Além disso, incluímos também alguns benefícios com o propósito Mutant:• Liberdade para ser quem você é. Incluir todos com o mesmo olhar está em nosso DNA. Aqui não fazemos distinção de gênero, raça, credo ou cor! Somos todos Mutants!• Pessoas e experiências são o que nos movem. São a nossa essência e nosso propósito. Ações e programas voltados a clima, desenvolvimento e cultura;• Gerar valor para pessoas e negócios. Juntos, criamos produtos digitais que impulsionam os negócios.;• Fazer parte de um time sensacional, que joga junto, com uma cultura de colaboração, inovação e transformação. E o mais importante: que se diverte em toda a jornada;• Trabalhar e trocar conhecimentos diários. As melhores cabeças do mercado em um lugar que elas podem ser elas mesmas: é assim que entregamos soluções disruptivas;