Nossa Oportunidade
Você é apaixonado(a) por tecnologia, inovação e quer fazer parte de um ambiente inclusivo, colaborativo e em constante evolução? Então essa oportunidade é para você!
Na Capgemini, valorizamos o equilíbrio entre vida pessoal e profissional. Por isso, oferecemos modelos de trabalho flexível, híbrido, de acordo com as necessidades do projeto.
Estamos em busca de um(a) AI Solution Developer - Curadoria Júnior, para compor nosso time.
Responsabilidades
- Desenvolver em Python ferramentas, APIs, pipelines e automações para avaliação de modelos e aplicações de IA.
- Construir pipelines de avaliação automatizada para LLMs, RAG e AI Agents.
- Criar datasets, benchmarks e conjuntos de testes para avaliação de soluções baseadas em IA.
- Desenvolver mecanismos automatizados para avaliar qualidade, precisão, relevância, consistência e aderência às instruções.
- Implementar métricas e critérios de avaliação para diferentes casos de uso.
- Desenvolver avaliações utilizando LLM-as-a-Judge, regras determinísticas, métricas semânticas e avaliações híbridas.
- Implementar regression testing para identificar degradação de qualidade após alterações em modelos, prompts ou aplicações.
- Desenvolver APIs e serviços em Python para disponibilização dos mecanismos de curadoria.
- Monitorar o comportamento de LLMs e agentes em produção.
- Identificar e investigar alucinações, vieses, inconsistências, respostas inadequadas, falhas de instrução e comportamentos inesperados.
- Desenvolver mecanismos para avaliação de AI Agents, incluindo qualidade das decisões, seleção de ferramentas, execução de workflows e resultados gerados.
- Criar métricas e mecanismos de monitoramento para acompanhamento contínuo da qualidade.
- Desenvolver processos para versionamento de datasets, avaliações, prompts e configurações.
- Trabalhar com times de Prompt Engineering e AI Engineering na identificação e correção de problemas de qualidade.
- Apoiar a definição de critérios de aceitação e quality gates para soluções de IA.
- Automatizar processos de curadoria, testes e validação utilizando Python.
- Realizar análise dos resultados dos experimentos e investigar causas de degradação de qualidade.
- Desenvolver soluções para avaliação contínua de aplicações de LLM, RAG e agentes.
- Contribuir para definição de padrões e boas práticas de AI Quality, Evaluation e Responsible AI.
- Documentar metodologias, métricas, datasets, experimentos e resultados.
Requisitos Técnicos
- Python avançado, sendo o principal requisito da posição.
- Desenvolvimento de APIs e serviços com FastAPI ou Flask.
- Pandas, NumPy, orientação a objetos e boas práticas de Software Engineering.
- Unit Testing, Integration Testing e Automated Testing.
- Experiência com LLMs, Generative AI, Prompt Engineering e RAG.
- AI Agents, Function Calling e Tool Calling.
- Embeddings, Semantic Search e Vector Databases.
- Avaliação de LLMs e LLM-as-a-Judge.
- Criação de datasets, benchmarks e pipelines automatizados de avaliação.
- Métricas como relevance, faithfulness, groundedness, semantic similarity e consistency.
- Hallucination Detection e Regression Testing.
- SQL, PostgreSQL, ETL/ELT e Data Pipelines.
- Docker, Linux, Git e CI/CD.
- MLOps/LLMOps, versionamento e acompanhamento de experimentos.
- Observabilidade de aplicações de IA, incluindo logging, metrics e tracing.
- Conhecimentos em Responsible AI, Guardrails, Bias Detection, Prompt Injection e Adversarial Testing.
Diferenciais
- Experiência prática com Python aplicado a AI/ML/GenAI.
- Experiência com avaliação de LLMs e aplicações de Generative AI.
- Experiência desenvolvendo ferramentas, APIs ou pipelines de avaliação automatizada em Python.
- Experiência com AI Agents e avaliação de agentes.
- Conhecimento de frameworks como Ragas, DeepEval, LangSmith, Langfuse, Arize Phoenix ou similares.
- Experiência com LLM-as-a-Judge.
- Experiência com criação e gerenciamento de datasets para avaliação.
- Conhecimento de NLP, Machine Learning ou Data Science.
- Experiência com observabilidade de aplicações de LLM.
- Conhecimento de Prompt Injection, Jailbreaks e Adversarial Testing.
- Experiência com Kubernetes, Docker e CI/CD.
- Experiência com ambientes cloud.
- Conhecimento de práticas de MLOps/LLMOps.
Desenvolvimento e Benefícios
- Plano de carreira estruturado e trilhas personalizadas de aprendizado.
- Universidade Corporativa, com acesso a Harvard e Pluralsight.
- Certificações oficiais com parceiros como SAP, AWS, Microsoft e Salesforce.
- Idiomas com EF Education First.
- Assistência médica e odontológica.
- TotalPass e Equilibrium.
- Previdência privada e seguro de vida.
- Programa Family Care.
- Vale-refeição, clube de benefícios e muito mais.
Diversidade, Inclusão e Pertencimento
Na Capgemini, você pode ser quem você é. Valorizamos a diversidade em todas as suas formas e promovemos um ambiente inclusivo.
Make It Real
Na Capgemini, liberamos a energia humana por meio da tecnologia para construir um futuro mais inclusivo, sustentável e inovador.