Engenheiro(a) de Avaliação de IA / LLM
Construa os eval harnesses, golden datasets e pipelines de LLM-as-judge que mostram aos times de IA dos EUA se uma mudança de prompt ou de modelo melhorou ou piorou o produto.
Inglês necessário para o dia a dia: você vai trabalhar todos os dias com um time dos EUA.
Já se candidatou? Veja seu status
Sobre a vaga
Estamos procurando um(a) Engenheiro(a) de Avaliação LLM Sênior para atuar em nossas empresas parceiras que lançam produtos de IA para usuários reais. A maioria desses times consegue mudar um prompt em cinco minutos e não tem como saber se quebrou alguma coisa. Você vai resolver isso. Vai construir o eval harness, curar golden datasets a partir do tráfego de produção, escrever e calibrar graders LLM-as-judge e ligar evals de regressão no CI para que uma mudança ruim seja pega antes que um cliente veja. Parte do trabalho é red-teaming: encontrar as entradas que fazem o sistema falhar, vazar dados ou dizer algo que não deveria.
O que você vai fazer
- Projetar e construir eval harnesses para funcionalidades LLM, agentes e pipelines RAG
- Construir e manter golden datasets a partir de logs de produção, casos extremos e rótulos de especialistas
- Escrever graders LLM-as-judge e validá-los contra avaliações humanas
- Rodar evals de regressão no CI a cada mudança de prompt, modelo ou retrieval
- Fazer red-teaming do sistema contra jailbreaks, prompt injection, vazamento de dados e saídas nocivas
- Reportar os resultados das evals para produto e engenharia de um jeito que gere ação
Requisitos
- 4+ anos de engenharia de software ou ML, 1+ ano construindo evals para sistemas LLM
- Python sólido e experiência com ferramentas de dados (pandas, notebooks, SQL)
- Experiência prática com APIs de LLM (OpenAI, Anthropic, modelos open-weight)
- Entendimento de design de evals: amostragem, concordância entre avaliadores, escolha de métricas e viés do juiz
- Experiência com pelo menos uma ferramenta de evals ou tracing (promptfoo, LangSmith, Braintrust, Ragas, OpenAI Evals)
- Inglês excelente, escrito e falado (B2+)
Diferenciais
- Experiência anterior em pesquisa de ML, ciência de dados ou automação de QA
- Experiência avaliando agentes com tool calls e tarefas de várias etapas
- Conhecimento de frameworks de segurança e red-teaming para LLM (OWASP LLM Top 10, garak)
- Experiência com fine-tuning de modelos ou treinamento de reward models
Stack de tecnologia
Benefícios
Vagas relacionadas
Guias para engenheiros
Guias gratuitos do blog da Ruzora (em inglês).
Candidate-se a esta vaga
Remuneração competitiva em USD - Remoto
Guias para engenheiros
Guias gratuitos do blog da Ruzora (em inglês).