Ingeniero/a de Evaluación de IA / LLM
Construye los eval harnesses, golden datasets y pipelines de LLM-as-judge que le dicen a los equipos de IA de EE. UU. si un cambio de prompt o de modelo mejoró o empeoró el producto.
Se requiere inglés para el trabajo diario: vas a trabajar todos los días con un equipo de EE. UU.
¿Ya postulaste? Revisa tu estado
Sobre el puesto
Buscamos un/a Ingeniero/a de Evaluación LLM Senior para sumarse a nuestras empresas aliadas que lanzan productos de IA a usuarios reales. La mayoría de estos equipos puede cambiar un prompt en cinco minutos y no tiene forma de saber si rompió algo. Tú vas a resolver eso. Vas a construir el eval harness, curar golden datasets a partir del tráfico de producción, escribir y calibrar graders LLM-as-judge y conectar evals de regresión en CI para que un cambio malo se detecte antes de que lo vea un cliente. Parte del trabajo es red-teaming: encontrar las entradas que hacen que el sistema falle, filtre datos o diga algo que no debería.
Qué vas a hacer
- Diseñar y construir eval harnesses para funcionalidades LLM, agentes y pipelines RAG
- Construir y mantener golden datasets a partir de logs de producción, casos borde y etiquetas de expertos
- Escribir graders LLM-as-judge y validarlos contra calificaciones humanas
- Correr evals de regresión en CI con cada cambio de prompt, modelo o retrieval
- Hacer red-teaming del sistema contra jailbreaks, prompt injection, fugas de datos y salidas dañinas
- Reportar los resultados de evals a producto e ingeniería de forma que puedan actuar sobre ellos
Requisitos
- 4+ años de ingeniería de software o ML, 1+ año construyendo evals para sistemas LLM
- Python sólido y experiencia con herramientas de datos (pandas, notebooks, SQL)
- Experiencia práctica con APIs de LLM (OpenAI, Anthropic, modelos open-weight)
- Comprensión del diseño de evals: muestreo, acuerdo entre evaluadores, elección de métricas y sesgo del juez
- Experiencia con al menos una herramienta de evals o tracing (promptfoo, LangSmith, Braintrust, Ragas, OpenAI Evals)
- Inglés excelente, escrito y hablado (B2+)
Deseable
- Experiencia previa en investigación de ML, ciencia de datos o automatización de QA
- Experiencia evaluando agentes con tool calls y tareas de varios pasos
- Conocimiento de frameworks de seguridad y red-teaming para LLM (OWASP LLM Top 10, garak)
- Experiencia haciendo fine-tuning de modelos o entrenando reward models
Stack tecnológico
Beneficios
Vacantes relacionadas
Guías para ingenieros
Guías gratuitas del blog de Ruzora (en inglés).
Postula a este puesto
Pago competitivo en USD - Remoto
Guías para ingenieros
Guías gratuitas del blog de Ruzora (en inglés).