OpenAI acaba de lanzar su propia alternativa oficial a Jev
OpenAI acaba de lanzar su propia alternativa oficial a Jev. La han llamado Decisions y ya se encuentra disponible en beta pública.
Estas son sus características principales:
✓ Admite 3 tipos de preguntas: respuesta sí/no, selección entre opciones o puntuación✓ Precio de 0,10$ por millón de tokens de entrada✓ Compatible con texto e imagen
Puedes consultar más información en el enlace oficial de Decisions.OpenAI lanza Decisions: evaluación estructurada de modelos en beta pública
Resumen técnico
OpenAI ha publicado en beta pública Decisions, su herramienta oficial de evaluación y anotación de outputs de modelos. Soporta tres tipos de pregunta: binaria (sí/no), selección de opción múltiple y puntuación numérica. El precio de entrada es de 0,10 $ por millón de tokens, lo que la posiciona como una opción económica frente a soluciones externas. Admite entradas de texto e imagen, lo que amplía su aplicabilidad a pipelines multimodales. Se presenta como alternativa directa a herramientas de terceros como Jev para tareas de evaluación y clasificación automatizada de respuestas.
Análisis de implicaciones
Integrar Decisions directamente en el ecosistema de OpenAI elimina la dependencia de herramientas externas para evaluación de modelos. Los equipos que ya usan la API de OpenAI pueden añadir capas de evaluación sin cambiar de proveedor ni gestionar integraciones adicionales. El soporte multimodal abre la puerta a pipelines de validación sobre outputs que combinan texto e imagen. La principal limitación actual es su estado beta: la estabilidad, los límites de rate y la cobertura de tipos de evaluación aún pueden variar antes del lanzamiento general.
Aplicación práctica
Un caso directo: evaluar la calidad de respuestas generadas en un chatbot usando preguntas de tipo sí/no para detectar alucinaciones, o puntuación numérica para medir relevancia. En pipelines de fine-tuning, Decisions puede actuar como juez automatizado para filtrar datos de entrenamiento de baja calidad antes de enviarlos al modelo. Para equipos que trabajan con contenido visual, la entrada de imagen permite evaluar descripciones generadas contra el contenido visual original, cerrando el bucle de validación sin herramientas adicionales.
Contexto del sector
La evaluación automatizada de LLMs es uno de los cuellos de botella más críticos en producción. Herramientas como LangSmith, Ragas o Jev han cubierto ese hueco hasta ahora. Que OpenAI integre esta capacidad de forma nativa, a 0,10 $ por millón de tokens, presiona directamente a esas alternativas en precio y fricción de adopción. La tendencia es clara: los proveedores de modelos están absorbiendo capas del stack de evaluación que antes eran territorio de terceros.
Artículo relacionado