Saber qué skills de tu agente realmente funcionan

Por ·

SKILLS

Saber qué skills de tu agente realmente funcionan

Añadir skills a un agente de código no tiene ningún misterio. El problema es otro: descubrir cuáles aportan algo útil y cuáles simplemente están ocupando espacio.

Lo descubrí a través de un post de André Lindenberg sobre SkillEvaluator, una herramienta de código abierto de NVIDIA diseñada exactamente para eso.

Hace dos cosas concretas:

  • Analiza tu catálogo de skills y detecta cuáles se duplican o se solapan entre sí.
  • Ejecuta Claude Code o Codex con las mismas tareas, alternando con y sin cada skill, y mide la diferencia en los resultados.

La segunda es la que más me interesa. Cuando construyes agentes, las skills se van acumulando sin control: una para una cosa, otra casi idéntica para algo parecido, y acabas sin saber si alguna de ellas está perjudicando el rendimiento en lugar de mejorarlo. Revisar el SKILL.md no te da esa respuesta. Comparar ejecuciones reales con y sin ella, sí.

Cuando manejas cientos de skills, este enfoque te permite saber con criterio cuáles eliminar. Y eliminar lo que sobra también es parte del mantenimiento.

La herramienta tiene licencia Apache-2.0 y forma parte del pipeline de NVIDIA Verified Skills. El repositorio está disponible en el repositorio oficial de SkillEvaluator en GitHub.


SkillEvaluator de NVIDIA: evaluación empírica de skills en agentes de código

Resumen técnico

SkillEvaluator es una herramienta de código abierto bajo licencia Apache-2.0 desarrollada por NVIDIA como parte del pipeline de NVIDIA Verified Skills. Realiza dos operaciones diferenciadas: análisis estático del catálogo de skills para detectar solapamientos semánticos entre ellas, y evaluación dinámica mediante benchmarking comparativo. Esta segunda modalidad ejecuta Claude Code y Codex sobre conjuntos idénticos de tareas en dos configuraciones: con y sin cada skill individual. El sistema genera una puntuación diferencial que cuantifica el impacto real de cada skill sobre el rendimiento del agente.

Análisis de implicaciones

El problema que resuelve SkillEvaluator es estructural: en pipelines con cientos de skills activas, la acumulación no controlada genera ruido en el contexto del agente y puede degradar resultados. Leer el archivo SKILL.md no es suficiente para detectar redundancias funcionales ni interferencias. La evaluación empírica con ejecuciones paralelas introduce un criterio objetivo de poda. Esto cambia el mantenimiento de catálogos de skills de una tarea manual e intuitiva a un proceso medible y reproducible.

Aplicación práctica

El flujo de uso directo: cargar el catálogo de skills existente en SkillEvaluator, ejecutar primero el análisis de solapamiento para identificar candidatos obvios, y después lanzar el benchmark comparativo sobre las skills que superen el umbral de redundancia. El sistema ejecuta las mismas tareas con Claude Code o Codex en ambas configuraciones y devuelve una métrica de impacto. Las skills con delta negativo o nulo son candidatas directas a eliminación. El repositorio está disponible en GitHub de NVIDIA.

Contexto del sector

La proliferación de skills en agentes de código es un problema creciente a medida que los catálogos escalan. Hasta ahora no existía un estándar de evaluación empírica para este tipo de componentes. SkillEvaluator llena ese hueco dentro del ecosistema NVIDIA Verified Skills, aportando un criterio técnico donde antes solo había criterio editorial. Compatible con los dos modelos de codificación más utilizados en entornos de agentes: Claude Code y Codex.

Artículo relacionado

Marc Mayol Orell

Ver publicación original

Compartir este artículoLinkedInFacebookWhatsAppTelegram

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Información básica sobre protección de datos Ver más

  • Responsable: Lorenzo Lardillier Sanchez.
  • Finalidad:  Moderar los comentarios.
  • Legitimación:  Por consentimiento del interesado.
  • Destinatarios y encargados de tratamiento: No se ceden o comunican datos a terceros para prestar este servicio. El Titular ha contratado los servicios de alojamiento web a htpps://www.unelink.es que actúa como encargado de tratamiento.
  • Derechos: Acceder, rectificar y suprimir los datos.
  • Información Adicional: Puede consultar la información detallada en la Política de Privacidad.

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para mostrarte publicidad relacionada con sus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Contiene enlaces a sitios web de terceros con políticas de privacidad ajenas que podrás aceptar o no cuando accedas a ellos. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Ver Política de cookies
Privacidad