Saber qué skills de tu agente realmente funcionan
Añadir skills a un agente de código no tiene ningún misterio. El problema es otro: descubrir cuáles aportan algo útil y cuáles simplemente están ocupando espacio.
Lo descubrí a través de un post de André Lindenberg sobre SkillEvaluator, una herramienta de código abierto de NVIDIA diseñada exactamente para eso.
Hace dos cosas concretas:
- Analiza tu catálogo de skills y detecta cuáles se duplican o se solapan entre sí.
- Ejecuta Claude Code o Codex con las mismas tareas, alternando con y sin cada skill, y mide la diferencia en los resultados.
La segunda es la que más me interesa. Cuando construyes agentes, las skills se van acumulando sin control: una para una cosa, otra casi idéntica para algo parecido, y acabas sin saber si alguna de ellas está perjudicando el rendimiento en lugar de mejorarlo. Revisar el SKILL.md no te da esa respuesta. Comparar ejecuciones reales con y sin ella, sí.
Cuando manejas cientos de skills, este enfoque te permite saber con criterio cuáles eliminar. Y eliminar lo que sobra también es parte del mantenimiento.
La herramienta tiene licencia Apache-2.0 y forma parte del pipeline de NVIDIA Verified Skills. El repositorio está disponible en el repositorio oficial de SkillEvaluator en GitHub.
SkillEvaluator de NVIDIA: evaluación empírica de skills en agentes de código
Resumen técnico
SkillEvaluator es una herramienta de código abierto bajo licencia Apache-2.0 desarrollada por NVIDIA como parte del pipeline de NVIDIA Verified Skills. Realiza dos operaciones diferenciadas: análisis estático del catálogo de skills para detectar solapamientos semánticos entre ellas, y evaluación dinámica mediante benchmarking comparativo. Esta segunda modalidad ejecuta Claude Code y Codex sobre conjuntos idénticos de tareas en dos configuraciones: con y sin cada skill individual. El sistema genera una puntuación diferencial que cuantifica el impacto real de cada skill sobre el rendimiento del agente.
Análisis de implicaciones
El problema que resuelve SkillEvaluator es estructural: en pipelines con cientos de skills activas, la acumulación no controlada genera ruido en el contexto del agente y puede degradar resultados. Leer el archivo SKILL.md no es suficiente para detectar redundancias funcionales ni interferencias. La evaluación empírica con ejecuciones paralelas introduce un criterio objetivo de poda. Esto cambia el mantenimiento de catálogos de skills de una tarea manual e intuitiva a un proceso medible y reproducible.
Aplicación práctica
El flujo de uso directo: cargar el catálogo de skills existente en SkillEvaluator, ejecutar primero el análisis de solapamiento para identificar candidatos obvios, y después lanzar el benchmark comparativo sobre las skills que superen el umbral de redundancia. El sistema ejecuta las mismas tareas con Claude Code o Codex en ambas configuraciones y devuelve una métrica de impacto. Las skills con delta negativo o nulo son candidatas directas a eliminación. El repositorio está disponible en GitHub de NVIDIA.
Contexto del sector
La proliferación de skills en agentes de código es un problema creciente a medida que los catálogos escalan. Hasta ahora no existía un estándar de evaluación empírica para este tipo de componentes. SkillEvaluator llena ese hueco dentro del ecosistema NVIDIA Verified Skills, aportando un criterio técnico donde antes solo había criterio editorial. Compatible con los dos modelos de codificación más utilizados en entornos de agentes: Claude Code y Codex.