SkillEvaluator de NVIDIA ya está disponible en aitmpl.com
SkillEvaluator es una herramienta de código abierto bajo licencia Apache-2.0 que se publicó el 17 de noviembre, lo que da una idea de la velocidad a la que está avanzando el proyecto.
Su función es evaluar Agent Skills, es decir, todas las carpetas que contienen un archivo SKILL.md, antes de que se publiquen o instalen.
La herramienta trabaja con tres niveles diferenciados:
Tier 1, estático y sin necesidad de API Key: realiza 11 comprobaciones que abarcan seguridad mediante SkillSpector, detección de secretos con Gitleaks, Bandit, PII, licencia, unicode, schema, semver, una puntuación de calidad y el Harness Check.
Tier 2: identifica skills duplicados utilizando embeddings.
Tier 3: ejecuta el skill directamente en agentes reales dentro de Docker. Para ello requiere una API key de un LLM.
De todo esto, en aitmpl.com se ha incorporado únicamente el Harness Check. Apoyándose en las reglas de carga documentadas de cada agente, comprueba si Claude Code, Codex, Copilot CLI, OpenCode, Hermes y OpenClaw cargan el skill tal como es, si modifican alguna parte del texto o si directamente no lo cargan. No ejecuta ningún agente; es simplemente una implementación para verificar la compatibilidad entre distintos harnesses.
A partir de ahora, cada skill disponible en aitmpl.com contará con una pestaña de Compatibility donde podrás consultar en qué otros agentes es posible ejecutarlo. Además, este proceso corre en CI, así que cualquier skill que se añada mediante un PR de la comunidad pasará automáticamente por esta verificación y tendrá la información visible en la web.
Es muy probable que próximamente se incorporen más características de este repositorio a la plataforma, que poco a poco se está consolidando como un espacio completo y fiable para trabajar con componentes de agentes de IA.
Si el proyecto te llama la atención, puedes consultar el repositorio en GitHub y dejar una estrella ⭐ para apoyarlo.
SkillEvaluator de NVIDIA integrado en aitmpl.com: validación estática de Agent Skills antes del despliegue
Resumen técnico
SkillEvaluator es una herramienta open source Apache-2.0 lanzada el 17 de noviembre que evalúa carpetas con SKILL.md antes de publicarlas. Opera en tres tiers: el Tier 1 ejecuta 11 chequeos estáticos sin API Key, incluyendo SkillSpector, Gitleaks, Bandit, detección de PII, licencia, unicode, schema, semver y quality score. El Tier 2 detecta skills duplicados mediante embeddings. El Tier 3 ejecuta el skill en agentes reales dentro de Docker y requiere API key de un LLM. En aitmpl.com se implementó únicamente el componente Harness Check.
Análisis de implicaciones
El Harness Check verifica compatibilidad de cada skill contra las reglas de carga documentadas de Claude Code, Codex, Copilot CLI, OpenCode, Hermes y OpenClaw, comprobando si el agente carga el skill íntegro, lo modifica o lo ignora. No ejecuta ningún agente real. Este enfoque detecta incompatibilidades de formato entre harnesses distintos antes del despliegue, eliminando errores silenciosos de carga que hoy solo se descubren en producción.
Aplicación práctica
Cada skill publicado en aitmpl.com expone una pestaña Compatibility con el resultado del Harness Check por agente. El proceso corre en CI: cualquier skill incorporado mediante Pull Request de la comunidad pasa automáticamente por la validación y publica los resultados en la web. Para usarlo hoy: se abre el skill en aitmpl.com, se consulta la pestaña Compatibility y se verifica qué agentes lo cargan correctamente antes de integrarlo en el workflow.
Contexto del sector
La proliferación de agentes de IA con formatos de contexto distintos —SKILL.md, system prompts, archivos de configuración propios— genera fragmentación de compatibilidad sin herramientas de validación estándar. SkillEvaluator es la primera iniciativa estructurada bajo licencia Apache-2.0 que aborda este problema con chequeos reproducibles en CI, posicionándose como capa de control de calidad para ecosistemas de componentes de agentes.
