SkillEvaluator de NVIDIA ya está disponible en aitmpl.com

Skills · Por ·

SkillEvaluator de NVIDIA ya está disponible en aitmpl.com

SkillEvaluator es una herramienta de código abierto bajo licencia Apache-2.0 que se publicó el 17 de noviembre, lo que da una idea de la velocidad a la que está avanzando el proyecto.

Su función es evaluar Agent Skills, es decir, todas las carpetas que contienen un archivo SKILL.md, antes de que se publiquen o instalen.

La herramienta trabaja con tres niveles diferenciados:

Tier 1, estático y sin necesidad de API Key: realiza 11 comprobaciones que abarcan seguridad mediante SkillSpector, detección de secretos con Gitleaks, Bandit, PII, licencia, unicode, schema, semver, una puntuación de calidad y el Harness Check.

Tier 2: identifica skills duplicados utilizando embeddings.

Tier 3: ejecuta el skill directamente en agentes reales dentro de Docker. Para ello requiere una API key de un LLM.

De todo esto, en aitmpl.com se ha incorporado únicamente el Harness Check. Apoyándose en las reglas de carga documentadas de cada agente, comprueba si Claude Code, Codex, Copilot CLI, OpenCode, Hermes y OpenClaw cargan el skill tal como es, si modifican alguna parte del texto o si directamente no lo cargan. No ejecuta ningún agente; es simplemente una implementación para verificar la compatibilidad entre distintos harnesses.

A partir de ahora, cada skill disponible en aitmpl.com contará con una pestaña de Compatibility donde podrás consultar en qué otros agentes es posible ejecutarlo. Además, este proceso corre en CI, así que cualquier skill que se añada mediante un PR de la comunidad pasará automáticamente por esta verificación y tendrá la información visible en la web.

Es muy probable que próximamente se incorporen más características de este repositorio a la plataforma, que poco a poco se está consolidando como un espacio completo y fiable para trabajar con componentes de agentes de IA.

Si el proyecto te llama la atención, puedes consultar el repositorio en GitHub y dejar una estrella ⭐ para apoyarlo.


SkillEvaluator de NVIDIA integrado en aitmpl.com: validación estática de Agent Skills antes del despliegue

Resumen técnico

SkillEvaluator es una herramienta open source Apache-2.0 lanzada el 17 de noviembre que evalúa carpetas con SKILL.md antes de publicarlas. Opera en tres tiers: el Tier 1 ejecuta 11 chequeos estáticos sin API Key, incluyendo SkillSpector, Gitleaks, Bandit, detección de PII, licencia, unicode, schema, semver y quality score. El Tier 2 detecta skills duplicados mediante embeddings. El Tier 3 ejecuta el skill en agentes reales dentro de Docker y requiere API key de un LLM. En aitmpl.com se implementó únicamente el componente Harness Check.

Análisis de implicaciones

El Harness Check verifica compatibilidad de cada skill contra las reglas de carga documentadas de Claude Code, Codex, Copilot CLI, OpenCode, Hermes y OpenClaw, comprobando si el agente carga el skill íntegro, lo modifica o lo ignora. No ejecuta ningún agente real. Este enfoque detecta incompatibilidades de formato entre harnesses distintos antes del despliegue, eliminando errores silenciosos de carga que hoy solo se descubren en producción.

Aplicación práctica

Cada skill publicado en aitmpl.com expone una pestaña Compatibility con el resultado del Harness Check por agente. El proceso corre en CI: cualquier skill incorporado mediante Pull Request de la comunidad pasa automáticamente por la validación y publica los resultados en la web. Para usarlo hoy: se abre el skill en aitmpl.com, se consulta la pestaña Compatibility y se verifica qué agentes lo cargan correctamente antes de integrarlo en el workflow.

Contexto del sector

La proliferación de agentes de IA con formatos de contexto distintos —SKILL.md, system prompts, archivos de configuración propios— genera fragmentación de compatibilidad sin herramientas de validación estándar. SkillEvaluator es la primera iniciativa estructurada bajo licencia Apache-2.0 que aborda este problema con chequeos reproducibles en CI, posicionándose como capa de control de calidad para ecosistemas de componentes de agentes.

Artículo relacionado

Victor F.

Ver publicación original

Compartir este artículoLinkedInFacebookWhatsAppTelegram

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Información básica sobre protección de datos Ver más

  • Responsable: Lorenzo Lardillier Sanchez.
  • Finalidad:  Moderar los comentarios.
  • Legitimación:  Por consentimiento del interesado.
  • Destinatarios y encargados de tratamiento: No se ceden o comunican datos a terceros para prestar este servicio. El Titular ha contratado los servicios de alojamiento web a htpps://www.unelink.es que actúa como encargado de tratamiento.
  • Derechos: Acceder, rectificar y suprimir los datos.
  • Información Adicional: Puede consultar la información detallada en la Política de Privacidad.

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para mostrarte publicidad relacionada con sus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Contiene enlaces a sitios web de terceros con políticas de privacidad ajenas que podrás aceptar o no cuando accedas a ellos. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Ver Política de cookies
Privacidad