Agent Skills 生态的评测与信任层 · 公开、可复现、中立
The evaluation & trust layer for the Agent Skills ecosystem — open, reproducible, neutral.
2026 年，Agent Skills（SKILL.md 技能包）爆发：skills.sh 收录技能累计安装 130 万+，Claude Code ARR 破 25 亿美元，TRAE 600 万用户全面兼容 agentskills.io 标准。但供给端失控：
- ClawHavoc 事件：ClawHub 市场 13,000+ 技能中查出 1,100+ 恶意包（macOS 窃密木马）
- Snyk ToxicSkills 实测：随机扫描 3,984 个技能，36.82% 含安全缺陷，13.4% 为 critical
- 没有任何平台回答："这个技能好不好用？安不安全？在我的 agent 上能跑吗？"——skills.sh 只排安装量，五家审计方全部黑箱，agentskills.io 官方评测方法学存在但没有公共平台
SkillMeter 不做目录（skills.sh 已做）、不做标准（agentskills.io 已做），只做缺失的信任层：质量评测 + 安全审计 + 兼容性验证 + 中文生态。
SkillMeter scores Agent Skills packages (SKILL.md) on 5 dimensions — spec compliance, quality, security (7 threat classes, grade capping), portability, and token cost — with 31 deterministic rules. Same input, same score, zero LLM, zero telemetry.
pip install -e .
sb check path/to/skill-folder # offline static evaluation (<1s)
sb sandbox path/to/skill-folder # fake-world behavioral analysis
sb submit --repo owner/repo # evaluate a GitHub-hosted skillGrade: S ≥90 · A ≥75 · B ≥60 · C ≥40 · D <40 · F = veto (critical security hit). Security findings cap the grade — a skill with an error-level finding can never score above C. Full methodology: METHODOLOGY.md.
# 1) 安装 CLI
pip install -e .
# 2) 本地静态评测任意技能包（离线、秒级、可复现）
sb check path/to/skill-folder
sb check path/to/skill-folder --json # 机器可读（schema 0.2，含 skill.type）
# 2.5) 假世界沙箱：执行技能脚本并记录行为（v0.2）
sb sandbox path/to/skill-folder
# 3) 生成报告与徽章
sb report path/to/skill-folder -o report.md
sb badge path/to/skill-folder -o badge.svg
# 4) 启动注册中心 API（SQLite，零配置）
uvicorn skillbench.registry.main:app --port 8000
# 5) 提交到注册中心（本地目录或 GitHub 仓库）
sb submit path/to/skill-folder
sb submit --repo anthropics/skills --path skills/pdf
# 6) Web 门户（静态导出，读 reports/）
cd web && npm install && npm run build| 维度 | 上限 | 说明 |
|---|---|---|
| 规范符合 | 20 | agentskills.io 字段与结构（name/description/compatibility…） |
| 内容质量 | 25 | 结构、可检索性、license、渐进披露 |
| 安全 | 35 | 七类威胁静态检测（ClawHavoc 手法映射）；error 级命中评级上限 C，critical 一票否决 F |
| 兼容性 | 10 | 跨平台、跨 agent 可移植性 |
| 效率 | 10 | token 成本（元数据 ≤100、正文 ≤5000） |
评级：S ≥90 · A ≥75 · B ≥60 · C ≥40 · D <40 · F = 一票否决
对 anthropics/skills（19 个官方技能）与
mattpocock/skills（37 个技能）全量评测：
S 级 22 · A 级 30 · C 级 7 · 均分 85.8。过程中我们修正了 4 个误否决
（文档级 API key 提及、构建清理 rm -rf、正则词边界），规则分层语义全部固化为回归测试——
方法学演进公开可查，这正是"可复现"的含义。
已知边界：静态规则不能证明技能"有效"。有效性需要基线对比（with/without skill 的任务通过率， v0.3 兼容矩阵），动态沙箱在 v0.2。
skills.sh → 发现与分发（安装量）
agentskills.io → 格式标准
SkillMeter → 质量·安全·兼容（信任层）：消费前两者的公开数据，互不替代
- v0.1.x（当前）：静态评测引擎（31 规则，含 R310a 组合证据）+ CLI（含 sb sandbox）+ 注册中心 API + 静态门户 + CI 自动评测
- v0.2：Docker 动态沙箱（行为日志入报告）、GitHub OAuth 提交、Turso 云库
- v0.3：兼容矩阵加载级验证（Claude Code / Trae / Qwen Code 靶机）、基线对比评测
- v0.4：认证徽章体系、安全厂商结果聚合（Snyk/SafeSkill 公开数据引用）
- v1.0：认证标准 v1 + 中立治理委员会
完整立项方案书（10 万字）：docs/SkillMeter-完整方案书.md
MIT（评测器与平台代码）。评测报告仅引用被测技能的证据片段（≤160 字符），不重分发原始内容。