mcpField
A
aliyun-platform-docs-benchmark

aliyun-platform-docs-benchmark

github.com/cinience测试与质量39654 次安装11 周前更新
代码仓库

关于 aliyun-platform-docs-benchmark

用于比较七家云厂商同类产品的文档与 API 覆盖情况的 Skill。它运行基准脚本并生成证据和报告，供团队评审跨云产品文档。

主要功能

  1. 01比较七家云厂商
  2. 02按置信度选择文档来源
  3. 03指定官方文档链接
  4. 04选择基准评分配置
  5. 05生成证据与 Markdown 报告

适用场景

  1. 01比较不同云厂商的产品
  2. 02评审 API 文档覆盖情况
  3. 03基准评估 LLM 平台文档

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/cinience/alicloud-skills --skill aliyun-platform-docs-benchmark

安装后在 Claude Code 中输入/aliyun-platform-docs-benchmark确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

agents/
openai.yaml
references/
presets.json
review-rubric.md
scoring.json
scripts/
benchmark_multicloud_docs_api.py

详细介绍

多云产品文档/API 基准测试

当用户需要对比类似产品的跨云文档/API 时，使用此技能。

支持的云

  • Alibaba Cloud
  • AWS
  • Azure
  • GCP
  • Tencent Cloud
  • Volcano Engine
  • Huawei Cloud

数据源策略

  • L0（最高）：用户通过 --<provider>-links 指定的官方链接
  • L1：机器可读的官方元数据/源
    • GCP：Discovery API
    • AWS：API Models repository
    • Azure：REST API Specs repository
  • L2：限定在官方域名范围内的网页发现回退方案
  • L3：发现结果不足（置信度低）

工作流

运行基准测试脚本：

python skills/platform/docs/aliyun-platform-docs-benchmark/scripts/benchmark_multicloud_docs_api.py --product "<product keyword>"

示例：

python skills/platform/docs/aliyun-platform-docs-benchmark/scripts/benchmark_multicloud_docs_api.py --product "serverless"

LLM 平台基准测试示例（Bailian/Bedrock/Azure OpenAI/Vertex AI/Hunyuan/Ark/Pangu）：

python skills/platform/docs/aliyun-platform-docs-benchmark/scripts/benchmark_multicloud_docs_api.py --product "Bailian" --preset "llm-platform"

如果省略 --preset，脚本会尝试根据关键词自动匹配预设。

可通过配置文件切换评分权重（参见 references/scoring.json）：

python skills/platform/docs/aliyun-platform-docs-benchmark/scripts/benchmark_multicloud_docs_api.py --product "Bailian" --preset "llm-platform" --scoring-profile "llm-platform"

可选：固定权威链接

自动发现可能会遗漏页面。若要进行更严格的对比，请手动传入官方链接：

python skills/platform/docs/aliyun-platform-docs-benchmark/scripts/benchmark_multicloud_docs_api.py \
  --product "object storage" \
  --aws-links "https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html" \
  --azure-links "https://learn.microsoft.com/azure/storage/blobs/"

可用的手动标志：

  • --alicloud-links
  • --aws-links
  • --azure-links
  • --gcp-links
  • --tencent-links
  • --volcengine-links
  • --huawei-links

每个标志都接受以逗号分隔的 URL。

输出策略

所有产物必须写入以下目录：

output/aliyun-platform-docs-benchmark/

每次运行生成：

  • benchmark_evidence.json
  • benchmark_report.md

报告指南

回答用户时：

  1. 展示所有提供商的得分排名。
  2. 突出主要差距（P0/P1/P2）和具体修复措施。
  3. 如果发现置信度较低，请让用户提供固定链接并重新运行。

验证

mkdir -p output/aliyun-platform-docs-benchmark
for f in skills/platform/docs/aliyun-platform-docs-benchmark/scripts/*.py; do
  python3 -m py_compile "$f"
done
echo "py_compile_ok" > output/aliyun-platform-docs-benchmark/validate.txt

通过标准：命令以 0 退出，且已生成 output/aliyun-platform-docs-benchmark/validate.txt。

输出与证据

  • 将产物、命令输出和 API 响应摘要保存在 output/aliyun-platform-docs-benchmark/ 下。
  • 在证据文件中包含关键参数（区域/资源 ID/时间范围），以便复现。

先决条件

  • 执行前配置权限最小化的 Alibaba Cloud 凭据。
  • 优先使用环境变量：ALIBABACLOUD_ACCESS_KEY_ID、ALIBABACLOUD_ACCESS_KEY_SECRET，可选使用 ALIBABACLOUD_REGION_ID。
  • 如果区域不明确，请在运行会产生变更的操作前询问用户。

参考资料

  • 评分标准：references/review-rubric.md

评论

支持 Markdown