mcpField
A
alicloud-platform-multicloud-docs-api-benchmark

alicloud-platform-multicloud-docs-api-benchmark

github.com/cinience测试与质量396260 次安装11 周前更新
代码仓库

关于 alicloud-platform-multicloud-docs-api-benchmark

用于比较七家云厂商同类产品的文档与 API 覆盖情况，支持预设和评分配置，并优先采用官方来源生成证据与报告。

主要功能

  1. 01七家云厂商产品比较
  2. 02分级官方来源发现
  3. 03基于预设的基准配置
  4. 04可切换评分方案
  5. 05生成证据与报告

适用场景

  1. 01比较无服务器产品文档
  2. 02评测 LLM 平台 API
  3. 03指定官方链接以严格比较

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/cinience/alicloud-skills --skill alicloud-platform-multicloud-docs-api-benchmark

安装后在 Claude Code 中输入/alicloud-platform-multicloud-docs-api-benchmark确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

agents/
openai.yaml
references/
presets.json
review-rubric.md
scoring.json
scripts/
benchmark_multicloud_docs_api.py

详细介绍

多云产品文档/API 基准测试

当用户需要对比不同云厂商的类似产品文档/API 时，使用此技能。

支持的云厂商

  • 阿里云
  • AWS
  • Azure
  • GCP
  • 腾讯云
  • 火山引擎
  • 华为云

数据源策略

  • L0（最高）：用户通过 --<provider>-links 指定的官方链接
  • L1：机器可读的官方元数据/源代码
    • GCP：Discovery API
    • AWS：API Models 仓库
    • Azure：REST API Specs 仓库
  • L2：仅限官方域名的网页发现回退方案
  • L3：发现信息不足（置信度低）

工作流

运行基准测试脚本：

python skills/platform/docs/alicloud-platform-multicloud-docs-api-benchmark/scripts/benchmark_multicloud_docs_api.py --product "<product keyword>"

示例：

python skills/platform/docs/alicloud-platform-multicloud-docs-api-benchmark/scripts/benchmark_multicloud_docs_api.py --product "serverless"

LLM 平台基准测试示例（百炼/Bedrock/Azure OpenAI/Vertex AI/Hunyuan/Ark/Pangu）：

python skills/platform/docs/alicloud-platform-multicloud-docs-api-benchmark/scripts/benchmark_multicloud_docs_api.py --product "Bailian" --preset "llm-platform"

如果省略 --preset，脚本会尝试根据关键词自动匹配预设。

可按配置文件切换评分权重（参见 references/scoring.json）：

python skills/platform/docs/alicloud-platform-multicloud-docs-api-benchmark/scripts/benchmark_multicloud_docs_api.py --product "Bailian" --preset "llm-platform" --scoring-profile "llm-platform"

可选：指定权威链接

自动发现可能会遗漏页面。若要进行更严格的比较，请手动传入官方链接：

python skills/platform/docs/alicloud-platform-multicloud-docs-api-benchmark/scripts/benchmark_multicloud_docs_api.py \
  --product "object storage" \
  --aws-links "https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html" \
  --azure-links "https://learn.microsoft.com/azure/storage/blobs/"

可用的手动参数：

  • --alicloud-links
  • --aws-links
  • --azure-links
  • --gcp-links
  • --tencent-links
  • --volcengine-links
  • --huawei-links

每个参数都接受以逗号分隔的 URL。

输出策略

所有产物必须写入：

output/alicloud-platform-multicloud-docs-api-benchmark/

每次运行生成：

  • benchmark_evidence.json
  • benchmark_report.md

报告指南

回答用户时：

  1. 展示所有云厂商的评分排名。
  2. 指出主要差距（P0/P1/P2）和具体的修复措施。
  3. 如果发现置信度较低，请用户提供指定链接后重新运行。

验证

mkdir -p output/alicloud-platform-multicloud-docs-api-benchmark
for f in skills/platform/docs/alicloud-platform-multicloud-docs-api-benchmark/scripts/*.py; do
  python3 -m py_compile "$f"
done
echo "py_compile_ok" > output/alicloud-platform-multicloud-docs-api-benchmark/validate.txt

通过标准：命令以 0 退出，并生成 output/alicloud-platform-multicloud-docs-api-benchmark/validate.txt。

输出与证据

  • 将产物、命令输出和 API 响应摘要保存到 output/alicloud-platform-multicloud-docs-api-benchmark/。
  • 在证据文件中包含关键参数（区域/资源 ID/时间范围），以便复现。

前置条件

  • 执行前配置遵循最小权限原则的阿里云凭证。
  • 优先使用环境变量：ALICLOUD_ACCESS_KEY_ID、ALICLOUD_ACCESS_KEY_SECRET，以及可选的 ALICLOUD_REGION_ID。
  • 如果区域不明确，请在执行可能修改数据的操作前询问用户。

参考资料

  • 评分标准：references/review-rubric.md

评论

支持 Markdown