alicloud-platform-multicloud-docs-api-benchmark

マルチクラウド製品ドキュメント／API ベンチマーク

類似製品について、クラウド間でドキュメント／API を比較したい場合にこのスキルを使用します。

対応クラウド

• Alibaba Cloud
• AWS
• Azure
• GCP
• Tencent Cloud
• Volcano Engine
• Huawei Cloud

データソースのポリシー

• L0（最優先）：--<provider>-links でユーザーが指定した公式リンク
• L1：機械可読な公式メタデータ／ソース
  • GCP：Discovery API
  • AWS：API Models リポジトリ
  • Azure：REST API Specs リポジトリ
• L2：公式ドメインに限定したウェブ検索によるフォールバック
• L3：検索が不十分（信頼度が低い）

ワークフロー

ベンチマークスクリプトを実行します。

python skills/platform/docs/alicloud-platform-multicloud-docs-api-benchmark/scripts/benchmark_multicloud_docs_api.py --product "<product keyword>"

例：

python skills/platform/docs/alicloud-platform-multicloud-docs-api-benchmark/scripts/benchmark_multicloud_docs_api.py --product "serverless"

LLM プラットフォームのベンチマーク例（Bailian／Bedrock／Azure OpenAI／Vertex AI／Hunyuan／Ark／Pangu）：

python skills/platform/docs/alicloud-platform-multicloud-docs-api-benchmark/scripts/benchmark_multicloud_docs_api.py --product "Bailian" --preset "llm-platform"

--preset を省略した場合、スクリプトはキーワードに基づいてプリセットを自動照合します。

スコアの重みはプロファイルで切り替えられます（references/scoring.json を参照）。

python skills/platform/docs/alicloud-platform-multicloud-docs-api-benchmark/scripts/benchmark_multicloud_docs_api.py --product "Bailian" --preset "llm-platform" --scoring-profile "llm-platform"

オプション：信頼できるリンクを指定する

自動検索ではページが見つからない場合があります。より厳密に比較するには、公式リンクを手動で渡してください。

python skills/platform/docs/alicloud-platform-multicloud-docs-api-benchmark/scripts/benchmark_multicloud_docs_api.py \
  --product "object storage" \
  --aws-links "https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html" \
  --azure-links "https://learn.microsoft.com/azure/storage/blobs/"

使用できる手動指定フラグ：

• --alicloud-links
• --aws-links
• --azure-links
• --gcp-links
• --tencent-links
• --volcengine-links
• --huawei-links

各フラグには、カンマ区切りの URL を指定できます。

出力ポリシー

すべての成果物は、次のディレクトリに保存する必要があります。

output/alicloud-platform-multicloud-docs-api-benchmark/

実行ごとに出力されるファイル：

• benchmark_evidence.json
• benchmark_report.md

レポート作成のガイダンス

ユーザーに回答する際は、次の点に従ってください。

1. すべてのプロバイダーを対象に、スコア順のランキングを示します。
2. 主な不足点（P0／P1／P2）と、具体的な修正アクションを示します。
3. 検索の信頼度が低い場合は、ユーザーにリンクの指定を依頼して再実行します。

検証

mkdir -p output/alicloud-platform-multicloud-docs-api-benchmark
for f in skills/platform/docs/alicloud-platform-multicloud-docs-api-benchmark/scripts/*.py; do
  python3 -m py_compile "$f"
done
echo "py_compile_ok" > output/alicloud-platform-multicloud-docs-api-benchmark/validate.txt

合格条件：コマンドが 0 で終了し、output/alicloud-platform-multicloud-docs-api-benchmark/validate.txt が生成されること。

出力とエビデンス

• 成果物、コマンド出力、API レスポンスの概要を output/alicloud-platform-multicloud-docs-api-benchmark/ に保存します。
• 再現性を確保するため、主要なパラメーター（リージョン／リソース ID／期間）をエビデンスファイルに記載します。

前提条件

• 実行前に、最小権限の Alibaba Cloud 認証情報を設定してください。
• 環境変数の使用を推奨します：ALICLOUD_ACCESS_KEY_ID、ALICLOUD_ACCESS_KEY_SECRET、任意の ALICLOUD_REGION_ID。
• リージョンが不明な場合は、変更を伴う操作を実行する前にユーザーに確認してください。

参考資料

• 評価基準：references/review-rubric.md