aliyun-platform-docs-benchmark

マルチクラウド製品ドキュメント／API ベンチマーク

類似製品のクラウド間でのドキュメント／API 比較をユーザーが求めている場合に、このスキルを使用します。

対応クラウド

• Alibaba Cloud
• AWS
• Azure
• GCP
• Tencent Cloud
• Volcano Engine
• Huawei Cloud

データソースポリシー

• L0（最優先）：--<provider>-links でユーザーが指定した公式リンク
• L1：機械可読な公式メタデータ／ソース
  • GCP：Discovery API
  • AWS：API Models リポジトリ
  • Azure：REST API Specs リポジトリ
• L2：公式ドメインに限定したウェブ検索によるフォールバック
• L3：検索が不十分（信頼度が低い）

ワークフロー

ベンチマークスクリプトを実行します。

python skills/platform/docs/aliyun-platform-docs-benchmark/scripts/benchmark_multicloud_docs_api.py --product "<product keyword>"

例：

python skills/platform/docs/aliyun-platform-docs-benchmark/scripts/benchmark_multicloud_docs_api.py --product "serverless"

LLM プラットフォームのベンチマーク例（Bailian／Bedrock／Azure OpenAI／Vertex AI／Hunyuan／Ark／Pangu）：

python skills/platform/docs/aliyun-platform-docs-benchmark/scripts/benchmark_multicloud_docs_api.py --product "Bailian" --preset "llm-platform"

--preset を省略すると、スクリプトはキーワードに基づいてプリセットを自動照合しようとします。

スコアリングの重みはプロファイルで切り替えられます（references/scoring.json を参照）。

python skills/platform/docs/aliyun-platform-docs-benchmark/scripts/benchmark_multicloud_docs_api.py --product "Bailian" --preset "llm-platform" --scoring-profile "llm-platform"

任意：信頼できるリンクを指定する

自動検索ではページが見つからない場合があります。より厳密に比較するには、公式リンクを手動で渡してください。

python skills/platform/docs/aliyun-platform-docs-benchmark/scripts/benchmark_multicloud_docs_api.py \
  --product "object storage" \
  --aws-links "https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html" \
  --azure-links "https://learn.microsoft.com/azure/storage/blobs/"

使用可能な手動フラグ：

• --alicloud-links
• --aws-links
• --azure-links
• --gcp-links
• --tencent-links
• --volcengine-links
• --huawei-links

各フラグには、カンマ区切りの URL を指定します。

出力ポリシー

すべての成果物は次のディレクトリ以下に書き込む必要があります。

output/aliyun-platform-docs-benchmark/

実行ごとの成果物：

• benchmark_evidence.json
• benchmark_report.md

レポート作成のガイダンス

ユーザーへの回答では、次の点を含めてください。

1. すべてのプロバイダーのスコアランキングを示します。
2. 主なギャップ（P0／P1／P2）と具体的な修正アクションを強調します。
3. 検索の信頼度が低い場合は、リンクを指定して再実行するようユーザーに依頼します。

検証

mkdir -p output/aliyun-platform-docs-benchmark
for f in skills/platform/docs/aliyun-platform-docs-benchmark/scripts/*.py; do
  python3 -m py_compile "$f"
done
echo "py_compile_ok" > output/aliyun-platform-docs-benchmark/validate.txt

合格条件：コマンドが終了コード 0 で終了し、output/aliyun-platform-docs-benchmark/validate.txt が生成されること。

出力とエビデンス

• 成果物、コマンド出力、API レスポンスの要約を output/aliyun-platform-docs-benchmark/ 以下に保存します。
• 再現性を確保するため、エビデンスファイルに主要なパラメーター（リージョン／リソース ID／期間）を含めます。

前提条件

• 実行前に、最小権限の Alibaba Cloud 認証情報を設定します。
• 環境変数の使用を推奨します：ALIBABACLOUD_ACCESS_KEY_ID、ALIBABACLOUD_ACCESS_KEY_SECRET、任意で ALIBABACLOUD_REGION_ID。
• リージョンが不明な場合は、変更を伴う操作を実行する前にユーザーに確認します。

参考資料

• 評価基準：references/review-rubric.md