AI Training Data Quality

AI Training Data Quality MCP Server

ApifyForge で見る | Apify Store で使う

---

クイックスタート

MCP クライアント（Claude Desktop、Cursor、Windsurf）に追加します：

{
  "mcpServers": {
    "ai-training-data-quality-mcp": {
      "url": "https://ryanclinton--ai-training-data-quality-mcp.apify.actor/mcp"
    }
  }
}

---

AI トレーニングデータの品質評価、バイアス検出、ガバナンススコアリングを、常時稼働する単一のサーバーを通じて、あらゆる MCP 対応 AI エージェントに提供します。このサーバーは、7 つの専門データソース（データセットレジストリ、GitHub、ArXiv、Semantic Scholar、Hacker News、Wikipedia、Data.gov）を連携させ、データセットごとの品質スコア、バイアス指標レポート、来歴チェーン、ガバナンス評価、トレンドランキング、モデルとデータの適合性評価を生成します。その結果、トレーニングデータの選択を把握、監査し、その妥当性を説明する必要がある AI チーム向けの、包括的なインテリジェンスレイヤーが得られます。

ツール呼び出しのたびに複数のソースに並列でクエリし、データセットと関連する論文、リポジトリ、コミュニティでの議論を結び付ける相互参照データネットワークを構築して、重み付けスコアリングアルゴリズムを実行し、モデルに最適なデータを明らかにします。API キーも設定も不要です。接続してクエリするだけです。

⬇️ どのようなデータにアクセスできますか？

データ項目	ソース	例
📦 AI トレーニングデータセット、メタデータ、ドキュメント	AI Training Data Curator	「Common Voice 17.0（CC0、114 言語）」
💻 オープンソースのデータセットリポジトリとデータツール	GitHub Repo Search	「huggingface/datasets — 19,400 スター」
📄 データセットに言及している AI/ML 研究論文	ArXiv Preprints	「Data-Juicer：LLM トレーニング向けワンストップデータ処理システム」
🔬 引用数付きの学術論文	Semantic Scholar	「ImageNet Large Scale Visual Recognition Challenge — 65,000 件以上の引用」
💬 データ品質問題に関するコミュニティでの議論	Hacker News Search	「Ask HN：信頼できるトレーニングデータソースは何ですか？」
📖 よく知られたデータセットに関する百科事典的な背景情報	Wikipedia Search	「LAION-5B — 記録された論争と撤回」
🏛️ 米国政府のオープンデータレジストリ	Data.gov	「CDC National Health Interview Survey（パブリックドメイン）」

❓ AI トレーニングデータ品質 MCP サーバーを使う理由

誤ったトレーニングデータを選ぶと、大きなコストがかかります。偏りがある、ライセンスが不適切、または文書化されていないデータでトレーニングされたモデルは、監査に不合格となったり、差別的な出力を生成したり、組織を法的責任のリスクにさらしたりする可能性があります。レジストリ、論文、リポジトリをまたいでデータセットを手作業で評価するには、ドメインごとに何日もかかります。それでも、データセットが研究コミュニティから本当に信頼されているかを明らかにする、ソース横断的な背景情報を見落とすことがあります。

このサーバーは、その評価を自動化します。7 つのソースを同時にクエリし、データセットを学術的な参考文献やコード実装に結び付け、5 つの品質面にわたる重み付けスコアリングモデルを適用して、データセットを採用する前にバイアス指標やガバナンスの不足を検出します。データサイエンティストが 2 日かけて行う作業を、ツール呼び出し 1 回で完了できます。

• スケジュール設定 — 毎週、データセットの品質監査を定期実行し、新たに非推奨となったデータセットやフラグが付いたデータセットを検出します
• API アクセス — Apify API または MCP プロトコルを介して、品質チェックを ML パイプラインに直接統合します
• ソースへの並列クエリ — 結果をより速く得るため、7 つすべてのデータソースに順次ではなく同時にクエリします
• モニタリング — ガバナンススコアの低下や新たなバイアス指標の出現時に、Slack またはメールでアラートを受け取ります
• 連携 — Zapier または Make を介して、結果を Google Sheets、Notion、またはコンプライアンス文書に接続します

機能

• 8つの特化型ツールで、データ評価のライフサイクル全体をカバーします。データ環境のマッピング、品質スコアリング、バイアス検出、来歴追跡、ガバナンス評価、トレンド追跡、モデルとデータの適合性評価、包括的なレポート作成に対応します
• 7つのソースへの並列クエリ — AI Training Data Curator、GitHub、ArXiv、Semantic Scholar、Hacker News、Wikipedia、Data.govを同時に検索し、ソースごとに結果数の上限（1～100）を設定できます
• 重み付き複合品質スコアリング — 5つの評価軸を用いたモデルです。完全性（25％）、ドキュメント（25％）、ライセンスのオープン性（20％）、最新性（15％）、コミュニティの活発さ（15％）
• 7種類のバイアス検出 — データセットの説明、論文の概要、コミュニティでの議論をキーワード分析し、地理的、人口統計的、時間的、言語的、ドメイン、サンプリング、ラベリングの各バイアスを特定します
• 15種類以上のバイアスキーワードパターン — 「english only」、「web crawl」、「reddit」、「crowdsourced」、「stereotype」、「hate speech」、「deprecated」などの具体的な兆候を検出し、それぞれに重大度（低／中／高／重大）を割り当てます
• ライセンススコアリングマトリクス — AI 学習におけるオープン性に基づき、20種類以上のライセンスを評価します。CC0／パブリックドメイン（100）、MIT／Apache（90～95）、CC-BY（90）、GPL（60）、CC-BY-NC（50）、プロプライエタリ（10～15）
• 相互参照ネットワークの構築 — キーワードの重複検出（重要な単語が3語以上重複する場合）を通じて、データセットを論文、リポジトリ、議論に関連付け、関係の種類（trains_on、evaluates、references、derived_from、describes、discusses）を推定します
• 11種類のモデルタイププロファイル — LLM、ビジョン、画像分類、物体検出、音声認識、翻訳、推薦、強化学習、マルチモーダル、拡散モデル、グラフニューラルネットワークに特化したデータ要件プロファイルを用意しています
• 5つの評価軸によるガバナンススコアリング — ライセンス遵守（25％）、プライバシー保護（25％）、ドキュメントの品質（20％）、アクセス制御（15％）、監査可能性（15％）を評価し、遵守状況（compliant／partial／non_compliant／unknown）を示します
• 来歴チェーンの追跡 — データの来歴を4段階（起源 → 研究による検証 → 実装の証拠 → ライセンス）で再構築し、完全性スコアと特定されたギャップを提示します
• 11種類のデータモダリティ分類器 — テキスト／NLP、画像／ビジョン、音声／音声処理、動画、表形式データ、マルチモーダル、コード、グラフ／ネットワーク、地理空間、医療／健康、科学
• 重大度の引き上げロジック — 同じ指標が5つ以上のソースで確認されると、バイアスの重大度を自動的に引き上げます
• 支出上限の適用 — すべてのツール呼び出しで Actor.charge() を確認し、実行ごとの支出上限に達した場合は適切に停止します

AI 学習データの品質評価のユースケース

ML チーム向けの事前学習データ監査

データサイエンティストや ML エンジニアは、数千ドル相当の計算コストがかかる学習を開始する前に、候補となるデータセットを評価する必要があります。学習前に assess_dataset_quality と detect_bias_indicators を実行すれば、ドキュメントの不足、制限の厳しいライセンス、人口統計上の不均衡を把握できます。これらは通常、モデル評価の段階で初めて判明しますが、その時点では手遅れです。2時間かかる手作業でのレビューを、30秒のツール呼び出しに短縮できます。

EU AI Act のコンプライアンス準備

EU AI Act 第10条への準拠に向けて準備を進める AI ガバナンスチームは、高リスクシステムの学習データが十分な注意を払って選定されたことを示す、文書化された証拠が必要です。score_data_governance は、ライセンス、プライバシー、ドキュメント、アクセス、監査可能性の各評価軸について、データセットごとのコンプライアンス評価を作成します。generate_data_quality_report はすべての分析をまとめ、規制関連文書に適したエグゼクティブサマリーを作成します。

データセットの発見と全体像の把握

新しい分野に取り組み始めた研究チームは、どのようなデータセットが存在するのか、コミュニティから信頼されているのはどれか、また相互にどのような関係があるのかを把握できていないことがよくあります。map_data_landscape は7つのソースから相互参照可能な一覧を作成し、データセットを品質順にランク付けするとともに、データセットとそれらを利用した論文との関係を明らかにします。あるデータセットが500件以上の論文で引用されていることや、データ品質に関する問題を扱うHacker Newsのスレッドで言及されていることが分かれば、単一のレジストリでは得られない背景情報が得られます。

責任あるAIのためのドキュメント作成

取締役会、倫理委員会、企業の調達部門にトレーニングデータの選定判断を説明するAIチームには、体系的なドキュメントが必要です。generate_data_quality_report は、エグゼクティブサマリー、品質の分布、バイアスリスクスコア、ガバナンス評価、トレンドの背景情報を含む構造化JSONレスポンスを一度に生成し、レポート作成ワークフローへ直接取り込めます。

研究データのデューデリジェンス

商用利用を目的に、サードパーティ製またはオープンソースのデータセットを審査する法務・コンプライアンスチームは、ライセンスの連鎖を検証し、研究コミュニティから問題を指摘されていないかを把握する必要があります。analyze_data_provenance は各データセットの出所を追跡し、学術論文やGitHubリポジトリと相互参照して、ライセンス上の欠落を特定します。また、プロベナンスチェーン内の各データセットについて、整合性スコアを算出します。

AI投資に向けた新興データセットのモニタリング

戦略的な判断のためにデータの状況を追跡する投資家、プロダクトチーム、研究リーダーは、広く知られるようになる前に、どのデータセットへの注目が高まっているかを把握する必要があります。track_dataset_trends は、研究論文、リポジトリ、コミュニティでの議論から得られる言及シグナルを組み合わせ、トレンドスコア（言及数 × 15 + ソースの多様性 × 10）でデータセットをランク付けし、新たなデータモダリティを特定します。

AIトレーニングデータの品質を評価する方法

1. MCP クライアントを接続する — サーバーURL https://ai-training-data-quality-mcp.apify.actor/mcp を Claude Desktop、Cursor、Windsurf、または任意のMCP対応クライアントに追加します。APIキーは不要です。
2. 最初に使うツールを選ぶ — 特定の分野の品質を手早く確認するには、assess_dataset_quality から始めます。全面的な監査には generate_data_quality_report を使用します。バイアスに関する懸念を調べる場合は、detect_bias_indicators を直接使用します。
3. クエリを実行する — トピックまたは分野（例：「医用画像データセット」、「LLMトレーニングデータ」、「顔認識」）を指定します。サーバーは関連するソースを検索し、ソース数と結果の上限に応じて30～120秒で結果を返します。
4. 推奨事項に基づいて対応する — 各ツールは、データセットごとのスコア、強み、弱み、推奨レベル（highly_recommended、recommended、use_with_caution、not_recommended）を含む構造化JSONレスポンスを返します。これらを参考に、トレーニングパイプラインで優先するデータセットを決めてください。

MCP ツール

ツール	価格	説明
map_data_landscape	$0.045	7 つのソースから、トピックに利用できるトレーニングデータをマッピングします。相互参照付きで、品質順にランク付けした一覧を返します。デフォルト：4 ソース、各 25 件。
assess_dataset_quality	$0.045	5 つの重み付けされた側面でデータセットをスコアリングします。データセットごとの内訳と推奨レベルを返します。デフォルト：3 ソース、各 30 件。
detect_bias_indicators	$0.045	データセットのメタデータと説明から 7 種類のバイアスを検出します。深刻度の評価と緩和策の提案を返します。デフォルト：4 ソース、各 30 件。
analyze_data_provenance	$0.045	データセットの 4 段階の来歴チェーンを追跡します。整合性スコアと特定されたギャップを返します。デフォルト：5 ソース、各 25 件。
score_data_governance	$0.045	5 つのコンプライアンス側面でガバナンスをスコアリングします。データセットごとのコンプライアンス状況を返します。デフォルト：3 ソース、各 30 件。
track_dataset_trends	$0.045	設定可能な期間のコンテキストで、トレンドのデータセットと新たなモダリティを追跡します。デフォルト：4 ソース、各 30 件。
assess_model_data_fit	$0.045	対応する 11 種類のモデルタイプに対するデータセットの適合性を評価します。ギャップ分析と代替候補を含む適合スコアを返します。デフォルト：3 ソース、各 25 件。
generate_data_quality_report	$0.045	すべての分析を組み合わせた包括的なレポートを生成します。エグゼクティブサマリー、品質の概要、バイアス評価、ガバナンスの概要、トレンド、推奨事項を返します。デフォルト：7 つすべてのソース、各 20 件。

ツールの入力パラメーター

すべてのツールで以下のパラメーターを使用できます。

パラメーター	型	必須	デフォルト	説明
query	string	はい	—	分析するトピック、分野、またはデータセット名（例：「医療画像」、「CommonCrawl」、「感情分析」）
sources	array	いいえ	ツールにより異なります	クエリするソース：training_data、github、arxiv、semantic_scholar、hackernews、wikipedia、data_gov
max_per_source	number	いいえ	20–30	ソースごとに取得する結果数（1～100）。少ないほど高速で低コストになり、多いほど包括的になります
model_type	string	はい（assess_model_data_fit のみ）	—	モデルアーキテクチャ：「LLM」、「vision」、「speech recognition」、「multimodal」、「diffusion」など
timeframe	string	いいえ（track_dataset_trends のみ）	"recent"	期間のコンテキストを示す文字列。例：「2024」、「過去 6 か月」、「recent」

ツール呼び出しの例

特定のデータセットタイプの簡易バイアスチェック：

{
  "tool": "detect_bias_indicators",
  "arguments": {
    "query": "face recognition dataset",
    "sources": ["training_data", "arxiv", "semantic_scholar"],
    "max_per_source": 20
  }
}

分野の包括的なガバナンス監査：

{
  "tool": "score_data_governance",
  "arguments": {
    "query": "healthcare NLP training data",
    "sources": ["training_data", "github", "data_gov"],
    "max_per_source": 30
  }
}

LLM のモデルとデータの適合性評価：

{
  "tool": "assess_model_data_fit",
  "arguments": {
    "model_type": "LLM",
    "query": "text corpus multilingual",
    "sources": ["training_data", "github", "arxiv"],
    "max_per_source": 25
  }
}

経営層向けレビューの包括的なレポート：

{
  "tool": "generate_data_quality_report",
  "arguments": {
    "query": "autonomous vehicle perception datasets",
    "sources": ["training_data", "github", "arxiv", "semantic_scholar", "hackernews", "wikipedia", "data_gov"],
    "max_per_source": 15
  }
}

⬆️ 出力例

クエリ「医療画像」に対する assess_dataset_quality の応答：

{
  "query": "medical imaging",
  "datasetsAssessed": 47,
  "averageQuality": 62,
  "qualityDistribution": {
    "excellent": 8,
    "good": 19,
    "fair": 14,
    "poor": 6
  },
  "datasets": [
    {
      "name": "NIH Chest X-Ray Dataset",
      "source": "training_data",
      "url": "https://nihcc.app.box.com/v/ChestXray-NIHCC",
      "quality": {
        "overall": 84,
        "completeness": 90,
        "recency": 55,
        "documentation": 88,
        "licenseOpenness": 85,
        "communityEngagement": 95
      },
      "strengths": [
        "Well-documented metadata",
        "Good documentation",
        "Open and permissive license",
        "Strong community engagement"
      ],
      "weaknesses": [
        "Outdated - not updated recently"
      ],
      "recommendation": "highly_recommended"
    },
    {
      "name": "MIMIC-CXR",
      "source": "training_data",
      "url": "https://physionet.org/content/mimic-cxr/",
      "quality": {
        "overall": 71,
        "completeness": 85,
        "recency": 70,
        "documentation": 80,
        "licenseOpenness": 45,
        "communityEngagement": 75
      },
      "strengths": [
        "Well-documented metadata",
        "Good documentation",
        "Recently updated",
        "Strong community engagement"
      ],
      "weaknesses": [
        "Restrictive or unclear license"
      ],
      "recommendation": "recommended"
    },
    {
      "name": "CheXpert",
      "source": "github",
      "url": "https://github.com/stanfordmlgroup/CheXpert",
      "quality": {
        "overall": 58,
        "completeness": 70,
        "recency": 35,
        "documentation": 65,
        "licenseOpenness": 50,
        "communityEngagement": 80
      },
      "strengths": [
        "Strong community engagement"
      ],
      "weaknesses": [
        "Outdated - not updated recently",
        "Restrictive or unclear license"
      ],
      "recommendation": "use_with_caution"
    }
  ]
}

出力フィールド

assess_dataset_quality

フィールド	型	説明
query	string	入力クエリ
datasetsAssessed	number	評価したデータセットの合計数
averageQuality	number	すべてのデータセットの平均品質スコア（0–100）
qualityDistribution.excellent	number	スコアが75–100のデータセット
qualityDistribution.good	number	スコアが55–74のデータセット
qualityDistribution.fair	number	スコアが35–54のデータセット
qualityDistribution.poor	number	スコアが0–34のデータセット
datasets[].name	string	データセットまたはリソース名
datasets[].source	string	この結果を返したソースアクター
datasets[].url	string	データセットへの直接 URL
datasets[].quality.overall	number	加重複合スコア（0–100）
datasets[].quality.completeness	number	フィールドの入力状況とメタデータの完全性（0–100）
datasets[].quality.recency	number	最終更新日のスコア（0–100）
datasets[].quality.documentation	number	README、説明、タグ付けの品質（0–100）
datasets[].quality.licenseOpenness	number	AI トレーニングに対するライセンスの許容度（0–100）
datasets[].quality.communityEngagement	number	スター、フォーク、引用数（0–100）
datasets[].strengths	array	品質を示す肯定的な要素のリスト
datasets[].weaknesses	array	品質に関する懸念事項のリスト
datasets[].recommendation	string	highly_recommended / recommended / use_with_caution / not_recommended

detect_bias_indicators

フィールド	型	説明
biasIndicators[].type	string	バイアスのカテゴリ：geographic、demographic、temporal、linguistic、domain、sampling、labeling
biasIndicators[].severity	string	low / medium / high / critical
biasIndicators[].description	string	バイアスに関する人が読める説明
biasIndicators[].evidence	array	ソースタグ付きの証拠文字列（例：「[arxiv] RedditBias Dataset」）
biasIndicators[].mitigationSuggestions	array	バイアスに対処するための実行可能な手順
overallBiasRisk	string	low / medium / high / critical
biasRiskScore	number	加重複合バイアスリスクスコア（0–100）

score_data_governance

フィールド	型	説明
datasets[].governance.overall	number	複合ガバナンススコア（0–100）
datasets[].governance.licenseCompliance	number	ライセンスの明確さとトレーニングとの適合性（0–100）
datasets[].governance.privacyProtection	number	PII の取り扱い、匿名化、同意に関する指標（0–100）
datasets[].governance.documentationQuality	number	データシート、モデルカード、データカードの品質（0–100）
datasets[].governance.accessControl	number	認証およびバージョン管理の制御（0–100）
datasets[].governance.auditability	number	変更ログと来歴の追跡記録（0–100）
datasets[].complianceStatus	string	compliant / partial / non_compliant / unknown
datasets[].risks	array	特定されたガバナンスリスクの文字列

generate_data_quality_report

Field	Type	Description
executiveSummary	string	品質、バイアスリスク、ガバナンス、相互参照を網羅した説明的な概要
landscape.topDatasets	array	品質スコア順にランク付けされた上位10件のデータセット
qualityOverview.averageQuality	number	評価対象となったすべてのデータセットの平均品質
biasAssessment.overallRisk	string	集計されたバイアスリスク評価
biasAssessment.riskScore	number	バイアスリスクスコア（0～100）
biasAssessment.topIndicators	array	深刻度の高い上位5件のバイアス指標
governanceSummary.averageScore	number	データセット全体のガバナンススコアの平均
trends.emergingModalities	array	言及数の多い上位5件のモダリティ
trends.trendingDatasets	array	トレンドスコアの高い上位10件のデータセット
recommendations	array	優先順位付けされ、重複が除かれた最大10件のアクション項目
sourcesConsulted	array	レポートに貢献した情報源のアクター

AI トレーニングデータの品質評価にはいくらかかりますか？

この MCP サーバーでは従量課金制を採用しており、ツール呼び出し1回につき $0.045かかります。プラットフォームのコンピューティングコストは含まれています。Apify Free プランには月額 $5 分のクレジットが含まれており、111回のツール呼び出しを無料で利用できます。

シナリオ	ツール呼び出し数	1回あたりの料金	合計料金
バイアスチェック1回	1	$0.045	$0.045
ドメイン評価（5ツール）	5	$0.045	$0.23
8ツールによる完全評価	8	$0.045	$0.36
毎週の監査（8ツール × 4週間）	32	$0.045	$1.44
毎月のコンプライアンスレビュー（10ドメイン）	80	$0.045	$3.60

実行ごとに最大支出額を設定して、コストを管理できます。サーバーは各ツール呼び出しの前に上限を確認し、上限に達すると適切に処理を停止します。

Collibra や Alation などのエンタープライズ向けデータガバナンスプラットフォームでは、年間 $50,000～$200,000 かかります。ほとんどの AI チームにとって、このサーバーならサブスクリプション契約なしで、月額 $2～5 でデータ品質のデューデリジェンスを実施できます。

この MCP サーバーへの接続方法

Claude Desktop

claude_desktop_config.json に追加します。

{
  "mcpServers": {
    "ai-training-data-quality": {
      "url": "https://ai-training-data-quality-mcp.apify.actor/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_APIFY_TOKEN"
      }
    }
  }
}

Cursor / Windsurf / Cline

エディターの MCP 設定パネルに、MCP サーバーの URL https://ai-training-data-quality-mcp.apify.actor/mcp を追加します。Apify API トークンを Bearer トークンとして使用します。

プログラムからの利用（HTTP / cURL）

# Call the detect_bias_indicators tool directly
curl -X POST "https://ai-training-data-quality-mcp.apify.actor/mcp" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_APIFY_TOKEN" \
  -d '{
    "jsonrpc": "2.0",
    "method": "tools/call",
    "params": {
      "name": "detect_bias_indicators",
      "arguments": {
        "query": "face recognition dataset",
        "sources": ["training_data", "arxiv", "semantic_scholar", "hackernews"],
        "max_per_source": 25
      }
    },
    "id": 1
  }'

Python（Apify Actor API 経由）

from apify_client import ApifyClient

client = ApifyClient("YOUR_API_TOKEN")

run = client.actor("ryanclinton/ai-training-data-quality-mcp").call(run_input={})

print(f"MCP server running. Endpoint: https://ai-training-data-quality-mcp.apify.actor/mcp")
print(f"Actor run ID: {run['id']}")

JavaScript（Apify Actor API 経由）

import { ApifyClient } from "apify-client";

const client = new ApifyClient({ token: "YOUR_API_TOKEN" });

const run = await client.actor("ryanclinton/ai-training-data-quality-mcp").call({});

console.log(`MCP server running. Endpoint: https://ai-training-data-quality-mcp.apify.actor/mcp`);
console.log(`Actor run ID: ${run.id}`);

AI Training Data Quality MCP Server の仕組み

フェーズ 1：情報源への並列クエリ

ツールが呼び出されると、サーバーは Promise.all() を使用して最大7つの Apify アクターラッパーを並列で実行します。各アクターはそれぞれの情報源を処理します。データセットレジストリには ryanclinton/ai-training-data-curator、コードリポジトリには ryanclinton/github-repo-search、関連性順に並べ替えた論文検索には ryanclinton/arxiv-paper-search、引用情報が豊富な学術検索結果には ryanclinton/semantic-scholar-search、コミュニティでの議論の動向には ryanclinton/hackernews-search、百科事典的な情報には ryanclinton/wikipedia-article-search、政府のオープンデータには ryanclinton/datagov-dataset-search を使用します。各アクターは180秒のタイムアウトと、データセットあたり最大500件の項目で実行されます。ネットワークを構築する前に、エラーメッセージを返したアクターの結果は除外されます。

フェーズ 2：データネットワークの構築

すべてのソースからの結果を、型付きデータネットワークにまとめます。各項目は、型（dataset、repo、paper、discussion、article、gov_dataset）を推定した DataNode となり、ソース固有のフィールド名から名前、説明、ライセンス、スター数、フォーク数、引用数、トピック、タイムスタンプを抽出した正規化済みメタデータオブジェクトを持ちます。ノードは正規化された ID（source:name_slug）で重複を排除します。異なるソースのノードをすべてペアで比較して、相互参照エッジを構築します。名前と説明を結合したテキストで、長さが 4 を超える重要な単語が 3 つ以上重複している場合、エッジを作成し、ノード型の組み合わせから関係タイプ（trains_on、evaluates、references、derived_from、describes、discusses）を推定します。

フェーズ 3：品質と分析のスコアリング

分析関数は、完成したネットワークに対して実行します。品質スコアリングでは、ノードごとに 5 つのサブスコアを算出します。完全性（フィールドの入力状況、0～100）、最新性（30 日未満で 100、2 年超で 20 となる日付ベースの減衰）、ドキュメント（説明の長さに応じた段階評価）、ライセンスのオープン性（20 種類以上のライセンスキーを明示的なスコアに対応付け）、コミュニティエンゲージメント（スター数、フォーク数、引用数に対する対数段階評価）です。加重複合スコアは、完全性×0.25 + ドキュメント×0.25 + ライセンスのオープン性×0.20 + 最新性×0.15 + コミュニティエンゲージメント×0.15 で算出します。バイアス検出では、ノードのテキストを結合し、15 種類以上のキーワードパターンと照合して、一致項目を指標タイプごとにグループ化します。同じ指標が 5 つ以上のソースに現れた場合、重大度を引き上げます。バイアスリスクスコアでは、重大度ごとの加重合計（critical×25、high×15、medium×8、low×3）を使用し、上限を 100 とします。ガバナンススコアリングでは、説明の長さ、ライセンス文字列の照合、メタデータの有無を使用して 5 つのサブスコアを算出し、同じ次元別の重み付けで統合します。モデルとデータの適合度では、ノードのテキストをモダリティのキーワードリスト（11 種類のモダリティを定義）およびモデル固有の特徴要件リスト（11 種類のモデルプロファイル）と照合し、基本点 20 + モダリティ一致（30） + 特徴一致（各 10、最大 30） + 品質の寄与分（品質×0.2）で適合度スコアを算出します。

フェーズ 4：レスポンスの組み立て

結果を主要スコア（品質、バイアス重大度、ガバナンス、トレンドスコア、または適合度スコア）の順に並べ替え、妥当な件数に制限し（品質は上位 30 件、トレンドは上位 25 件、ガバナンスは上位 30 件）、構造化 JSON としてシリアル化します。generate_data_quality_report ツールは 5 つの分析関数すべてを実行し、集計統計から組み立てた説明的な概要文字列と各関数の出力を統合して、単一のエグゼクティブレポートを作成します。

最良の結果を得るためのヒント

1. 速度を優先する場合は、ソースを絞ります。 デフォルトのソースセットは、品質と速度のバランスを考慮して調整されています。すばやくバイアスを確認するには、["training_data", "arxiv", "semantic_scholar"] を使用し、max_per_source: 15 に設定します。網羅性を最大限に高めるには、7 つすべてのソースを使用し、max_per_source: 20 に設定します。

2. 新しい分野では、generate_data_quality_report を使用します。 これまで評価したことのない分野を評価する場合は、個別の側面を詳しく調べる前に、包括的なレポートを実行して、1 回の呼び出しで全体像を把握します。

3. 焦点を絞ったクエリで、特定のバイアスタイプを対象にします。 「NLP dataset」を検索する代わりに、「English-only NLP dataset」や「Reddit NLP corpus」を検索すると、懸念している特定のリスク要因を反映したバイアス検出結果を取得できます。

4. 現実世界の意見を把握するには、hackernews を含めます。 Hacker News の議論では、学術論文やデータセットのメタデータには現れない、実用上の品質問題（データ漏洩、ベンチマーク汚染、法的な課題など）が浮かび上がることがよくあります。

5. 規制対象の業界では、data_gov を含めます。 医療、金融、政府の AI アプリケーションでは、data_gov を利用すると、強固なガバナンススコアを備え、本質的に HIPAA と GDPR に準拠したパブリックドメインのデータセットを見つけられます。

6. ライセンスを確認する前に、analyze_data_provenance を使用します。 法務チームがデータライセンスを確認する前に、来歴分析を実行します。完全性スコアと来歴チェーンの欠落箇所が示されるため、法務チームは一から調査することなく、具体的な確認事項を把握できます。

7. track_dataset_trends と assess_model_data_fit を組み合わせます。 まずトレンドを実行して、対象分野で現在人気のあるデータセットを特定します。次に、それらのデータセット名をクエリとして assess_model_data_fit に渡し、具体的な適合スコアを取得します。

8. テスト実行では、max_per_source: 10 に設定します。 包括的な分析を始める前に、各ソースから 10 件ずつ取得する小規模なテストを実行し、クエリが対象分野に関連する結果を返すことを確認します。

他の Apify actor と組み合わせる

Actor	組み合わせ方
AI Training Data Curator	大量のデータセットを直接キュレーターで検索し、データセット名をこの MCP に渡して品質スコアを算出します
Company Deep Research	調達前にデータプロバイダー企業を調査し、このサーバーのガバナンススコアと企業のデューデリジェンスを組み合わせます
Website Content to Markdown	データセットのドキュメントページを Markdown に変換し、LLM が読み取れる品質の要約を作成します
WHOIS Domain Lookup	来歴分析中に、データセットをホストするドメインの所有者と登録情報を確認します
Trustpilot Review Analyzer	このサーバーのガバナンススコアとあわせて、商用データベンダーの評判を評価します
SEC EDGAR Filing Analyzer	公開データ企業について、SEC の開示情報とガバナンス評価を相互参照します
Website Tech Stack Detector	データセットのホスティングプラットフォームのインフラストラクチャとセキュリティ態勢を検出します

制限事項

• メタデータの分析のみ。 このサーバーは、データセットのドキュメント、説明、論文、コミュニティでの議論を分析します。実際のデータセットの内容をダウンロードしたり、調査したりすることはありません。ピクセルレベルのバイアス、統計的な分布分析、データポイズニングの検出には、データセットファイルへの直接アクセスが必要です。
• 英語の情報源。 7 つのデータソースは、主に英語のコンテンツを返します。英語以外のデータセットレジストリ、中国の AI 研究プラットフォーム、地域の政府データポータルは照会されません。
• キーワードのヒューリスティックによるバイアス検出。 バイアスの指標は、基となるデータの分布を統計的に分析するのではなく、データセットのメタデータに対するキーワードの照合によって特定されます。データセットの説明に「英語のみ」や「米国中心」という記載がなければ、実際のデータが地理的に偏っていても、該当する指標は検出されません。
• 文字列照合によるライセンス検出。 ライセンススコアは、既知のライセンスリストに対する正規化された文字列照合に基づきます。標準外のライセンス条項や独自のライセンス条項には、正確な評価ではなく、汎用の代替スコア 40 が付与される場合があります。
• リアルタイムデータではありません。 Apify アクターのラッパーは最新のデータを取得しますが、データソースの鮮度は各アクターのデータパイプラインによって異なります。ArXiv と Semantic Scholar の検索結果には、通常、過去数日以内にインデックスされた論文が反映されます。Data.gov や一部のデータセットレジストリには、数週間の遅れが生じる場合があります。
• 政府データは米国に限定されます。 data_gov ソースが照会する Data.gov は、米国連邦政府のデータセットのみを対象としています。EU Open Data Portal、英国政府のデータ、その他の各国のレジストリは含まれません。
• アクターの実行タイムアウト。 基盤となる各アクターの呼び出しには、180 秒のタイムアウトが設定されています。対象範囲の広いクエリを大規模なソースに対して実行すると、一部のアクターがタイムアウトし、空の結果を返す場合があります。このサーバーは、成功したソースからの結果を返すことで、適切に処理します。
• クロスリファレンスのエッジ品質は、クエリの具体性によって異なります。 データセット、論文、リポジトリ間のエッジを構築するキーワードの重複アルゴリズムは、具体的で特徴的なデータセット名を使うと最も効果を発揮します。「テキストデータ」のような一般的なクエリでは、情報量の少ないクロスリファレンスネットワークが生成される場合があります。

インテグレーション

• Zapier — データセットの品質レポートを毎週実行し、結果を Slack またはメールで ML チームに共有します
• Make — データ調達の承認前にガバナンススコアを確認する、自動化されたコンプライアンスワークフローを構築します
• Google Sheets — 品質スコアとガバナンス評価を、データカタログ用の管理スプレッドシートにエクスポートします
• Apify API — 品質チェックをトレーニング前のゲートとして ML トレーニングパイプラインに直接統合します
• Webhooks — データセットのガバナンススコアが定義済みのしきい値を下回ったときに、チームにアラートを送信します
• LangChain / LlamaIndex — 構造化された品質レポートを RAG パイプラインやエージェントのワークフローに取り込み、データ選定を自動化します

トラブルシューティング

• ツールが空のデータセット配列を返します。 クエリが具体的すぎるか、データソースからエラーが返された可能性があります。クエリの範囲を広げる、max_per_source を 10 に減らす、または対象分野との関連性が低いデータソースを除外してみてください。Apify トークンに十分なクレジットがあることを確認してください。

• バイアス指標が一般的すぎる、または関連性がないように見えます。 バイアス検出はキーワードに基づいており、クエリの表現に左右されます。「NLP dataset」のようなクエリでは、ウェブから収集されたコーパスを含む多くの結果が返され、サンプリングバイアスの指標が検出されます。対象を絞った結果を得るには、特定のデータセット名やデータ種別を指定した、より具体的なクエリを使用してください。

• ガバナンススコアのコンプライアンス状況がすべて「unknown」になります。 クエリ対象のデータソースから取得したデータセット項目に、ライセンスのメタデータがない場合に発生します。data_gov をデータソースに追加してみてください。政府のデータセットには、明示的なライセンス情報が一貫して含まれています。GitHub のリポジトリには通常、メタデータにライセンスが表示されるため、github を追加するのも効果的です。

• generate_data_quality_report の処理に時間がかかります。 このツールは、すべての 7 つのデータソース（または指定したデータソース）にクエリを実行します。結果を速く得るには、max_per_source を 10～15 に減らしてください。ほとんどの分野では、データソースごとに 10 件の結果があれば、品質の全体像を把握するのに十分です。

• ツール呼び出しで利用上限エラーが返されます。 Apify アカウントに設定された実行ごとの利用上限に達しています。Apify コンソールで実行予算を増やすか、generate_data_quality_report の代わりに、データソースを絞った assess_dataset_quality などのツールを複数回呼び出して分析を分割してください。

責任ある利用

• このサーバーは、一般公開されているデータセットのメタデータ、学術論文、コードリポジトリ、コミュニティでの議論、政府のオープンデータ登録情報を照会します。
• 品質、バイアス、ガバナンスのスコアは、利用可能なメタデータに基づくアルゴリズムによる評価であり、権威ある認証ではありません。人による確認を行わずに、重大な影響を伴うコンプライアンス判断をこれらのスコアだけに依存して下さないでください。
• バイアス検出システムは、ドキュメント内のシグナルを特定します。バイアス指標が見つからなくても、データセットにその種のバイアスがないことを意味するわけではありません。
• 取得した情報を商用目的で使用する場合は、各基盤データソースの利用規約を遵守してください。
• データスクレイピングの合法性に関するガイダンスは、Apify のガイドをご覧ください。

❓ FAQ

AI training data quality MCP server は、1 回のツール呼び出しでいくつのデータセットを評価できますか？ 各データソースから最大 100 件の結果が返されます（max_per_source の最大値）。7 つすべてのデータソースを最大値に設定すると、1 回の呼び出しで最大 700 件のデータポイントを評価できます。実際には、デフォルト設定では 60～210 件の項目が評価されます。generate_data_quality_report ツールは、デフォルトで 7 つのデータソースからそれぞれ 20 件を取得し、合計 140 件のデータポイントを評価します。

AI training data quality のスコアリングはどのように行われますか？ 品質は、5 つの指標を加重して算出した総合スコアです。完全性（25％）、ドキュメント（25％）、ライセンスの開放性（20％）、新しさ（15％）、コミュニティの活動度（15％）で構成されます。各指標は、メタデータのシグナルに基づき、0～100 点で採点されます。完全性では、各フィールドに値が入力されているかを確認します。ドキュメントでは、説明文の長さを段階別に評価します。ライセンスの開放性では、20 種類以上のライセンスを明示的なスコアに対応付けます（CC0 = 100、プロプライエタリ = 10）。新しさでは、日付に基づく減衰曲線を適用します。コミュニティの活動度では、スター数、フォーク数、引用数に対して対数ベースの段階評価を適用します。

このサーバーは、AI training data のどのような種類のバイアスを検出できますか？ 7 種類のバイアスを検出します。地理的（米国・西洋の過剰な比重）、人口統計的（性別、人種、プラットフォームの偏り）、時間的（古いデータや非推奨のデータ）、言語的（英語のみ）、分野的（特定分野の網羅性の狭さ）、サンプリング（クラウドソーシングやウェブスクレイピングの手法によるバイアス）、ラベリング（アノテーションの品質や文化への依存性）です。検出は、データセットの説明、論文の要旨、コミュニティでの議論に含まれるキーワードに基づいており、コンテンツレベルの分析ではありません。 このサーバーは、実際の学習データの内容におけるバイアスを検出しますか？ いいえ。このサーバーはデータセットファイルそのものではなく、データセットに関するメタデータ、ドキュメント、説明を分析します。ピクセルレベルの公平性分析、テキストコーパスにおける分布の偏り、統計的な表現の格差を調べるには、実際のデータを処理する専門的な ML 評価ツールが必要です。

AI 学習データのガバナンススコアは、品質スコアとどう違いますか？ 品質スコアでは、データセットのドキュメントが十分か、情報が新しいか、コミュニティから信頼されているかを評価します。ガバナンススコアでは、規制およびコンプライアンスへの適合性を評価します。具体的には、AI 学習におけるライセンスの互換性、プライバシーと PII の取り扱い、監査可能性に必要なドキュメントの品質、アクセス制御、監査証跡の完全性です。品質スコアが高くても、ガバナンススコアが低いデータセットもあります（例：品質は高いものの、商用学習を制限する CC-BY-NC ライセンスが適用されている場合）。

このサーバーのデータを AI 学習の判断に使用することは合法ですか？ このサーバーは、一般公開されているデータソースを照会します。品質評価やメタデータを使ってデータセットの選定を判断することは合法です。ただし、各データセットにはそれぞれ独自のライセンス条項があります。このサーバーは、そうした条項の特定と、制限のあるライセンスの検出に役立ちます。学習を始める前に、必ずデータセットのライセンスを個別に確認してください。ウェブスクレイピングの合法性に関する Apify のガイドをご覧ください。

このサーバーのバイアス検出は、学術的なバイアス監査ツールと比べてどの程度正確ですか？ このサーバーのバイアス検出はメタデータレベルで迅速に確認するものであり、厳密なバイアス監査の代わりにはなりません。データセットの説明や関連文献に記載されたバイアスや、自己申告されたバイアスを検出します。Gender Shades 監査や Datasheets for Datasets の手法のような研究には、データへの直接アクセスと人間の専門知識が必要です。このサーバーは、より詳細な人手による監査が必要なデータセットに優先順位を付けるための、最初のスクリーニングとしてご利用ください。

Hugging Face のデータセット品質評価とはどう違いますか？ Hugging Face のデータセットカードには、データセットの作成者が自己申告した品質情報が記載されています。このサーバーは、その情報を独立したシグナルと照合します。具体的には、学術論文の引用（Semantic Scholar、ArXiv）、コミュニティでの評価（Hacker News）、コードの採用状況（GitHub）、政府のデータ標準（Data.gov）です。複数の独立したコミュニティから信頼されているデータセットを、作成者によるドキュメントの充実度だけでなく、複数の情報源を横断したネットワーク分析によって明らかにします。

AI 学習データの品質監査を定期的に実行するようスケジュールできますか？ はい。Apify Schedules を使って、サーバーを毎週または毎月実行するよう設定できます。また、基盤となる Apify アクターを API 経由で直接呼び出して、CI/CD パイプラインや ML 学習ワークフローに組み込むこともできます。

generate_data_quality_report ツールの呼び出しには、どのくらい時間がかかりますか？ デフォルト設定（7 つのソースすべて、それぞれ 20 件の結果）では、60～120 秒ほどかかります。7 つのソースアクターは並列実行されるため、合計時間はおおむね、最も遅い単一アクターの応答時間にネットワークのオーバーヘッドを加えたものです。max_per_source を 10 に減らすと、通常は実行時間を 30～60 秒に短縮できます。

assess_model_data_fit がサポートするモデルの種類を教えてください。 11 種類のモデルプロファイルに対応しています。LLM（大規模言語モデル）、ビジョン、画像分類、物体検出、音声認識、翻訳、レコメンデーション、強化学習、マルチモーダル、拡散モデル、グラフニューラルネットワークです。各プロファイルでは、適合度スコアの計算に使用する、推奨データモダリティ、最低限期待される規模、主要な特徴要件が定義されています。

LangChain や LlamaIndex で構築されたエージェントで、この MCP サーバーを使用できますか？ はい。Model Context Protocol をサポートするフレームワークであれば、このサーバーに接続できます。LangChain の MCP 統合機能と LlamaIndex のツール呼び出し機能は、どちらも /mcp エンドポイントで動作します。構造化された JSON 出力は、使用または除外するデータセットを判断するエージェントの推論ステップに適しています。

改善にご協力ください

問題が発生した場合は、Apify アカウントで実行の共有を有効にすると、問題のデバッグを迅速に進めるためにご協力いただけます。

1. アカウント設定 > プライバシーに移動します
2. 実行を公開 Actor の作成者と共有するを有効にします

これにより、問題が発生した際に実行の詳細を確認できるため、より迅速に問題を修正できます。データは Actor の開発者のみが閲覧でき、一般公開されることはありません。

サポート

バグを見つけた場合や機能のリクエストがある場合は、この Actor のページにあるIssues タブで issue を作成してください。カスタムソリューションやエンタープライズ統合については、Apify プラットフォームからお問い合わせください。