scholar-evaluation

学術評価

目的

学術作品（論文、草稿、プロトコル、文献レビュー、研究アイデア）に対して、発展的でエビデンスの追跡可能なフィードバックを提供します。まず定性的な判断を用いてください。任意のスコアは、提出されたエビデンスが事前に宣言された範囲付きルーブリックにどのように対応するかを記述するものにすぎません。

このスキルはまた、低リスクの評価プロセスが、その構成概念、来歴、評価者品質、不確実性、追跡可能性、感度、公平性、アクセシビリティ、プライバシー、人間によるガバナンスを文書化しているかどうかを監査します。

厳格な安全境界

このスキルを、以下の自動化、推薦、実質的な影響、またはスコアリングに決して使用しないでください。

• 採用、昇進、テニュア
• 入学審査
• 助成金その他の資金提供
• 賞、名誉、表彰
• 懲戒、解雇、制裁、または
• その他あらゆる高影響な人事上の決定

人を順位付けしないでください。人を複合スコアに還元しないでください。能力、人格、誠実さ、保護された特性、将来の業績、価値を推測しないでください。名目上の human-in-the-loop があっても、この境界は解消されません。

禁止された用途を求められた場合は、停止してください。学術作品に対する発展的なコメント、または応募を処理せず、人を比較せず、結果を推薦せず、決定を助言しないプロセスのみの監査を提供してください。

出版準備性、採否、または「トップティア」の判断を下さないでください。

組織的に使用する前に references/responsible_assessment.md をお読みください。

ScholarEval のステータス

参照されている ScholarEval プロジェクトは、実験的な文献に基づく研究アイデア評価フレームワークであり、検証済みの心理測定ではありません。

検証済みの一次記録は Moussa らによる ScholarEval: Research Idea Evaluation Grounded in Literature、arXiv:2510.16234v2、2026-02-28 改訂です。これは検索拡張された soundness/contribution フレームワーク、117 アイデア・4 分野のデータセット、カバレッジ実験、およびユーザー調査を報告しています。

これらの結果を、人物評価、重要な決定、すべての分野、またはこのスキルのルーブリックに一般化しないでください。この日付時点のレビューでは、査読付き出版のステータスは検証されませんでした。references/source_ledger.md を参照してください。

指標およびプレステージの方針

以下から品質をスコアリングまたは推測しないでください。

• Journal Impact Factor その他のジャーナル指標
• h-index、出版数、被引用数
• アルトメトリクスまたは注目度
• ジャーナル、会議、掲載先、機関、雇用主、または地理的なプレステージ
• 著者の所属、評判、ネットワーク、またはキャリアパス

ルーブリックバリデータは、一般的な代理指標の基準を拒否します。

資格のあるレビュアーがスコアリングツールの外で記述的に指標に言及する場合は、その正確な目的、出典、カバレッジ、分野および時間の影響、不確実性、欠測、バイアス、ゲーミングリスク、およびなぜそれが品質を直接測定しないのかを記録してください。指標を不透明な複合指標の中に決して隠さないでください。

データ境界

バンドルされたスクリプトは、仮名 ID、範囲付き評価、ステータス、不確実性、およびローカル参照を含む厳密なローカル JSON/CSV のみを受け付けます。

生の非公開応募書類、履歴書、推薦状、レビュアー ID、連絡先情報、保護された属性、またはソース文書のテキストを、入力、出力、ログ、例、またはプロンプトに入れないでください。ソースコンテンツは権限のある記録システムに保持し、不透明なローカル参照を使用してください。

許可される分類は次のとおりです。

• synthetic
• public_scholarly_work
• deidentified_low_stakes

どのスクリプトも、ウェブ検索、環境ファイルの読み込み、認証情報の読み取り、モデルの呼び出し、提供されたテキストの実行、実行可能オブジェクトのデシリアライズ、またはプロセスの起動を行いません。

Bash は、文書化されたローカルの python3 コマンドを呼び出すためにのみ使用してください。

ワークフロー

1. 許可された用途と承認を確認する

以下を記録します。

• 発達を促す目的
• 評価単位：scholarly_work
• 研究成果の種類、段階、分野、言語、対象読者
• 承認された情報源の場所とデータ分類
• 説明責任を負う委員会の責任者
• 利益相反と審査からの除外
• アクセシビリティと配慮の手続き
• 異議申し立てまたは訂正の経路
• データの目的、アクセス、保持、削除

禁止されている意思決定の状況、または不要な個人データがある場合は中止します。

2. 基準を定める前に構成概念を定義する

以下を明示します。

• 検討する品質または支援の内容
• 対象外とする構成概念
• 意図する解釈
• 解釈を適用できない状況
• 証拠要件
• 既知の限界

利用可能な指標ではなく、価値観と分野の文脈から始めます。

3. ルーブリックを適用し、妥当性を検証する

assets/rubric_template.jsonを出発点として、分野、評価方法、ステークホルダー、アクセシビリティ、プライバシー、公平性について、適格な専門家によるレビューを受けます。

このテンプレートでは、内容的妥当性を意図的にnot_establishedとして記録しています。意図した用途に対する根拠を文書化せずに、この状態を変更しないでください。

構造を検証します。

PYTHONDONTWRITEBYTECODE=1 python3 scripts/validate_rubric.py \
  --rubric assets/rubric_template.json

構成概念、評価アンカー、妥当性、評価者に関するガイダンスは、references/evaluation_framework.mdを参照してください。

4. 追跡可能な証拠記録を作成する

評価者は、承認された研究成果をスクリプトの外で読むことができます。assets/evidence_manifest_template.jsonには、安定したローカル参照先と主張への参照のみを記録します。

各基準について、以下を区別します。

• 観察された証拠と解釈
• 支持する証拠と反する証拠
• 利用可能な証拠と利用できない証拠
• missingとnot_applicable
• 不確実性と欠如

先行研究を見つけられなかったことは、新規性の証明にはなりません。

5. 独立して評価する

assets/evaluation_template.jsonを使用します。各基準は、以下のいずれかでなければなりません。

• rated：評価アンカーのスコア、範囲を限定した不確実性、証拠ID、ローカルな根拠参照を記載します。
• missing：スコアと不確実性をnullにし、根拠参照を記載します。
• not_applicable：スコアと不確実性をnullにし、根拠参照を記載します。

欠如または該当なしをゼロとして記録しないでください。評価者は研修と較正を受け、利益相反を開示し、独立して評価し、意見の相違を記録する必要があります。

6. ローカルの品質チェックを実行する

ラベルや推奨を伴わない、範囲を限定したスコアリング：

PYTHONDONTWRITEBYTECODE=1 python3 scripts/calculate_scores.py \
  --rubric assets/rubric_template.json \
  --evaluation assets/evaluation_template.json

証拠の追跡可能性：

PYTHONDONTWRITEBYTECODE=1 python3 scripts/check_traceability.py \
  --rubric assets/rubric_template.json \
  --evaluation assets/evaluation_template.json \
  --evidence assets/evidence_manifest_template.json

評価者間の一致度：

PYTHONDONTWRITEBYTECODE=1 python3 scripts/summarize_agreement.py \
  --rubric assets/rubric_template.json \
  --ratings assets/ratings_template.csv

重みの感度分析には、異なる研究成果評価ファイルが2つ以上必要です。

PYTHONDONTWRITEBYTECODE=1 python3 scripts/weight_sensitivity.py \
  --rubric assets/rubric_template.json \
  --evaluation /tmp/work-a-evaluation.json \
  --evaluation /tmp/work-b-evaluation.json

プロセス管理：

PYTHONDONTWRITEBYTECODE=1 python3 scripts/check_process.py \
  --process assets/process_checklist_template.json

チェックリストのテンプレートは、意図的に未確認の状態になっており、確認が完了しない限り処理を進めません。手順と正確なスキーマについては、references/local_tooling.mdを参照してください。

7. 定性的な所見を統合する

複合スコアではなく、基準ごとの証拠を最初に示します。各基準について、次の手順に従います。

1. 証拠の参照先を示します。
2. rated、missing、not_applicableのいずれかを示します。
3. 評価アンカーの解釈を説明します。
4. 評価済みの場合に限り、スコアと不確実性を報告します。
5. 意見の相違と文脈を記載します。
6. 強みと限界を明らかにします。
7. 規範的でない改善案を提示します。

必要に応じて、参照先が空のひな形を生成します。

PYTHONDONTWRITEBYTECODE=1 python3 scripts/generate_report_scaffold.py \
  --rubric assets/rubric_template.json \
  --evaluation assets/evaluation_template.json \
  --output /tmp/developmental-report-scaffold.json

このひな形は、原資料を読み取ったり、所見の草案を作成したりしません。

8. 人によるレビューと公開

組織向けレポートを公開する前に、説明責任を負う適格な委員会が、以下を確認する必要があります。

• 構成概念とルーブリックの出所
• 内容的妥当性の根拠と限界
• 評価者の研修、一致度、評価者間信頼性の根拠、評価のずれ
• 証拠の追跡可能性と情報源へのアクセス
• 欠損値、該当なしとする根拠、不確実性
• 重みの感度と順位の不安定性
• 分野別およびサブグループ別のバイアスレビュー
• 利益相反と審査からの除外
• アクセシビリティと配慮
• プライバシー、データの最小化、保持、出力管理
• 訂正または異議申し立てに関する情報

異論を記録します。根拠を超えて、合意、妥当性、または精度があるかのように示さないでください。評価そのものを定期的に評価し、有害な基準は廃止してください。

解釈ルール

• スコアは順序尺度によるルーブリックの要約であり、自然な測定値ではありません。
• 正規化しても、不完全な証拠が補われるわけではありません。
• 付属の不確実性範囲は、信頼区間ではありません。
• 評価者間の一致によって、信頼性、妥当性、公平性、正確性が確立されるわけではありません。
• テストした重み付けで結果が安定していても、妥当性が確立されるわけではありません。
• 総合スコアが、基準ごとの証拠や専門的な判断に優先することはありません。
• いかなる出力も、意思決定の推奨ではありません。

同梱リソース

• references/responsible_assessment.md — 安全性、指標、ガバナンス、アクセシビリティ、プライバシー、バイアス。
• references/evaluation_framework.md — ScholarEval の境界、構成概念、基準、アンカー、妥当性、解釈。
• references/local_tooling.md — 厳密なスキーマ、数式、コマンド、出力の動作。
• references/source_ledger.md — 信頼できる情報源と、2026-07-23 時点の公開状況の検証。
• references/security_validation.md — ベースラインの修正、検証、残存するセキュリティスキャンの記録。
• assets/rubric_template.json — 範囲を限定したルーブリックのテンプレート。
• assets/evaluation_template.json — 評価テンプレート。
• assets/evidence_manifest_template.json — トレーサビリティのテンプレート。
• assets/process_checklist_template.json — フェイルクローズ型プロセスチェックリスト。
• assets/ratings_template.csv — 合成した一致度データ。

エージェントの運用手順

1. 環境を確認します。 作業を始める前に、ユーザーの草稿、データ、図、投稿先を収集します。
2. 入力を確定します。 データまたはユーザーに確認して、形式、識別子、パラメーターを確定します。結果に影響する値は推測せず、質問してください。
3. まず小規模に実行します。 1 つのセクションまたは段落を作成し、トーン、構成、用語をユーザーに確認します。
4. 上記の指示と参照資料を使用して、タスク全体を実行します。
5. 結果を検証します。 すべての主張がユーザーのデータまたは検証済みの情報源に基づいていること、数値が表や図と一致していること、引用が実在すること（citation-verification）を確認します。
6. 報告します。 実行した内容（バージョン、コマンド、パラメーター）、確認した内容、未確定の点を明記します。

次の状況が発生した場合	対応
主張に裏付けとなるデータや引用がない	裏付けを捏造するのではなく、本文中に [citation needed] などの注記を付けます。
これらの指示にある関数、フラグ、エンドポイントがインストール済みバージョンにない	インストール済みバージョンのドキュメント（help()、--help、公式ドキュメント）を確認して対応し、その旨をユーザーに伝えます。API を決して捏造しないでください。
必須の入力、識別子、パラメーターが曖昧	ユーザーに質問するか、実行前に仮定を明示します。

インテグリティのルール

• 結果、パラメーター、識別子、引用、統計情報を決して捏造しないでください。実行または検証できない場合は、その旨を明確に伝えます。
• 作成者はユーザーです。ユーザーが提示または承認していない結果、参考資料、主張を追加しないでください。
• ここに記載されたバージョン固有の詳細は古くなっている可能性があるものとして扱い、インストール済みバージョンの公式ドキュメントで確認してください。
• 金銭が発生する操作、共有 GPU やクラウドのクォータを消費する操作、個人データや患者データに触れる操作、取り消せない操作を行う前には、ユーザーに確認してください。