DesiData

DesiData

DesiData はインドに焦点を当てたデータセットと、それらを探索・活用するためのツールを公開しています。このリポジトリには、データセットのノートブックと、Google Colab や Python で DesiData のデータを使用する例が含まれています。

• ウェブサイト： desidata.in
• データセットを見る： DesiData datasets
• 週間モデルベンチマーク： DesiData Bench
• コミュニティのお知らせとディスカッション： DesiData Community
• Python パッケージ： desidata on PyPI

データセットのノートブックを使う

notebooks/ 配下のノートブックを開き、Colab またはご自身の Python 環境で実行してください。データセットの追加に合わせて、ノートブック集も更新されます。

ノートブック内のダウンロード例は、現在の認証済みダウンロード手順に合わせて更新が必要な場合があります。ダウンロードセルを実行する前に、DD トークンを使ったデータのダウンロードをご覧ください。

DD トークンを使ったデータのダウンロード

DesiData のデータセットは無料です。プログラムによるダウンロードをご自身の DesiData アカウントに関連付けるには、DesiData プロフィールから無料の DD トークンを作成してください。

1. DesiData にサインインし、プロフィールでトークンを作成します。
2. 表示されたらコピーして保存します。パスワードと同様に扱い、共有するノートブックに貼り付けたり、GitHub にコミットしたりしないでください。
3. ローカル環境で DD_TOKEN 環境変数に設定するか、Colab の シークレットに DD_TOKEN として追加します。
4. DesiData Python パッケージまたは認証済みダウンロードの例でトークンを使用します。

たとえば、ローカルのターミナルでは次のようにします。

# macOS or Linux
export DD_TOKEN="your-token"

# Windows PowerShell
$env:DD_TOKEN = "your-token"

Google Colab では、ノートブックの シークレットパネルに DD_TOKEN を追加し、ノートブックからそのシークレットにアクセスできるようにしてください。トークンをノートブックのセルに直接入力しないでください。

トークンは無料です。認証済みのダウンロードリクエストはアカウントに関連付けられるため、DesiData はダウンロードのアクティビティと件数を表示できます。件数はダウンロードリクエストを記録するものであり、ファイルのダウンロード完了や利用を証明するものではありません。

週間ベンチマーク

DesiData のベンチマークページでは、現在のベンチマークセットで選定したオープンモデルを比較しています。最新の DesiData ベンチマークデータを使用して、毎週土曜日の午後にモデル比較を更新・公開する予定です。最新の結果と手法については、DesiData Benchをご確認ください。

更新情報

このリポジトリは、ノートブックやデータアクセスの変更を確認できる公開の場です。プロジェクトの進展に合わせて、日付入りの新しい項目が追加されます。

2026-09-27 — DD トークンによるダウンロード

プログラムによるデータセットのダウンロードで、DesiData アカウントに紐付いた無料の DD トークンを使用するようになりました。これにより、データセットを無料のまま、ダウンロードのアクティビティをアカウントに関連付けられます。プロフィールからトークンを作成してください。ノートブックやリポジトリにコミットしないでください。

予定 — 週間モデルベンチマーク

土曜日の午後に、更新されたオープンモデルのベンチマーク結果を公開する予定です。結果と詳細はベンチマークページに掲載されます。

貢献とフィードバック

データセットのリクエスト、ノートブックの修正、ベンチマークに関する提案があれば、GitHub イシューを作成するか、DesiData Community ページで会話に参加してください。

DesiData MCP プラグイン

DesiData MCP プラグインを使うと、AI アシスタントは公開カタログを検索し、データセットのメタデータと来歴を確認し、少量のサンプルをプレビューし、ノートブックや Python ローダーの使用例を取得できます。検索とプレビューは読み取り専用で、アカウントや API トークンは不要です。データセット全体のダウンロードでは、通常のダウンロード手順を通じて、引き続きユーザー自身の DesiData DD_TOKEN を使用します。

同じリモート MCP サービスを Cursor、Codex、Gemini CLI で利用できます。接続手順と現在の制限については、プラグインのセットアップガイドをご覧ください。

Gemini CLI にインストールする

gemini extensions install https://github.com/krishnakaushik195/desidata

インストール後に Gemini CLI を再起動し、/mcp list を実行して DesiData が接続されていることを確認してください。検索とプレビューはサインインなしで利用できます。完全なデータセットをダウンロードする場合は、通常のダウンロードフローでユーザー自身の DesiData DD_TOKEN を使用します。