DesiData

DesiData

DesiData 发布面向印度的数据集，以及用于探索和使用这些数据集的工具。此代码库包含数据集笔记本，以及在 Google Colab 和 Python 中使用 DesiData 数据的示例。

• 网站： desidata.in
• 浏览数据集： DesiData 数据集
• 每周模型基准测试： DesiData Bench
• 社区公告与讨论： DesiData Community
• Python 软件包： PyPI 上的 desidata

使用数据集笔记本

打开 notebooks/ 下的笔记本，然后在 Colab 或你自己的 Python 环境中运行。我们会随着数据集的增加而更新笔记本集合。

部分笔记本中的下载示例可能需要更新，才能使用当前经过身份验证的下载流程。运行下载单元格之前，请参阅使用 DD 令牌下载数据。

使用 DD 令牌下载数据

DesiData 数据集免费。若要将程序化下载与你的 DesiData 账户关联，请从你的 DesiData 个人资料创建一个免费的 DD 令牌。

1. 登录 DesiData，然后在个人资料中创建令牌。
2. 令牌显示后复制并保存。请像对待密码一样保管它；不要将它粘贴到你要分享的笔记本中，也不要将它提交到 GitHub。
3. 在本地环境中将它设为 DD_TOKEN 环境变量，或在 Colab 的 Secrets 中将它添加为 DD_TOKEN。
4. 在 DesiData Python 软件包或经过身份验证的下载示例中使用该令牌。

例如，在本地终端中：

# macOS or Linux
export DD_TOKEN="your-token"

# Windows PowerShell
$env:DD_TOKEN = "your-token"

在 Google Colab 中，在笔记本的 Secrets 面板下添加 DD_TOKEN，并授权笔记本访问该令牌。不要将令牌直接放在笔记本单元格中。

令牌免费。经过身份验证的下载请求会与你的账户关联，以便 DesiData 显示下载活动和次数。该计数记录的是下载请求，并不能证明文件已下载完成或已被使用。

每周基准测试

DesiData 基准测试页面会比较当前基准测试集中的部分开放模型。计划在每周六下午运行并发布更新后的模型比较，使用最新的 DesiData 基准测试数据。请访问 DesiData Bench 查看当前结果和方法说明。

更新

此代码库是一个公开空间，用于跟进笔记本和数据访问方式的变更。随着项目进展，我们会在此添加带日期的新条目。

2026-09-27 — DD 令牌下载

现在，程序化下载数据集需要使用关联到 DesiData 账户的免费 DD 令牌。这样可以将下载活动归属到相应账户，同时保持数据集免费。请从你的个人资料创建令牌；切勿将它提交到笔记本或代码库。

计划中 — 每周模型基准测试

计划在每周六下午发布更新后的开放模型基准测试结果。结果和详情将在基准测试页面发布。

贡献与反馈

有数据集需求、笔记本修正建议或基准测试建议吗？请提交 GitHub issue，或加入 DesiData Community 页面上的讨论。

DesiData MCP 插件

DesiData MCP 插件可让 AI 助手搜索已发布的目录、查看数据集元数据和来源信息、预览少量样本，并获取笔记本或 Python 加载器示例。搜索和预览为只读操作，无需账户或 API 令牌。下载完整数据集仍需通过常规下载流程使用用户自己的 DesiData DD_TOKEN。

同一个远程 MCP 服务可用于 Cursor、Codex 和 Gemini CLI。连接说明和当前限制请参阅插件的设置指南。

在 Gemini CLI 中安装

gemini extensions install https://github.com/krishnakaushik195/desidata

安装后重启 Gemini CLI，然后运行 /mcp list，确认 DesiData 已连接。无需登录即可搜索和预览；完整数据集下载会通过常规下载流程使用用户自己的 DesiData DD_TOKEN。