关于 fandhe-ai
fandhe-ai 是 Rust 编写的 AI/ML 库,通过自建张量、自动微分、计算内核和后端抽象实现机器学习能力。它面向 Rust 开发者,公开支持的 API 集中在 fandhe-ai crate,涵盖模型、数据、优化、互操作与推理。
主要功能
- 01自建张量与自动微分核心
- 02CPU、CUDA 和 Metal 后端抽象
- 03神经网络与优化器 API
- 04数据加载和文本向量化
- 05ONNX 与 safetensors 互操作
- 06自回归生成与批量调度
适用场景
- 01在 Rust 项目中构建和训练模型
- 02使用不同设备后端进行张量计算
- 03导入 ONNX 模型并执行推理
- 04实现本地自回归文本生成
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ fandhe-ai/ agent-reference-skills --skill fandhe-ai安装后在 Claude Code 中输入/fandhe-ai确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
references/api/autodiff-transforms.mdbackend-tuning.mdcompat-array.mdcompat-callbacks.mdcompat-functional.mdcompat-metrics.mdcompat-model-io.mdcompat-sequential.mdcompat-training.mddevice-param-store.mddevice.mddtype.mderrors.mdgradients.mdlinear-vars.mdrandom-creation.mdREADME.mdtape.mdtensor.mdvar-elementwise.mdvar-linalg.mdvar-losses.mdvar-nn-ops.mdvar-reduction.mdvar-shape-indexing.mdvar-signal.mdvar.mdreferences/data/dataloader.mddataset.mditerable-prefetch.md详细介绍
fandhe-ai
fandhe-ai 是一个使用 Rust 编写的 AI/ML 库。它不依赖 Burn、candle、tch 等现有框架,而是将张量、autodiff、kernel fusion、计算内核和后端抽象层全部作为自研核心实现。仓库中的 crates/*/Cargo.toml 共 11 个(crates.io 发布 7 个 + 未发布的 guardrail / self-repair / bench-harness / docs-site 4 个),但用户直接使用的只有 fandhe-ai crate(仓库内路径为 crates/facade);官方文档明确指出:“只有 fandhe-ai crate 是受支持的公共 API 表面,直接使用内部 crate 不受支持”。
目标版本 — fandhe-ai 0.11.0(2026-10-09 发布到 crates.io,git 标签 v0.11.0 = commit 6b14fdb)。官方确定的入口有 4 个(tape() / tape_for、compat::{array, Sequential}、optim、DeviceParamStore)。facade 的公开模块包括 compat / optim / data / nn / interop / model / inference / text。docs.rs 上已渲染的页面固定在 0.11.0 版本。
注意 — guardrail 是用于 CI 的 CLI,用来判断 AI 生成的 changeset(check / eval),与 openai-agents / anthropic-prompt-eval / openai-evals-tuning 处理的 LLM 输出 guardrail / eval 不同。
与其他技能的区别 — 包含 Device::Cuda / Device::Metal 的后端抽象是 fandhe-ai 特有的 Rust API;如需了解 CUDA C++ / PTX / CUTLASS,请参阅 nvidia-cuda;如需了解 MSL / MPSGraph / MLX,请参阅 apple-silicon;如需了解 HIP / ROCm,请参阅 amd-rocm。Tensor / autodiff / tape 同样是 fandhe-ai 特有的 Rust API,与 apple-ml 的 MLMultiArray、apple-silicon(MLX)的 mx.array 不同。inference::generate / KvCache / speculative decoding 是在自研模型上运行的本地自回归生成循环,并非 LLM API(openai-api-core / anthropic-api-core / hermes-agent)。interop::onnx 是自研解释器,与 Windows ML(windows-ai)不同。optim / nn / data 与 apple-silicon 的 MLX(optimizers・nn Module)不同。此技能中还有名称相同但含义不同的类型:compat::Sequential(类似 Keras 的构建器)和 nn::Sequential(类似 PyTorch 的容器)。fandhe-ai 与 fandhe-frontend(Rust 前端框架)及 fandhe-backend(Rust 后端 HTTP 服务框架)同属 Fandhe-AI org,但它们是不同的库,API 和适用领域都无关。
官方文档:https://fandhe-ai.github.io/fandhe-ai/ / 仓库:https://github.com/Fandhe-AI/fandhe-ai
目录结构
skills/fandhe-ai/
SKILL.md
references/
getting-started/
README.md
overview.md
installation.md
quick-start.md
crate-layout.md
guides/
README.md
backends.md
numerical-parity.md
performance.md
interop.md
api/
README.md
tape.md
var.md
tensor.md
gradients.md
linear-vars.md
device.md
errors.md
compat-sequential.md
compat-array.md
var-elementwise.md
var-reduction.md
var-shape-indexing.md
var-linalg.md
var-nn-ops.md
var-losses.md
var-signal.md
autodiff-transforms.md
random-creation.md
dtype.md
device-param-store.md
backend-tuning.md
compat-training.md
compat-callbacks.md
compat-metrics.md
compat-model-io.md
compat-functional.md
optim/
README.md
optimizers.md
param-groups-state.md
lr-schedulers.md
grad-scaling-clipping.md
ema-swa.md
nn/
README.md
module.md
containers.md
forward-hooks.md
init.md
loss.md
rnn.md
transformer.md
kv-cache.md
data/
README.md
dataset.md
dataloader.md
samplers.md
iterable-prefetch.md
text-vectorization.md
interop/
README.md
onnx.md
safetensors.md
npy.md
model-registry.md
inference/
README.md
generate.md
speculative.md
batch-scheduler.md
predict-batches-phase-metrics.md
internals/
README.md
tensor-core.md
tensor-core-fusion.md
autodiff.md
backend-cpu.md
backend-cuda.md
backend-metal.md
onnx-interop.md
bench-harness.md
tooling/
README.md
guardrail.md
self-repair.md
config.md
samples/
README.md
getting-started.md
array-shapes.md
backend-switching.md
training-loop.md
inference.md
gemm-bench.md
compat-fit-callbacks.md
dataloader.md
text-vectorization.md
safetensors-save-load.md
hf-safetensors-sequential.md
reference-models-training.md
optimizer-and-scheduler.md
generate-autoregressive.md
generate-scheduler.md
npy-npz-roundtrip.md
onnx-external-data-limits.md
reference-models.md
scripts/
README.md
install.md
dev.md
cli.md
探索步骤
根据任务确定类别,再通过该类别的 README.md 找到目标页面:
- 在下方映射表中查找与任务对应的类别(
internals/*是对官方明确表示不受支持的内部 crate 的架构说明;常规使用步骤请参阅api/) - 参阅该类别的
references/{category}/README.md,找到目标页面 - Read 对应页面的
.md文件,查看详细信息
タスク → カテゴリ マッピング
| タスク | カテゴリ | 参照 README |
|---|---|---|
fandhe-ai とは何か、11 クレート構成(公開 7 + 未公開 4)・設計思想、インストール手順、compat::array + compat::Sequential の最小例、公開/未公開クレート一覧と facade → fandhe-ai の対応を知りたい | getting-started | references/getting-started/README.md |
cfg ベースのバックエンド切替と fail-fast 設計、バックエンド間の数値一致契約、kernel fusion を含む性能の考え方、ONNX / safetensors 相互運用の設計とサポート境界(利用は facade の interop から可能)を知りたい | guides | references/guides/README.md |
tape() / tape_for(Device) / Tape、Var、Tensor、Gradients、LinearVars、Device(Cpu / Cuda / Metal)、AutodiffError / BackendError、compat::Sequential / compat::array の型・API、Var のメソッド群(elementwise / reduction / shape・indexing / linalg / conv・pool・norm・attention / loss / FFT・STFT)、乱数・生成関数(manual_seed / randn)、高階微分・vmap・gradcheck(jacobian / hessian)、dtype・TapeF64、DeviceParamStore、CUDA / Metal 設定フラグ、compat の fit・callbacks・metrics・model io(save_model / load_model)・Functional API を知りたい | api | references/api/README.md |
fandhe_ai::optim の optimizer(Sgd / Adam / AdamW ほか)、ParamGroup・state dict、LrScheduler、GradScaler・gradient clipping、EMA / SWA を知りたい | optim | references/optim/README.md |
nn::Module trait、nn::Sequential / ModuleList / ModuleDict、nn::loss、nn::init、RNN / LSTM / GRU、Transformer、KvCache、forward hooks を知りたい | nn | references/nn/README.md |
Dataset / DataLoader / Sampler、IterableDataset・prefetch、text::TextVectorization を知りたい | data | references/data/README.md |
interop::onnx(OnnxModel の import / 推論 / export)、safetensors・.npy / .npz の読み書き、model::ModelRegistry を知りたい | interop | references/interop/README.md |
inference::generate(自己回帰生成)、speculative decoding、BatchScheduler、predict_batches と推論フェーズ計測を知りたい | inference | references/inference/README.md |
tensor-core(buffer/device/dispatch/memory_stats/pool/typed, BackendOps)や FusionPlan / FusedOpKind などの kernel fusion 表現、dynamic-tape autodiff の内部実装、CPU/CUDA/Metal 各バックエンドクレートの実装構造、公開済みの onnx-interop と未公開の bench-harness クレートの実装構造を知りたい(いずれも公式非サポートの内部 API) | internals | references/internals/README.md |
CI changeset 判定 CLI guardrail(check / eval)、self-repair(run / verify-log)、guardrail.toml / policy-exclusion.toml と判定/評価レポート JSON の形式を知りたい | tooling | references/tooling/README.md |
compat::array + compat::Sequential の最小推論、shape 確認、tape_for(Device) でのバックエンド明示指定とフォールバック、手動 SGD 学習ループ、fit + callbacks、DataLoader、TextVectorization、optimizer + LR スケジューラ、safetensors / npy・npz の保存と復元、ONNX external data、自己回帰生成と BatchScheduler・speculative、参照モデル(MLP / LeNet / ResNet / Transformer)、predict() と Tape + forward() の推論経路比較、Var::matmul(GEMM)の簡易ベンチなど典型的な使い方を知りたい | samples | samples/README.md |
crate 導入コマンド(crates.io / Git / Path 依存)、サンプル実行・ビルド・テスト・静的検査、guardrail / self-repair バイナリのコマンドを知りたい | scripts | scripts/README.md |