jetson-package

Jetson 软件包与环境

Agent 经常会建议使用 docker pull 拉取镜像，或使用 pip install 安装声称支持 aarch64、但实际上从未针对 Jetson GPU **流式多处理器（SM）**目标构建的 wheel。在 Jetson 上，除非用户明确选择其他方案，否则默认使用 NVIDIA 精选的制品。

目的

在安装 GPU 原生 ML 技术栈之前，选择与 Jetson 兼容的容器和 Python 软件包索引。此技能可防止 Agent 推荐通用 ARM wheel 或过时的容器标签，因为这些制品可能不包含适用于设备的 CUDA、JetPack 或 SM 目标。

使用时机

• “这台 Jetson 应该使用哪个 Docker 镜像／容器？”
• “在哪里可以获取 Jetson 的 PyTorch／vLLM／CUDA wheel？”
• 安装通用 ARM wheel 后出现“pip install 失败”或“CUDA／SM 不匹配”。
• 在 Orin 或 Thor 上为 ML 技术栈运行 docker run 或 pip install 之前。
• 用户或 Agent 在 NGC 上寻找 l4t-cuda 容器时——引导他们改用 nvcr.io/nvidia/cuda（多架构）。
• “Jetson 应该使用哪个 PyTorch 容器？”——答案取决于 Thor 还是 Orin，以及 JetPack 版本。

权威来源（优先使用）

1. 预构建容器（GHCR） — NVIDIA-AI-IOT 软件包：llama_cpp、ollama、live-vlm-webui、面向旧款 Orin 的 vllm，以及其他针对 Jetson JetPack 技术栈构建的镜像。优先选择这些镜像，而不是 Docker Hub 上随机的 arm64 镜像。对于 vLLM，在 Thor 和 Orin JetPack 7.2／L4T r39+ 上使用上游的 vllm/vllm-openai。

2. NGC CUDA／PyTorch 容器 — 标签选择取决于 Jetson 代际。不要把示例 PyTorch 标签格式视为固定推荐；给出命令前，请在 NGC PyTorch 目录中查找当前标签。

   Jetson	CUDA 基础镜像	PyTorch
   Thor	nvcr.io/nvidia/cuda:<ver>-devel-ubuntu<ver>（多架构，包含 arm64）	nvcr.io/nvidia/pytorch:<current-tag>-py3（主多架构标签；请核实当前 NGC 标签）
   Orin + r36／JetPack 6	相同的多架构 CUDA 基础镜像	nvcr.io/nvidia/pytorch:<current-tag>-py3-igpu — 请核实当前 NGC 标签；NGC 发布该标签时，Orin iGPU（SM 8.7）应使用 -igpu 后缀
   Orin + r39+（未来）	同上	Orin 成为 SBSA 后，可能会使用主多架构标签；r39 发布后请核实

l4t-cuda 是 Orin 时代遗留的 CUDA 容器系列。 如果用户在 NGC 上找不到 l4t-cuda，请引导他们改用当前的多架构 nvcr.io/nvidia/cuda 镜像，而不是第三方镜像。 3. Python 软件包索引（devpi） — Jetson AI Lab PyPI：浏览目录树（例如 jp6/cu126、jp6/cu128），选择与 JetPack／CUDA 用户态环境相匹配的索引。对于 GPU 原生技术栈，优先选择这些索引，而不是仅使用 PyPI 上的 wheel。

GPU 架构提示（通用 ARM 为何不适用）

Jetson 系列	CUDA 计算能力	构建目标	说明
Orin（AGX／NX／Nano）	8.7	sm_87	许多桌面版 aarch64 wheel 不包含 Jetson Orin 内核。
Thor（T5000／T4000）	11.0	sm_110	需要包含 Blackwell Jetson 支持的 CUDA／wheel／容器。

wheel 或容器可能能够安装在 ARM64 Linux 上，但如果 CUDA 内核并非针对 Jetson 的 SM 编译，仍可能无法使用或运行缓慢。

讨论 wheel 兼容性时，请使用 CUDA 构建目标名称：Jetson Orin 对应 sm_87，Jetson Thor 对应 sm_110。不要根据提示词或主机名推断代际——请运行 scripts/artifact_hints.sh，并根据检测到的 generation、variant、l4t 和 cuda_sm_hint 字段推荐 wheel 或容器标签。

Jetson 上的 GPU Python wheel

在 Jetson 上，GPU 原生软件包的默认 PyPI wheel 通常并不适用，即使它们声称支持 aarch64。对于 onnxruntime-gpu、PyTorch、vLLM 等类似软件包，请使用 Jetson AI Lab 软件包索引作为权威来源，并选择与设备的 JetPack / CUDA 用户空间相匹配的子目录。

对于 onnxruntime-gpu，优先使用 Jetson AI Lab，而不是普通 PyPI：

pip install --extra-index-url https://pypi.jetson-ai-lab.io/jp6/cu126/+simple/ onnxruntime-gpu

根据检测到的 JetPack / CUDA 版本线调整 jp6/cu126 部分。不要将默认 PyPI 上的 pip install onnxruntime-gpu 描述为等效的 Jetson GPU 选项。

不要捏造设备信息

不要臆造 SKU 名称、RAM 大小、JetPack 版本、CUDA 版本或 GPU SM 目标。只引用 scripts/artifact_hints.sh 或用户提供的环境信息所报告的内容。如果某项信息不可用，请省略或说明未知。

前提条件

• 在 Jetson 目标设备上运行软件包检测脚本，而不是在主机工作站上运行。
• 检查 GHCR、NGC 或 Jetson AI Lab 软件包索引需要网络连接。
• 在推荐标签或 wheel 之前，先从 scripts/artifact_hints.sh、jetson-diagnostic 或用户提供的环境输出中获取设备信息。

可用脚本

脚本	用途	参数
scripts/artifact_hints.sh	输出检测到的 Jetson SKU / 代际、CUDA SM 提示、权威软件包 URL，以及首选的 vLLM 镜像提示。	--human 用于输出易读摘要；不带参数时输出 JSON。

如果你的 Agent 运行时支持 run_script，请用它运行 scripts/artifact_hints.sh 并读取 JSON 输出。否则，请从仓库根目录使用 bash 运行脚本。

说明

1. 运行 scripts/artifact_hints.sh（JSON 输出到 stdout）。该脚本会加载 skills/jetson-diagnostic/scripts/detect_jetson.sh，并返回 sku、generation、product_line、variant、l4t、首选的 vLLM 镜像、cuda_sm_hint 和权威 URL。
2. 对于 pip，在浏览器中打开 devpi 根目录，选择与 CUDA 版本线匹配的 jp6 子目录，并设置 --extra-index-url / PIP_EXTRA_INDEX_URL——参见 references/pypi-jetson-ai-lab.md。
3. 对于 容器，请参见 references/ghcr-images.md 和 vLLM 的 jetson-llm-serve。

限制

• 此技能指向软件包目录并提供兼容性提示；它不会验证特定模型检查点是否能装入内存。
• NGC 和 GHCR 标签会变化。将 <current-tag>-py3 这类占位标签格式视为查询说明，而非实际标签。
• 如果 generation 或 cuda_sm_hint 未知，不要猜测容器标签。

转交给

• jetson-llm-serve — 在 Thor 和 Orin JetPack 7.2 / L4T r39+ 上运行上游 / 原生 vLLM 0.20+，或在较旧的 Orin 上运行 vllm:latest-jetson-orin。
• jetson-llm-benchmark — 安装好软件栈后进行测量。
• jetson-diagnostic — 如果安装成功但运行时失败，请先生成快照。

安全

只读：指向目录并提供提示；不会安装或拉取内容。

来源

NVIDIA-AI-IOT GitHub Packages、pypi.jetson-ai-lab.io。