SlashML (/ ml) Embodied Robotics Trajectory Memory

SlashML Robotics 与空间记忆文档

为具身 AI、移动操作和自主机器人打造的超低延迟空间记忆底座与动态信念跟踪。

---

1. 执行概览

机器人感知和任务执行面临一个根本挑战：空间失忆与坐标过时。 当物体在动态工作空间中移动时，机器人必须：

1. 使用开销高昂的视觉搜索流程重新扫描整个环境（速度慢，计算开销高）。
2. 查询传统数据库，而这些数据库返回的坐标已经过时，或无法保证亚毫秒级检索。

SlashML Robotics 通过专门打造的空间记忆引擎解决这一问题，可提供：

• 亚毫秒级查询延迟：在 2,000 多个杂乱物体中，P50 < 0.35 ms，P99 < 0.55 ms，可轻松适配 30-60 Hz（16-33 ms）的机器人视觉-动作循环。
• 动态空间状态更新：物体移动时，新的传感器观测会立即取代过时坐标，耗时不到 1 微秒，且无需重新索引。
• 按时间顺序记录轨迹历史：自动维护每个实体带时间戳的航点路径。
• 功能适用性发现：按能力（例如 fastening、measuring、cutting）检索工具和设备。
• 多语言原生客户端：一流支持 Python、C++17、Rust 和 TypeScript。

---

2. 支持的客户端库

语言	包名	目标用途	关键集成
Python	slashml-robotics (PyPI)	AI 感知与高级编排	PyTorch、rclpy、OpenVLA、Isaac Sim、OpenCV
C++	slashml-robotics-cpp (CMake)	硬实时与原生控制	rclcpp (ROS 2)、Nav2、MoveIt 2、BehaviorTree.CPP
Rust	slashml-robotics (crates.io)	零分配与高速中间件	Zenoh、Rerun.io、嵌入式机器人微服务
TypeScript	@slashml/robotics (npm)	机器人集群管理与 Web 遥操作	Foxglove Studio、React 控制台、WebRTC 视频

---

3. 快速入门指南

Python

from slashml_robotics import RoboticMemory, Pose6D

# Connect to local appliance daemon or cloud service
memory = RoboticMemory(base_url="http://localhost:8000")

# Ingest perception detection (updates belief state automatically)
memory.add_observation(
    object_name="digital_caliper",
    room_zone="quality_inspection",
    pose=Pose6D(x=2.1, y=0.5, z=0.85),
    tags=["tool", "inspection"],
)

# Sub-microsecond active location lookup
loc = memory.where_is("digital_caliper")
print(f"Location: {loc.room_zone} at ({loc.pose.x}, {loc.pose.y}, {loc.pose.z})")

# Chronological trajectory history
traj = memory.get_trajectory("digital_caliper")
for wp in traj.waypoints:
    print(f"[{wp.timestamp}] Visited {wp.room_zone}")

C++17 头文件版

#include <slashml/client.hpp>

int main() {
    using namespace slashml::robotics;
    RoboticMemoryClient client("http://localhost:8000");

    client.add_observation("torque_wrench", "tool_crib", Pose6D(1.0, 0.5, 0.8));
    auto loc = client.where_is("torque_wrench");
    if (loc) {
        std::cout << "Zone: " << loc->room_zone << "\n";
    }
    return 0;
}

Rust

use slashml_robotics::{RoboticMemoryClient, Pose6D};

fn main() {
    let client = RoboticMemoryClient::new("http://localhost:8000", "key", "robot_1");
    client.add_observation("caliper", "tool_crib", Pose6D::new(1.0, 0.0, 0.8), &[], 1.0, None);
    if let Some(loc) = client.where_is("caliper") {
        println!("Found at zone: {}", loc.room_zone);
    }
}

---

4. ROS 2 桥接集成

ROS 2 桥接可将机载摄像头和检测器（例如 YOLO、RT-DETR、SAM）连接到 SlashML：

from slashml_robotics.ros2.bridge_node import SlashMLSpatialBridgeNode

# In your ROS 2 launch file or Python node:
bridge = SlashMLSpatialBridgeNode(node_name="spatial_memory_bridge")

# Vision callback runs at 30 Hz with <50 microseconds overhead:
bridge.handle_detection(
    class_name="wire_strippers",
    pose_x=1.25,
    pose_y=-0.4,
    pose_z=0.9,
)

该桥接为行为树规划器提供标准 ROS 2 服务：

• /slashml/where_is
• /slashml/get_trajectory
• /slashml/find_by_affordance

---

5. 具身 Agent 工具（MCP）

对于物理推理 Agent（Claude、Gemini、OpenAI、本地大模型），SlashML 提供模型上下文协议（MCP）工具：

• locate_physical_object：检索当前有效的 6-DoF 位置和房间区域。
• record_sensor_observation：接收检测结果并自动取代较早的坐标。
• query_object_trajectory：重建完整的按时间顺序排列的移动路径。
• find_objects_by_affordance：查找能够执行某项操作的工作空间物品。

# Install standalone Robotics plugin & skill in Claude Code
/plugin install slashml-robotics --marketplace slashml-ai/slashml-robotics

---

6. 架构与部署选项

SlashML 以预编译的不透明二进制设备或容器形式分发：

• 本地嵌入式 IPC：在 NVIDIA Jetson AGX Orin 或工业 x86 计算机上直接运行 slashmld，通过 Unix Domain Sockets 实现微秒级 IPC。
• 本地边缘服务：通过 gRPC/HTTP 提供服务的中央工作站，为设施内的多台移动机器人提供支持。
• SlashML Cloud：通过全局同步实现多设施间的机器人集群协调。