上海AI独角兽开源具身端侧推理引擎，延迟降至26ms

9月15日，无问芯穹联合清华大学、上海交通大学正式开源具身端侧推理引擎APXInf。

当前的具身模型已能理解环境与指令并转化为决策，但要在机器人本体上落地，推理系统是关键。APXInf旨在让具身模型在有限资源下“跑得够快、够稳”，并易于接入与拓展。该引擎支持RTX 4090、Jetson Orin、Jetson Thor等主流计算平台。

一、推理延迟大幅降低
APXInf通过Pipeline、Graph、Kernel及量化等多层优化，降低端到端推理延迟。在Jetson Thor平台上，该引擎将PI 0.5 FP8模型的端到端推理延迟从278ms降至26ms以内，频率可达38.46Hz，为机器人实时感知与控制提供充足响应空间。

二、保障真实部署中的稳定运行
在长时间、多模块并行的真实部署环境中，APXInf强调行为的可预测性与持续稳定性。研究团队采用Rust语言构建极简运行时，利用其内存安全特性规避内存风险，减少崩溃概率；同时通过Python接口封装，兼顾底层稳定与上层易用。

三、利用Agentic Engineering降低接入成本
面对不断增多的具身模型，APXInf利用Agentic Engineering快速实现新模型的适配与接入。通过冗余特性、功能隔离等方法，提升与Agentic Engineering的适配度，降低研发门槛，加速APXInf的研发迭代及用户自研模型的接入。

结语
APXInf首发支持PI 0.5等模型，覆盖多款主流硬件，并公布了涵盖VLA、世界模型及国产芯片等方向的Roadmap。作为RLinf开源生态中的端侧推理首发项目，它将模型训练到本体部署连成完整链路，补上了具身智能规模化落地的关键一环。