近期，大模型行业掀起开源自研推理引擎浪潮。继DeepSeek开源推理框架DeepInfer后，国内AI创业团队StartLux原点星辉也对外开源了自研推理引擎Prism。这是首款专门面向决策模型打造并开源的推理引擎。
决策模型不同于生成式大模型，其不输出大段文本，而是直接输出判断结果和概率化结论。StartLux推出的StartLux-Decision-v1.1模型已在Hugging Face榜单中排名第一。然而，vLLM等主流通用推理框架原生面向文本生成设计，导致决策模型的实际能力难以充分释放。
为此，Prism通过四大创新破解推理效率难题：
1. 收敛输出计算范围：将输出层计算范围压缩至原先的0.01%，跳过大量无关候选词的计算。
2. “森林式”计算：将批量任务构建为“森林式”结构，通用指令和共用参考材料只计算一次，不同问题仅处理新增部分。
3. 采用整数运算：相关矩阵运算全部使用int8精度，在int32精度下完成累加，解决结果漂移问题。
4. 混排调度：设计混合调度机制，支持思考任务与直接输出任务分时占用资源，新接入的简单请求最多等待1-2个解码步骤即可插队执行。
实测数据显示，在单张H200显卡上，Prism处理单个短问题比原方案快2.8倍；同一份材料连问三个问题，最快可提速5.3倍。在JevBench测试集的231道题目中，Prism单题平均延迟仅41毫秒，在vLLM、SGLang、llama.cpp等主流开源推理框架中排名第一。
原始来源： 智东西 ↗
本文由博一・AI营销中枢整理编辑，用于行业观察分享。观点归原作者所有。