Liquid AI发布超低延迟推理引擎，瞄准搜索、广告和支付风控

正文

动察 Beating AI 快讯，Liquid AI 发布了实时推理引擎 RIPL，让自家的小型 AI 模型能在几十毫秒内完成生成，瞄准搜索排序、广告匹配、支付风控等对速度要求很高的业务。

这些领域早就有成熟的 AI 模型，但通常需要针对具体任务进行训练。语言模型可以直接理解用户输入、生成关键词或给出判断，只是推理速度往往跟不上实时业务。

RIPL 是一套专门加速 Liquid AI 现有模型的运行系统，优化从收到请求到返回完整结果的整个过程。

官方使用单张 NVIDIA B200 测试。在每秒 1000 次请求、输入输出各 32 Token 的条件下，1.2B 参数的 LFM2.5 有 95% 的请求在 34.6 毫秒内完成。作为对比，Qwen3.5-0.8B 搭配 vLLM 需要约 498 毫秒，相差 14.4 倍。

事实要点

以下为辅助分析，与已报道事实分开展示；重要信息请进一步核实。

推理引擎负责让AI模型接收请求并返回结果。RIPL的重点是缩短Liquid AI小型模型从收到请求到输出完整结果的时间，以适应需要快速响应的业务。

如果官方测试结果能在实际业务中保持，RIPL可能提升小型语言模型在实时搜索、广告匹配和支付风控中的可用性。

新手可重点区分“模型能力”和“运行速度”：本次消息主要展示的是推理延迟优化，而不是证明模型判断更准确。