正文

Jev开始管Attention,MiniMax H3生成时间砍掉41.7%

动察 Beating AI 快讯,日本开发者 Kamimoto 把 Jev 接进 MiniMax H3 的视频生成流程。它会根据每一层的运行状态,从 1%、3%、5%、10% 四档里选择 Attention 保留多少,再由 Sparse Attention 决定具体哪些计算可以省掉。

在 RTX 4070 12GB 上,同样生成一段约 5 秒的视频,原版 4-step 方案需要 6 分 07 秒,加入 Sparse Attention + Jev 动态控制后降到 3 分 34 秒,总耗时缩短 41.7%。

不过,这 41.7% 不能全算在 Jev 头上。Sparse Attention 本身就能通过少算一部分 Attention 来提速,固定保留 5% 或 10% 也会变快。Jev 做的是动态调节:重要的层多算一点,不重要的层少算一点。

目前还不能证明这种动态调节一定比固定比例画质更好,作者也明确表示质量还没有充分验证。实验代码已经开源。

原文链接:https://m.theblockbeats.info/flash/368437