正文

腾讯混元下一代模型将大幅扩参,Hy4-mini、Flash-Lite也在路上

动察 Beating AI 快讯,腾讯首席 AI 科学家姚顺雨与混元研究团队在 Reddit 举行公开问答,透露了下一代混元模型的研发计划。

有开发者问,字节跳动、Kimi 等厂商都在探索数万亿参数的大模型,为什么混元仍停留在约 7000 亿参数规模?

腾讯回应,较小但训练扎实的模型也能超越更大的模型,而且训练成本更低。但团队仍然相信 Scaling Law,下一代 Hy 模型将显著扩大参数规模,现有 Hy4 也将通过大规模强化学习继续提升能力。

腾讯还透露了能够在个人电脑上本地运行的小模型路线图。Hy4-mini 已列入计划,更轻量的 Flash-Lite 也将推出。