ProjectsUnverifiedTranslation pending
报道称 GPT-6 可直接修改神经网络权重
BIBIBI AT A GLANCE帖文称MIT团队让GPT-6 Astra直接编写或修改神经网络权重,并报告多项实验提升。
Article
GPT-6开始「手写」神经网络:把游戏规则变成权重,打砖块得分高出20倍
动察 Beating AI 快讯,神经网络里动辄数百万、数亿个参数,过去主要靠训练算法反复调整。MIT 研究团队却发现,GPT-6 Astra 已经能直接分析、修改这些数字,甚至不用训练,就能从零写出一套神经网络。
研究人员把简化版打砖块游戏的规则、源代码和一套权重全为零的神经网络交给 GPT-6,让它自己填写参数。不提供训练数据,也不允许试玩。GPT-6 自己推算球的落点,把预测和移动挡板的逻辑写进网络权重。最终游戏得分达到 517.4,是同等结构、经过 5 亿步强化学习训练的模型的约 20 倍。不过,在另外两款游戏中,它没有超过训练 5 亿步的模型。
研究人员随后让 GPT-6 直接修改阿里 Qwen3.5-0.8B 的权重。它没有重新训练模型,只改动了 0.016% 的参数,就让 MATH-500 数学正确率从 7.9% 升至 48.1%,指令遵循成绩也提高了近 3 倍。
原来,Qwen 经常陷入思考死循环,反复推理却不给出答案。修改前,93% 的数学测试回答会耗尽 32768 个 Token;修改后降至 33.1%。GPT-6 相当于修好了妨碍模型正常答题的毛病。
但换成参数量仅 2.7 亿的 Gemma 3 270M,GPT-6 就没能明显提高数学成绩。这款更小的模型很少陷入死循环,主要问题是算术和推理本身就容易出错,没法靠修改少量权重轻易解决。
研究人员将这种直接读写参数的方法称为「权重空间编程」(Weight-Space Programming)。
Source: https://m.theblockbeats.info/flash/375133
AI-assisted interpretation
The following is analysis, separate from reported facts. Verify important claims independently.
通常,神经网络的参数依靠训练过程调整。这篇帖文声称,GPT-6 Astra可以根据任务规则直接填写或修改部分参数。帖文报告的效果并不一致:打砖块和Qwen测试中出现提升,但另外两款游戏及Gemma 3 270M测试中未取得同样结果。
Why it matters to readers
如果这些结果能够被原始材料和独立实验确认,直接修改权重可能成为训练之外的一种模型构建或修正方式;但现有证据只能说明帖文作出了这些报告。
新手可把“权重”理解为神经网络内部控制输出的大量数字。“权重空间编程”在本文中指不重新训练,而是直接填写或改动这些数字。
Risks and unknowns
- 给定内容是单一转述帖文,未提供论文、研究团队公告、实验代码或独立复现材料。
- 无法仅凭帖文确认GPT-6 Astra的型号、能力及其是否参与所述研究。
- 无法确认517.4分、约20倍、0.016%、7.9%至48.1%、近3倍、93%至33.1%等实验结果。
- 文中未说明另外两款游戏的名称、完整实验设置及评价方法。
- 文中未提供Gemma 3 270M测试的具体分数。