内存带宽

SemiAnalysis称AI推理瓶颈转向内存带宽与调度

SemiAnalysis报告称，MoE推理的效率更依赖内存带宽、调度和KV缓存分级，并预测2027年单流水线阶段或需约400至500GB本地快速内存。