研究提出临床大模型CPU内存中心化部署方案

Eli Yune 提出并测试了一种以系统内存为中心的消费级 CPU 部署方案，用于大型临床语言模型的本地推理与联邦微调。其依据是消费级 GPU 显存上限仅 4-16 GB，而 270 亿参数模型 4-bit 精度的工作集需 17-25 GB，瓶颈在显存而非算力。 在两台消费级机器上（67 GB 内存配 6 GB GPU 的台式机、34 GB 内存配 4 GB GPU 的移动工作站），模型全部载入系统内存，内存占用率分别为 37% 和 60%，两块 GPU 在第一步前即显存不足。推理速度为隔夜批处理水平，27B 模型为 0.6-2.4 tokens/s；联邦微调仅需传输 22.6 MB 低秩适配器，比完整权重减少 99.96%。 该研究全部使用合成数据，作者称其为研究产物，并非医疗器械。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。