arXiv 隐私论文· Eli Yune·· 1 天前AI 评分24
容量优先于算力：大型临床语言模型在消费级 CPU 上的以内存为中心部署
Capacity over TFLOPS: Memory-Centric Deployment of Large Clinical Language Models on Consumer CPUs
AI 导读
在消费级硬件上运行大型临床语言模型的主要瓶颈是显存而非算力：消费级 GPU 上限为 4-16 GB，而 270 亿参数模型 4-bit 精度下的工作集需 17-25 GB。
来源：arXiv 隐私论文 · arxiv.org