CoMoE：消费级GPU上的通信高效MoE推理
热点事件历史事件
CoMoE：消费级GPU上的通信高效MoE推理
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
Ruwen Fan 提出 CoMoE，一个面向消费级 GPU 的通信高效 MoE 推理系统，用以解决 PCIe 带宽受限且无 P2P 支持带来的通信瓶颈。其做法是以主机为中心的路由：用主机支持的 token 多播消除出站冗余，并以主机暂存缓冲的细粒度 token 级聚合替代全局同步。 据该论文，在 RTX 5090 上评测，CoMoE 将推理吞吐最高提升 1.46 倍，接近支持 NVLink 的 A800，而硬件成本仅为后者的 23.4%。
AI 根据报道生成 · 3 天前更新
最新进展10月7日 12:24
CoMoE：在消费级 GPU 上实现通信高效的 MoE 推理报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv 隐私论文CoMoE：在消费级 GPU 上实现通信高效的 MoE 推理
CoMoE 是一个面向消费级 GPU 的通信高效 MoE 推理系统，通过以主机为中心的路由解决 PCIe 带宽受限且无 P2P 支持的通信瓶颈。它用主机支持的 token 多播消除出站冗余，并用主机暂存缓冲的细粒度 token 级聚合替代全局同步。在 RTX 5090 上吞吐最高提升 1.46 倍，接近支持 NVLink 的 A800，硬件成本仅为其 23.4%。