arXiv 隐私论文· Mingjin Zhang·· 14 小时前AI 评分22
EdgeFlow：面向协作边缘计算中地理分布式 LLM 推理的高效 KV Cache 迁移
Efficient KV Cache Migration for Geo-Distributed LLM Inference in Collaborative Edge Computing
AI 导读
EdgeFlow 是一种混合 KV Cache 迁移方案，将直接 KV Cache 传输与基于激活值的重计算结合，利用并行计算与通信来最小化迁移时间。该工作将多节点 KV 迁移建模为优化问题，并基于改进的线性规划松弛与二分图技术设计了 2-近似算法。在真实分布式 LLM 推理平台上，EdgeFlow 将迁移时间最多降低 45%，提升了协作边缘计算中分布式 LLM 推理的鲁棒性与效率。
来源：arXiv 隐私论文 · arxiv.org