Speaker
松 刘
Description
长上下文与高并发LLM推理中,KV Cache随序列线性膨胀,逐token读写将瓶颈从计算转向访存带宽,导致长序列难以部署、预填充延迟与吞吐受限。本报告介绍我们三项围绕KV Cache量化、非前缀复用与推测解码的研究工作。针对显存开销问题,提出混合精度量化方案KVmix,依据梯度重要性分层分配量化位宽,自适应保留关键token并配套高效CUDA内核,实现近无损推理,显存压缩4.9倍,吞吐提升5.3倍。针对非前缀KV缓存复用困难、IO延迟高的问题,提出硬件感知的KV复用系统CacheTune,利用频域特性筛选核心KV做选择性重计算,结合异步流水线与延迟RoPE修复,并能根据外部缓存池特性自适应调优重算比例,实现TTFT加速3.72~4.86倍、吞吐提升3.93~6.21倍。针对推测解码卸载KV带来的访存瓶颈,提出协同优化KV管理与模型调度方案SpecStream,约束KV迁移至Target提交边界,分块加载历史KV供多查询共享,利用online softmax拼接本地KV,结合流式传输与动态验证宽度,在Qwen3和InternLM2.5上平均吞吐加速比达1.41和1.32,我们的同卡并行方案较分卡并行每GPU输出效率平均提高55.4%。