ArkVale: Efficient Generative LLM Inference with Recallable Key-Value Eviction

Renze Chen, Zhuofeng Wang, Beiquan Cao, Tong Wu, Size Zheng, Xiuhong Li, Xuechao Wei, Shengen Yan, 李萌, Yun Liang
十二月, 2024
论文
类型
会议文章
出版物
In Conference on Neural Information Processing Systems
Algorithm/Software Efficient AI
李萌
李萌
助理教授

我通过算法—硬件协同设计，研究高效且保护隐私的人工智能系统，并将其应用于大语言模型、具身智能和多模态智能。