ProPD: Dynamic Token Tree Pruning and Generation for LLM Parallel Decoding

Shuzhang Zhong, Zebin Yang, Ruihao Gong, Runsheng Wang, Ru Huang, 李萌
十月, 2024
论文
类型
会议文章
出版物
In International Conference on Computer-Aided Design (ICCAD)
Algorithm/Software Hardware Acc Efficient AI
Shuzhang Zhong
PhD Student (2023)
Zebin Yang
PhD Student (2024)
李萌
李萌
助理教授

我通过算法—硬件协同设计，研究高效且保护隐私的人工智能系统，并将其应用于大语言模型、具身智能和多模态智能。