Private AI

FastQuery: Communication-efficient Embedding Table Query for Private LLMs inference
面向私有大语言模型推理的通信高效嵌入表查询方案。
Chenqi Lin, Tianshi Xu, Zebin Yang, 李萌, Runsheng Wang, Ru Huang
论文