Meta、麻省理工学院和卡内基梅隆大学的研究人员最近发表的一篇新论文介绍了一项名为 StreamingLLM 的创新技术，旨在解决大型语言模型在长时间对话中性能下降的问题。该技术利用 “attention sinks” 概念，使 LLMs 能够在无限长度的文本上保持高性能。通过在对话后期重新引入一些初始标记，用户可以有效地恢复 LLM 的性能。这项技术为 LLMs 在长时间对话中保持高性能提供了创新的解决方案。