苹果英伟达合作开源ReDrafterLLM推理速度飙升27倍
苹果公司近期宣布与英伟达携手合作，共同推出了一项名为Recurrent Drafter（简称ReDrafter）的创新技术，这项技术旨在显著提升人工智能大语言模型（LLM）的推理速度。这一消息是在12月18日通过苹果公司的官方博文发布的。
据悉，ReDrafter技术已经成功融入英伟达的TensorRT-LLM推理加速框架中。这一整合使得在英伟达GPU上运行的LLM模型，每秒生成的tokens数量最高可提升2.7倍。这一显著的性能提升，不仅有效减少了用户在使用过程中的延迟感受，还大幅度降低了计算成本。
苹果公司的机器学习专家强调，随着LLM在生产应用程序中的广泛应用，提高推理效率已经成为降低计算成本和减少用户延迟的关键因素。ReDrafter技术的推出，正是对这一需求的积极响应。
ReDrafter的核心在于其独特的RNN草稿模型，该模型结合了波束搜索（beam search）和动态树注意力（dynamic tree attention）技术。这一创新设计使得开源模型在每一步生成过程中最多可以产生3.5个tokens，从而超越了以往推测性解码技术的性能表现。
为了将ReDrafter技术应用于实际生产环境，苹果公司与英伟达展开了深度合作。双方共同努力，将ReDrafter成功集成到英伟达的TensorRT-LLM框架中。这一合作不仅展现了苹果与英伟达在技术创新方面的深厚实力，也体现了双方在推动AI技术发展方面的共同愿景。
为了支持ReDrafter技术的集成，英伟达对其TensorRT-LLM框架进行了多项优化。这包括添加新的运算符以及公开现有运算符，以增强框架对复杂模型和解码方法的适应能力。这些优化措施为ReDrafter技术的顺利应用提供了有力保障。
基准测试结果显示，在使用集成了ReDrafter的TensorRT-LLM框架的英伟达GPU上，数百亿参数规模的生产模型的解码速度得到了显著提升，最高可达2.7倍。这一成果不仅显著降低了用户体验延迟，还减少了GPU的使用数量和功耗，从而进一步降低了运营成本。
这一合作成果的发布，标志着苹果与英伟达在AI技术领域的合作迈出了重要一步。未来，双方将继续携手共进，共同推动AI技术的创新与发展，为更多用户提供更加高效、智能的服务。