Meta 推出 LayerSkip：提升大语言模型推理速度

信息来源：https://huggingface.co/papers/2404.16710

Meta公司最新发布的LayerSkip技术旨在提升大型语言模型的推理速度，通过优化推理过程，减少计算资源消耗，保持模型性能。这对实时需求高的应用场景具有重要意义，反映了Meta在AI模型效率方面的持续投入和创新。LayerSkip技术的未来展望将为大语言模型的部署和使用带来更多可能性，特别是在需要快速处理大量语言数据的场合。

 LayerSkip，这是一种用于加速大型语言模型 (LLM) 推理的端到端解决方案。首先，在训练期间，我们应用层丢失，早期层的丢失率较低，后面层的丢失率较高，以及所有变压器层共享相同出口的早期退出损失。其次，在推理过程中，我们表明这种训练方法提高了早期层提前退出的准确性，而无需向模型添加任何辅助层或模块。第三，我们提出了一种新颖的自推测解码解决方案，我们在早期层退出并验证和纠正模型的其余层。我们提出的自推测解码方法比其他推测解码方法具有更少的内存占用，并且受益于草稿和验证阶段的共享计算和激活。我们在不同类型的训练中对不同大小的 Llama 模型进行实验：从头开始预训练、持续预训练、特定数据域的微调以及特定任务的微调。我们实现了推理解决方案，并在 CNN/DM 文档的摘要方面显示了高达 2.16 倍的加速，在编码方面加速了 1.82 倍，在 TOPv2 语义解析任务上加速了 2.0 倍。