苹果的AI研究人员最近表示，他们成功地将大型语言模型（LLM）部署到内存有限的iPhone设备上，这是通过一种创新的闪存利用技术实现的重要突破。
LLM模型在内存限制下的挑战
LLM模型，如ChatGPT和Claude等聊天机器人，对数据和内存的消耗很大，通常需要大量内存才能运行。然而，对于内存容量有限的iPhone等设备来说，这是一个难题。为了解决这个问题，苹果的研究人员开发了一种创新的技术，利用闪存存储AI模型的数据。
突破性闪存利用技术
在一篇名为《闪存中的LLM：有限内存下高效的大型语言模型推断》的研究论文中，作者们介绍了他们的方法。这个方法使用了两种关键技术，以最小化数据传输并最大化闪存的吞吐量：
- 窗口化：这种方法类似于回收利用，避免了每次加载新数据的需求。通过重复使用已处理过的数据，减少了内存获取的需求，从而提高了整个过程的速度和效率。
- 行列绑定：这种技术将数据分组，以更高效地从闪存中读取。通过减少读取时间，加快了AI理解和生成语言的速度。
突破性的结果
根据论文中的描述，这些技术的结合使得AI模型可以运行的大小是iPhone可用内存的两倍。这意味着在标准处理器（CPU）上的速度可以提高4-5倍，在图形处理器（GPU）上的速度甚至可以提高20-25倍。这一突破性发现对于在资源有限的环境中部署先进的LLM模型非常关键，扩大了它们的适用性和可访问性。
未来的AI体验更快速
这一突破为未来的iPhone带来了更先进的AI功能，例如更智能的Siri、实时语言翻译以及复杂的AI驱动的摄影和增强现实功能。此外，苹果还计划在设备上运行复杂的AI助手和聊天机器人。
苹果的AI研究人员在2023年的人工智能峰会上介绍了他们的工作，他们正在开发一个名为”Ajax”的生成式AI模型，它拥有2000亿个参数，与OpenAI的GPT-3和GPT-4相媲美。苹果计划将Ajax整合到其生态系统中，进一步深化对AI的应用，提供更智能、更高效的用户体验。
原创文章，作者：Apple，如若转载，请注明出处：https://www.tephone.com/article/2001
