当大语言模型能在你的手机、游戏机、浏览器中跑起来会怎么样？

　　

　　1. 将大语言模型(LLM)部署到消费级设备上会带来很多机会,比如个性化AI、专业化场景应用、离线和云端模式混合使用、去中心化等。

　　2. 要实现这些机会,需要解决将LLM部署到消费级设备上的技术难题,特别是利用硬件加速。目前消费级设备上存在硬件和软件栈的多样性,以及机器学习系统发展速度快的挑战。

　　

　　3. 机器学习编译(MLC)是一种帮助解决这些挑战的新方法。它可以视LLM模型为一个程序,并通过多个步骤将其转换为目标平台所需的形式。MLC方法的主要优点是可以针对不同平台自动生成通道,并提供机会进行全局优化,如内存使用规划。

　　

　　4. 作者希望通过构建一个利用MLC方法将LLM带到消费级设备的开源方案MLC-LLM,来帮助更多人利用这项技术。MLC-LLM已将LLM映射到Vulkan和Metal API上,支持Windows、Linux和MacOS,甚至可以在Steam Deck等设备上运行。同时也支持移动设备和浏览器。

　　

　　5. MLC-LLM也是一个基于Python的可编程流程,使更多人可以开发和优化LLM在不同硬件上的部署。作者将在未来分享更多技术细节和教程。

　　6. 机器学习编译和开源社区的力量使LLM在消费级设备的硬件加速变为可能。MLC-LLM项目也希望为这个生态系统做出贡献。实现这一切都依赖于开源社区成员的工作。

　　举报/反馈