如何在 Raspberry Pi 和单板计算机 (SBC) 上运行 AI 模型

87次阅读
没有评论

如果你正在寻找一个让你在这个周末忙碌的项目,你可能有兴趣知道,在小型单板计算机(SBC)上以大型语言模型(LLM)的形式运行人工智能是可能的,如Raspberry Pi等。随着本月新款Raspberry Pi 5的推出,现在可以执行更多的功率密集型任务,以提高其性能。

尽管在开始之前,值得记住的是,在 Raspberry Pi 或其他 SBC 上运行 AI 模型,尤其是大型语言模型 (LLM),会带来挑战和机遇的有趣融合。当您在计算能力和便利性之间进行权衡时,您会在成本效益、隐私和动手学习方面获得收益。这是一个成熟的探索领域,对于那些愿意驾驭其局限性的人来说,创新的潜力是巨大的。

从 Raspberry Pi 访问 ChatGPT 的最佳方式之一:建立与 OpenAI API 的连接,使用 Python、JavaScript 和其他编程语言构建程序以远程连接到 ChatGPT。虽然,如果您正在寻找一个更本地安装、更安全的版本,可以直接在您的迷你 PC 上运行 AI,您将需要选择能够更有效地运行和回答您的查询的轻量级 LLM。

在 Raspberry Pi 上运行 AI 模型

观看下面的视频,了解更多关于如何通过Data Slayer实现这一点,如果你有兴趣了解更多关于如何利用你的迷你电脑的强大功能,我巧妙地建议你看看他的其他视频。

在深入研究之前,重要的是要概述挑战。在 Raspberry Pi 上运行全面的 LLM 并不像运行简单的 Python 脚本那么简单。这些挑战主要是:

  • 有限的硬件资源:与典型的基于云的设置相比,Raspberry Pi 提供的计算能力较低。
  • 内存限制:RAM 可能是一个瓶颈。
  • 功耗:众所周知,LLM 是耗能的。

在单板计算机上运行 LLM 的好处

首先,可负担性具有令人信服的优势。在云服务上部署 AI 模型可能会随着时间的推移而累积成本,尤其是在需要大量计算能力或需要处理大型数据集的情况下。另一方面,从长远来看,在 Raspberry Pi 上运行模型要便宜得多。其次,您可以获得隐私的好处。您的数据永远不会离开您的本地网络,这对于敏感或专有信息特别有价值。最后但并非最不重要的一点是教育方面。设置硬件、安装软件和解决问题的实践经验可能是一个巨大的学习机会。

由于缺乏计算能力而导致的缺点

然而,这些好处也有明显的缺点。一个主要问题是 Raspberry Pis 和类似 SBC 的硬件资源有限。这些设备并非旨在成为动力源;它们缺乏专用服务器甚至高端个人计算机的强大计算能力。在运行大型语言模型 (LLM) 时,这种限制尤为明显,这些模型因其对计算资源的需求而臭名昭著。记忆是另一个问题;Raspberry Pi 通常带有有限数量的 RAM,这使得运行数据密集型模型具有挑战性。此外,功耗可能会迅速上升,从而抵消最初通过避免云服务而获得的一些成本优势。

设置您的迷你电脑

尽管存在这些挑战,但已经取得了一些进步,使得在 Raspberry Pi 等小型计算机上运行 LLM 成为可能。一个值得注意的例子是Georgie Gregov的工作,他将Llama模型(Facebook共享的私有LLM集合)移植到C++。这大大减小了模型的大小,使其可以在 Raspberry Pi 等微型设备上运行。

在 Raspberry Pi 上运行 LLM 是一个多步骤的过程。首先,将 Ubuntu 服务器加载到 Raspberry Pi 上。然后将外部驱动器安装到 Pi 上,并将模型下载到驱动器上。下一步涉及克隆 git 存储库、编译它并将模型移动到存储库文件中。最后,LLM 在 Raspberry Pi 上运行。虽然这个过程可能有点慢,但它可以很好地处理具体问题。

需要注意的是,LLM 在很大程度上仍然是专有和闭源的。虽然 Facebook 已经发布了其 Llama 模型的开源版本,但许多其他模型尚未公开。这可能会限制这些模型的可访问性和广泛使用。一个值得注意的例子是Georgie Gregov的工作,他将Llama模型(Facebook共享的私有LLM集合)移植到C++。这大大减小了模型的大小,使其可以在 Raspberry Pi 等微型设备上运行。

在 Raspberry Pi 和其他单板计算机 (SBC) 等紧凑型平台上运行 AI 模型呈现出优势和局限性的迷人组合。从积极的一面来看,从长远来看,在此类设备上本地部署人工智能具有成本效益,消除了与基于云的服务相关的经常性费用。数据隐私级别也有所提高,因为所有计算都是在您自己的本地网络内进行的。此外,设置和运行这些模型的实践经验提供了宝贵的教育见解,特别是对于那些对硬件和软件的细节感兴趣的人。

然而,这些好处也带来了一系列挑战。最明显的问题是硬件资源的限制,尤其是在尝试运行大型语言模型 (LLM) 时。这些模型是计算和内存密集型的,而 Raspberry Pi 有限的硬件并不适合处理如此繁重的负载。功耗也可能成为一个问题,可能会抵消一些初始成本优势。

简而言之,虽然在 Raspberry Pi 和类似平台上运行 AI 模型是一个诱人的提议,它提供了可负担性、隐私和教育价值,但它并非没有障碍。计算能力、内存和能源效率方面的限制可能很大,尤其是在处理更大、更复杂的模型(如 LLM)时。然而,对于那些愿意应对这些挑战的人来说,该领域在创新和实践学习方面具有相当大的潜力。

正文完
 
Windows12系统管理员
版权声明:本站原创文章,由 Windows12系统管理员 2023-10-29发表,共计2114字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)