树莓派 Zero大编削：熟悉立变身AI神器，腹地开动大模子惊艳

连年来，大讲话模子（LLM）的应用越来越平时，而在个东谈主成立上部署这些模子的趋势也愈发显然。近日，越南开辟者 Binh Pham 告捷地将树莓派 Zero 编削为一个微型 USB 驱动器，使其或者在腹地开动 LLM，无需任何衰退成立。这一革命试验展示了老旧成立在 LLM 规模的后劲。

树莓派 Zero 是一款工整的微型计较机，天然其硬件性能有限，但在本次试验中，Pham 告捷地将其回荡为一个轻量级的 USB 驱动器。这一革命名目主要获利于 llama.cpp 和 llamafile 的相沿，这两者联结了指示集和一系列轻量级软件包，旨在提供一种离线的轻量级聊天机器东谈主体验。

当先，Pham 将成立齐集到 USB 接口，并为其 3D 打印了一个外壳，措置了硬件问题。关联词，由于树莓派 Zero W 的内存门径，名目变得愈加复杂。Pham 在尝试将 llama.cpp 编译到该建当场遭遇了失败，此前也无东谈主尝试在树莓派 Zero 或 One 上编译该软件。为了克服这一封锁，Pham 对 llama.cpp 的 ARMv8 指示集进行了调养，并移除总共基于当代硬件的优化或凝视。这一风光是要道的一步，因为树莓派 Zero 的 CPU 罗致的是 ARMv6 架构，而非 ARMv8 架构。

在告捷修改 llama.cpp 源代码后，Pham 将难得力转向软件的开动和用户体验的优化。他构建了一个基于文本文献输入的 LLM 达成，这些文本文献动作主要的教唆，而 LLM 则会证实这些教唆生成故事，并以完好的输出文献体式复返。这一革命性的风光为 LLM 的腹地开动提供了新的可能性。

为了测试性能，Pham 对多个模子进行了基准测试。他成立了 64 个 token 的门径，并对 15M 到 136M 不等的模子进行了测试。其中，Tiny15M 模子的每个 token 处理速率为 223 毫秒，而较大的 Lamini-T5-Flan-77M 模子的每个 token 处理速率为 2.5 秒。这些测试后果揭示了树莓派 Zero 在处理 LLM 时可能存在的性能瓶颈。尽管这又名目具有革命性，但在骨子应用中，使用老旧的轻量级硬件开动腹地 LLM 并不具备太多实用价值。

尽管如斯，这又名目仍然具有启示性意旨。它展示了如安在资源有限的成立上开动 LLM，并提议了新的可能性。关于那些不追求高性能模子的用户来说，使用树莓派 Zero 等老旧成立开动 LLM 可能是一个实用的礼聘。而关于开辟者来说，这又名目也为他们提供了一个酷爱的磋议课题，即若何运用老旧成立来优化 LLM 的性能。

总的来说体育游戏app平台，树莓派 Zero 的大编削展示了老旧成立在 LLM 规模的后劲。天然这又名目在性能上可能存在门径，但在明天，跟着 LLM 的进一步发展以及硬件时代的向上，咱们期待看到更多的革命试验和探索。关于个东谈主用户和开辟者来说，这些革命试验将为 LLM 的应用和发展提供新的念念路和可能性。