算力资讯
算力资讯技术进展

本地推理引擎llama.cpp 1.0.0史诗级更新:支持超150种模型架构,断网也能满血跑大模型

IT之家11月14日消息,开发者Georgi Gerganov(X账号为@ggerganov)昨日(11月13日)在X平台发布推文, 宣布开源AI推理项目llama.cpp与底层机器学习引擎ggml的库版本迈入1.0.0。

IT之家查询公开资料,Gerganov是开源项目llama.cpp的创建者,也是ggml、whisper.cpp等本地AI基础软件的重要开发者。他在个人X简介中将自己标注为Hugging Face工程师,GitHub资料所在地为保加利亚索非亚。

llama.cpp是一个主要用C/C++ 编写的开源AI推理项目,核心作用是让大语言模型在个人电脑、服务器等不同硬件上运行。它既可以用于本地部署,也可以用于云端服务,目标是降低部署复杂度,并充分利用设备的计算能力。

本次更新最大的亮点就是明确接口兼容性规则:

项目 库 定位llama.cpp libllama C/C++ 大模型推理库ggml libggml底层机器学习张量库 两者今后都会通过主版本号升级,明确标记API或ABI不兼容的变化,让依赖这些库的应用能够识别升级边界。对于开发者而言,可以从版本号上,更容易判断某次升级是否可能要求自己的应用同步修改。官方给出的版本规则是:

版本位 什么情况下更新MAJOR,例如1.x.x → 2.0.0 ./include中公共C API出现破坏性变更;公告同时明确,API/ABI不兼容会通过主版本升级体现MINOR,例如1.0.x → 1.1.0向后兼容的功能、后端更新、模型支持或API新增PATCH,例如1.0.0 → 1.0.1不改变API的bug修复 在工程质量方面,官方公告称为了支撑持续加快的开发节奏,团队强调了三项投入:

使用Hugging Face的HF Buckets、HF Jobs扩展CI基础设施。

在NVIDIA、AMD、Qualcomm、Arm、IBM、Intel的硬件支持下,持续增加覆盖主要硬件平台的自托管测试运行器。

在开发流程中审慎使用LLM,同时继续把代码质量、架构控制和对实现细节的理解放在首位。

在后端与模型支持方面,ggml通过专用后端支持不同硬件;每个后端都可以编译为动态库,并按需在运行时加载。

llama.cpp已支持超过150种模型架构变体及主流推测解码方法。团队还将继续加强自动化测试基础设施,并借助英伟达、AMD、高通、Arm、IBM和英特尔提供的硬件支持,扩大跨平台测试覆盖。

转载说明引用来源:IT之家引用网址:https://www.ithome.com/1/027/019.htm