llama.cpp

C/C++ 实现的高性能本地推理引擎，CPU 也能跑量化模型。

本条目由程序自动抓取公开信息生成，仅供学习与技术参考；商标与版权归原作者所有，如有侵权请联系删除。

相关工具

全球最大的开源模型与数据集社区，提供推理接口与托管服务。

带图形界面的本地大模型运行工具，可一键搜索并加载开源模型。

一条命令在本地运行开源大模型，适合隐私敏感与离线场景。

统一 API 网关聚合上百款模型，一个 Key 即可自由切换与比价。

Gemini 模型的官方试验场，可免费调试提示词并获取 API Key。

阿里开源模型社区，中文模型齐全，支持在线体验与免费算力。