本地运行Llama和其他大语言模型
GitHub项目地址
Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具，允许用户下载并本地运行像Llama 2、Code Llama和其他模型，并支持自定义和创建自己的模型。该免费开源的项目，目前支持macOS和Linux操作系统，未来还将支持Windows系统。
此外，Ollama还提供了官方的Docker镜像，由此使用Docker容器部署大型语言模型变得更加简单，确保所有与这些模型的交互都在本地进行，无需将私有数据发送到第三方服务。Ollama在macOS和Linux上支持GPU加速，并提供了简单的命令行界面（CLI）以及用于与应用程序交互的REST API。
该工具对于需要在本地机器上运行和实验大语言模型的开发人员或研究人员来说特别有用，无需依赖外部云服务。
Ollama 现已推出适用于 macOS 和 Windows 的
Ollama桌面端
，新增文件处理与多模态交互功能，让用户与本地大语言模型交互更直观便捷。
Ollama安装包获取
Ollama安装包
Ollama支持的模型
Ollma提供一个模型库，用户可以自行选择安装想要运行的模型，目前支持40+的模型，还在持续增加中，以下是可以下载的开源模型示例：
DeepSeek-R1
1.5B、7B、14B、32B等
ollama run deepseek-r1
Neural Chat
ollama run neural-chat
ollama run starling-lm
ollama run mistral
ollama run llama2
Code Llama
ollama run codellama
Llama 2 Uncensored
ollama run llama2-uncensored
Llama 2 13B
ollama run llama2:13b
Llama 2 70B
ollama run llama2:70b
Orca Mini
ollama run orca-mini
ollama run vicuna
原创和所有，百度推出的产业级知识增强大模型
DeepSpeed
微软开源的低成本实现类似ChatGPT的模型训练
Chatbox AI
开源的AI客户端助手，支持多种主流AI模型
爆火的实现GPT-4完全自主的实验性开源项目，GitHub超10万星
字节跳动 Seed 团队推出的多模态 AI 视频生成模型
OpenAI最新发布的多模态AI大模型，可自然流畅地进行语音对话
