Ollama

Ollama.ai 是一个面向开发者和极客的开源平台，核心使命是让任何人在本地笔记本、台式机或服务器上都能“开箱即用”地运行、管理、微调大语言模型。它把复杂的 CUDA、驱动、依赖、权重下载与格式转换全部封装成一条命令，并提供类 Docker 的镜像仓库，用户只需 ollama run llama3 即可拉起模型。官网简洁直观，首页即展示支持的热门模型（Llama 3、Mistral、Gemma、DeepSeek 等），并给出各操作系统的一键安装脚本与 API 文档，帮助用户 5 分钟内完成从 0 到对话的闭环。

1. 模型仓库：提供官方与社区共建的模型库，支持版本管理与增量更新；可按 tag 拉取量化版（4-bit/8-bit）。
2. 一键运行：ollama run <model> 自动检测硬件（CPU/GPU/Metal），下载权重并启动推理服务；支持对话式 REPL。
3. REST API：兼容 OpenAI 格式的 /chat、/generate、/embeddings 端点，方便接入 LangChain、Dify、PotPlayer 等第三方应用。
4. Modelfile：类 Dockerfile 的声明式配置，可自定义系统提示、参数、量化方式、LoRA 适配器，实现个性化模型封装与复现。
5. GPU 自动调度：内置 llama.cpp + CUDA/Metal 后端，自动选择最优计算路径；支持多卡并行。
6. 扩展生态：提供 Python/JavaScript/Go SDK；社区已有 Obsidian、Raycast、Home Assistant 等插件。
7. 离线运行：下载后断网可用，数据不出本地，满足隐私合规需求。

• 开发者：在 IDE 里通过 API 快速接入本地 Code Llama，做代码补全、单元测试生成。
• 内容创作者：用开源 7B 模型生成脚本、文案，避免云端计费与隐私泄露。
• 教育/科研：课堂演示大模型原理，学生可亲手微调小羊驼 LoRA，无需昂贵 GPU 服务器。
• 企业内网：金融、医疗等敏感场景部署私有化客服机器人，保证数据留在本地机房。
• 极客玩家：给 PotPlayer 外挂字幕实时翻译、为 Home Assistant 增加语音大脑、甚至用树莓派跑轻量模型做离线问答。

• 极简体验：一条命令安装、一条命令运行，5 分钟上手。
• 硬件友好：支持 CPU、NVIDIA、Apple Silicon、AMD ROCm，量化后 4GB 显存即可跑 7B 模型。
• 完全离线：权重与运行环境一次下载，断网可用，零后续费用。
• 开源可定制：MIT 协议，Modelfile 支持私有数据微调、LoRA 挂载，便于二次分发。
• 生态丰富：已有 100+ 社区模型、20+ 语言 SDK 与插件，持续更新。