为什么用 Web.Casa 安装 Ollama - Nvidia 本地大模型推理服务器？
无需手动编写 Docker Compose，Web.Casa 自动配置并启动。
Caddy 自动签发和续期 SSL 证书，反向代理开箱即用。
监控、备份、更新、日志——所有应用在一个面板中管理。
NVIDIA 显卡配置说明
要在 Docker 中启用您的 NVIDIA GPU：
- 您需要安装 NVIDIA Container Toolkit
- 并配置 Docker 以使用 NVIDIA 驱动程序
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
使用说明
⚠️ 此应用运行在端口 11435 上。在配置连接到该应用的工具时，请考虑这一点。
与前端界面配合使用
尝试 REST API
Ollama 提供了用于运行和管理模型的 REST API。
生成回复
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt":"Why is the sky blue?"
}'
与模型对话
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
兼容的 GPU
Ollama 支持计算能力 5.0 及以上的 NVIDIA GPU。
请检查您的计算兼容性以确认您的显卡是否受支持： https://developer.nvidia.com/cuda-gpus
| 计算能力 | 系列 | 显卡 |
|---|---|---|
| 9.0 | NVIDIA | H100 |
| 8.9 | GeForce RTX 40xx | RTX 4090 RTX 4080 RTX 4070 Ti RTX 4060 Ti |
| NVIDIA Professional | L4 L40 RTX 6000 | |
| 8.6 | GeForce RTX 30xx | RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 RTX 3060 Ti RTX 3060 |
| NVIDIA Professional | A40 RTX A6000 RTX A5000 RTX A4000 RTX A3000 RTX A2000 A10 A16 A2 | |
| 8.0 | NVIDIA | A100 A30 |
| 7.5 | GeForce GTX/RTX | GTX 1650 Ti TITAN RTX RTX 2080 Ti RTX 2080 RTX 2070 RTX 2060 |
| NVIDIA Professional | T4 RTX 5000 RTX 4000 RTX 3000 T2000 T1200 T1000 T600 T500 | |
| Quadro | RTX 8000 RTX 6000 RTX 5000 RTX 4000 | |
| 7.0 | NVIDIA | TITAN V V100 Quadro GV100 |
| 6.1 | NVIDIA TITAN | TITAN Xp TITAN X |
| GeForce GTX | GTX 1080 Ti GTX 1080 GTX 1070 Ti GTX 1070 GTX 1060 GTX 1050 | |
| Quadro | P6000 P5200 P4200 P3200 P5000 P4000 P3000 P2200 P2000 P1000 P620 P600 P500 P520 | |
| Tesla | P40 P4 | |
| 6.0 | NVIDIA | Tesla P100 Quadro GP100 |
| 5.2 | GeForce GTX | GTX TITAN X GTX 980 Ti GTX 980 GTX 970 GTX 960 GTX 950 |
| Quadro | M6000 24GB M6000 M5000 M5500M M4000 M2200 M2000 M620 | |
| Tesla | M60 M40 | |
| 5.0 | GeForce GTX | GTX 750 Ti GTX 750 NVS 810 |
| Quadro | K2200 K1200 K620 M1200 M520 M5000M M4000M M3000M M2000M M1000M K620M M600M M500M |
模型库
Ollama 支持 ollama.com/library 上提供的一系列模型。
以下是一些可供下载的示例模型：
| 模型 | 参数量 | 大小 | 下载命令 |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi-3 | 3,8B | 2.3GB | ollama run phi3 |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
| Solar | 10.7B | 6.1GB | ollama run solar |
注意：运行 7B 模型至少需要 8 GB 可用 RAM，运行 13B 模型需要 16 GB，运行 33B 模型需要 32 GB。
常见问题
Ollama - Nvidia 本地大模型推理服务器 可以安装在 Web.Casa 上吗？
是的，Ollama - Nvidia 本地大模型推理服务器 是 Web.Casa 应用商店中的官方应用。你可以通过 Web.Casa 面板一键安装，无需手动编写 Docker Compose 或配置反向代理。
如何在 Web.Casa 上安装 Ollama - Nvidia 本地大模型推理服务器？
首先通过 curl -fsSL https://get.web.casa | bash 安装 Web.Casa，然后在面板的应用商店中搜索「Ollama - Nvidia 本地大模型推理服务器」，点击安装即可。Web.Casa 会自动配置 Docker 容器、分配端口并设置 Caddy 反向代理。
Ollama - Nvidia 本地大模型推理服务器 在 Web.Casa 上的默认端口是什么？
Ollama - Nvidia 本地大模型推理服务器 在 Web.Casa 上的默认端口为 11435。你可以通过 Web.Casa 的 Caddy 反向代理将其绑定到自定义域名，自动获取 HTTPS 证书。
Ollama - Nvidia 本地大模型推理服务器 安装后可以自动获取 HTTPS 吗？
是的。Web.Casa 基于 Caddy 构建，安装应用后只需绑定域名，Caddy 会自动通过 Let's Encrypt 签发和续期 SSL 证书，全程无需手动配置。
Ollama - Nvidia 本地大模型推理服务器 的数据如何备份？
Web.Casa 内置备份插件，支持将 Ollama - Nvidia 本地大模型推理服务器 的数据自动备份到本地、S3、WebDAV 或 SFTP。你可以设置定时快照和保留策略，确保数据安全。
