为什么用 Web.Casa 安装 Ollama - AMD 本地大模型推理服务？
无需手动编写 Docker Compose，Web.Casa 自动配置并启动。
Caddy 自动签发和续期 SSL 证书，反向代理开箱即用。
监控、备份、更新、日志——所有应用在一个面板中管理。
使用说明
⚠️ 此应用运行在 11434 端口。配置连接到该应用的工具时，请考虑此端口。
与前端配合使用
尝试 REST API
Ollama 提供了用于运行和管理模型的 REST API。
生成回复
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt":"Why is the sky blue?"
}'
与模型对话
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
兼容的 GPU
Ollama 支持以下 AMD GPU：
| 系列 | 显卡和加速器 |
|---|---|
| AMD Radeon RX | 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 Vega 64 Vega 56 |
| AMD Radeon PRO | W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620 V420 V340 V320 Vega II Duo Vega II VII SSG |
| AMD Instinct | MI300X MI300A MI300 MI250X MI250 MI210 MI200 MI100 MI60 MI50 |
模型库
Ollama 支持 ollama.com/library 上提供的一系列模型。
以下是一些可供下载的示例模型：
| 模型 | 参数 | 大小 | 下载命令 |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi-3 | 3,8B | 2.3GB | ollama run phi3 |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
| Solar | 10.7B | 6.1GB | ollama run solar |
注意：运行 7B 模型至少需要 8 GB 可用 RAM，运行 13B 模型至少需要 16 GB，运行 33B 模型至少需要 32 GB。
常见问题
Ollama - AMD 本地大模型推理服务 可以安装在 Web.Casa 上吗？
是的，Ollama - AMD 本地大模型推理服务 是 Web.Casa 应用商店中的官方应用。你可以通过 Web.Casa 面板一键安装，无需手动编写 Docker Compose 或配置反向代理。
如何在 Web.Casa 上安装 Ollama - AMD 本地大模型推理服务？
首先通过 curl -fsSL https://get.web.casa | bash 安装 Web.Casa，然后在面板的应用商店中搜索「Ollama - AMD 本地大模型推理服务」，点击安装即可。Web.Casa 会自动配置 Docker 容器、分配端口并设置 Caddy 反向代理。
Ollama - AMD 本地大模型推理服务 在 Web.Casa 上的默认端口是什么？
Ollama - AMD 本地大模型推理服务 在 Web.Casa 上的默认端口为 11434。你可以通过 Web.Casa 的 Caddy 反向代理将其绑定到自定义域名，自动获取 HTTPS 证书。
Ollama - AMD 本地大模型推理服务 安装后可以自动获取 HTTPS 吗？
是的。Web.Casa 基于 Caddy 构建，安装应用后只需绑定域名，Caddy 会自动通过 Let's Encrypt 签发和续期 SSL 证书，全程无需手动配置。
Ollama - AMD 本地大模型推理服务 的数据如何备份？
Web.Casa 内置备份插件，支持将 Ollama - AMD 本地大模型推理服务 的数据自动备份到本地、S3、WebDAV 或 SFTP。你可以设置定时快照和保留策略，确保数据安全。
