为什么用 Web.Casa 安装 Ollama - CPU 本地大语言模型推理服务器？
无需手动编写 Docker Compose，Web.Casa 自动配置并启动。
Caddy 自动签发和续期 SSL 证书，反向代理开箱即用。
监控、备份、更新、日志——所有应用在一个面板中管理。
使用方式
⚠️ 此应用运行在 11436 端口。配置连接到该应用的工具时请考虑此信息。
与前端配合使用
尝试 REST API
Ollama 提供了用于运行和管理模型的 REST API。
生成回复
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt":"Why is the sky blue?"
}'
与模型对话
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
模型库
Ollama 支持一系列模型，可在 ollama.com/library 查看。
以下是一些可供下载的示例模型：
| 模型 | 参数量 | 大小 | 下载命令 |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi-3 | 3,8B | 2.3GB | ollama run phi3 |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
| Solar | 10.7B | 6.1GB | ollama run solar |
注意：运行 7B 模型至少需要 8 GB 可用内存，运行 13B 模型需要 16 GB，运行 33B 模型需要 32 GB。
常见问题
Ollama - CPU 本地大语言模型推理服务器 可以安装在 Web.Casa 上吗？
是的，Ollama - CPU 本地大语言模型推理服务器 是 Web.Casa 应用商店中的官方应用。你可以通过 Web.Casa 面板一键安装，无需手动编写 Docker Compose 或配置反向代理。
如何在 Web.Casa 上安装 Ollama - CPU 本地大语言模型推理服务器？
首先通过 curl -fsSL https://get.web.casa | bash 安装 Web.Casa，然后在面板的应用商店中搜索「Ollama - CPU 本地大语言模型推理服务器」，点击安装即可。Web.Casa 会自动配置 Docker 容器、分配端口并设置 Caddy 反向代理。
Ollama - CPU 本地大语言模型推理服务器 在 Web.Casa 上的默认端口是什么？
Ollama - CPU 本地大语言模型推理服务器 在 Web.Casa 上的默认端口为 11436。你可以通过 Web.Casa 的 Caddy 反向代理将其绑定到自定义域名，自动获取 HTTPS 证书。
Ollama - CPU 本地大语言模型推理服务器 安装后可以自动获取 HTTPS 吗？
是的。Web.Casa 基于 Caddy 构建，安装应用后只需绑定域名，Caddy 会自动通过 Let's Encrypt 签发和续期 SSL 证书，全程无需手动配置。
Ollama - CPU 本地大语言模型推理服务器 的数据如何备份？
Web.Casa 内置备份插件，支持将 Ollama - CPU 本地大语言模型推理服务器 的数据自动备份到本地、S3、WebDAV 或 SFTP。你可以设置定时快照和保留策略，确保数据安全。
