为什么用 Web.Casa 安装 Serge LLaMA 简易部署工具？
无需手动编写 Docker Compose，Web.Casa 自动配置并启动。
Caddy 自动签发和续期 SSL 证书，反向代理开箱即用。
监控、备份、更新、日志——所有应用在一个面板中管理。
安装方式
先安装 Web.Casa，然后在应用商店中一键安装此应用。
Serge - 轻松玩转 LLaMA 🦙
Serge 是一个基于 llama.cpp 构建的聊天界面，用于运行 Alpaca 模型。无需 API 密钥，完全自托管！
- 🌐 SvelteKit 前端
- 💾 Redis 用于存储聊天历史和参数
- ⚙️ FastAPI + LangChain 构建 API，通过 python 绑定库 封装对 llama.cpp 的调用
🧠 支持的模型
| 类别 | 模型 |
|---|---|
| Alpaca 🦙 | Alpaca-LoRA-65B, GPT4-Alpaca-LoRA-30B |
| Chronos 🌑 | Chronos-13B, Chronos-33B, Chronos-Hermes-13B |
| GPT4All 🌍 | GPT4All-13B |
| Koala 🐨 | Koala-7B, Koala-13B |
| LLaMA 🦙 | FinLLaMA-33B, LLaMA-Supercot-30B, LLaMA2 7B, LLaMA2 13B, LLaMA2 70B |
| Lazarus 💀 | Lazarus-30B |
| Nous 🧠 | Nous-Hermes-13B |
| OpenAssistant 🎙️ | OpenAssistant-30B |
| Orca 🐬 | Orca-Mini-v2-7B, Orca-Mini-v2-13B, OpenOrca-Preview1-13B |
| Samantha 👩 | Samantha-7B, Samantha-13B, Samantha-33B |
| Vicuna 🦙 | Stable-Vicuna-13B, Vicuna-CoT-7B, Vicuna-CoT-13B, Vicuna-v1.1-7B, Vicuna-v1.1-13B, VicUnlocked-30B, VicUnlocked-65B |
| Wizard 🧙 | Wizard-Mega-13B, WizardLM-Uncensored-7B, WizardLM-Uncensored-13B, WizardLM-Uncensored-30B, WizardCoder-Python-13B-V1.0 |
可以使用 docker cp 命令将额外的权重文件添加到 serge_weights 卷中：
docker cp ./my_weight.bin serge:/usr/src/app/weights/
⚠️ 内存使用情况
如果可用内存不足以加载模型，LLaMA 将会崩溃：
| 模型 | 最大所需内存 |
|---|---|
| 7B | 4.5GB |
| 7B-q2_K | 5.37GB |
| 7B-q3_K_L | 6.10GB |
| 7B-q4_1 | 6.71GB |
| 7B-q4_K_M | 6.58GB |
| 7B-q5_1 | 7.56GB |
| 7B-q5_K_M | 7.28GB |
| 7B-q6_K | 8.03GB |
| 7B-q8_0 | 9.66GB |
| 13B | 12GB |
| 13B-q2_K | 8.01GB |
| 13B-q3_K_L | 9.43GB |
| 13B-q4_1 | 10.64GB |
| 13B-q4_K_M | 10.37GB |
| 13B-q5_1 | 12.26GB |
| 13B-q5_K_M | 11.73GB |
| 13B-q6_K | 13.18GB |
| 13B-q8_0 | 16.33GB |
| 33B | 20GB |
| 33B-q2_K | 16.21GB |
| 33B-q3_K_L | 19.78GB |
| 33B-q4_1 | 22.83GB |
| 33B-q4_K_M | 22.12GB |
| 33B-q5_1 | 26.90GB |
| 33B-q5_K_M | 25.55GB |
| 33B-q6_K | 29.19GB |
| 33B-q8_0 | 37.06GB |
| 65B | 50GB |
| 65B-q2_K | 29.95GB |
| 65B-q3_K_L | 37.15GB |
| 65B-q4_1 | 43.31GB |
| 65B-q4_K_M | 41.85GB |
| 65B-q5_1 | 51.47GB |
| 65B-q5_K_M | 48.74GB |
| 65B-q6_K | 56.06GB |
| 65B-q8_0 | 71.87GB |
🧾 许可证
Nathan Sarrazin 和 贡献者们。Serge 是免费开源软件，遵循 MIT 许可证。
💬 支持
需要帮助？加入我们的 Discord
常见问题
Serge LLaMA 简易部署工具 可以安装在 Web.Casa 上吗？
是的，Serge LLaMA 简易部署工具 是 Web.Casa 应用商店中的官方应用。你可以通过 Web.Casa 面板一键安装，无需手动编写 Docker Compose 或配置反向代理。
如何在 Web.Casa 上安装 Serge LLaMA 简易部署工具？
首先通过 curl -fsSL https://get.web.casa | bash 安装 Web.Casa，然后在面板的应用商店中搜索「Serge LLaMA 简易部署工具」，点击安装即可。Web.Casa 会自动配置 Docker 容器、分配端口并设置 Caddy 反向代理。
Serge LLaMA 简易部署工具 在 Web.Casa 上的默认端口是什么？
Serge LLaMA 简易部署工具 在 Web.Casa 上的默认端口为 8008。你可以通过 Web.Casa 的 Caddy 反向代理将其绑定到自定义域名，自动获取 HTTPS 证书。
Serge LLaMA 简易部署工具 安装后可以自动获取 HTTPS 吗？
是的。Web.Casa 基于 Caddy 构建，安装应用后只需绑定域名，Caddy 会自动通过 Let's Encrypt 签发和续期 SSL 证书，全程无需手动配置。
Serge LLaMA 简易部署工具 的数据如何备份？
Web.Casa 内置备份插件，支持将 Serge LLaMA 简易部署工具 的数据自动备份到本地、S3、WebDAV 或 SFTP。你可以设置定时快照和保留策略，确保数据安全。
