Qwen3.5-4B-AWQ部署教程：WebUI汉化+自定义CSS主题修改方法

1. 模型概述与部署准备

Qwen3.5-4B-AWQ-4bit是阿里云通义千问团队推出的轻量级稠密模型，经过4bit AWQ量化后显存占用仅约3GB，可在RTX 3060/4060等消费级显卡上流畅运行。该模型在MMLU-Pro基准测试中接近Qwen3-30B-A3B的性能表现，在OmniDocBench上甚至超越了GPT-5-Nano，实现了精度与速度的完美平衡。

1.1 核心特性

• 多语言支持：覆盖201种语言处理能力
• 多模态能力：原生支持图文混合输入
• 长上下文处理：最高支持32K tokens上下文窗口
• 工具调用：适配轻量Agent、知识库、客服等应用场景
• 部署友好：兼容llama.cpp、Ollama等多种推理框架

1.2 环境准备

确保您的系统满足以下要求：

• 显卡：NVIDIA显卡（推荐RTX 3060/4060及以上）
• 驱动：CUDA 11.8或更高版本
• 内存：至少16GB系统内存
• 存储：10GB可用磁盘空间

2. 基础部署指南

2.1 快速启动服务

项目已预配置supervisor管理服务，可通过以下命令操作：

# 查看服务状态
supervisorctl status

# 启动服务
supervisorctl start qwen35-4b-awq

# 停止服务
supervisorctl stop qwen35-4b-awq

# 重启服务
supervisorctl restart qwen35-4b-awq

2.2 访问WebUI

服务启动后，通过浏览器访问：

http://localhost:7860

2.3 日志查看

# 实时查看运行日志
tail -f /root/Qwen3.5-4B-AWQ-4bit/logs/webui.log

# 查看错误日志
tail -f /root/Qwen3.5-4B-AWQ-4bit/logs/webui.err.log

3. WebUI汉化方法

3.1 汉化文件准备

1. 下载中文语言包文件（通常为zh_CN.json）
2. 将文件放置于模型目录的i18n文件夹内：

/root/Qwen3.5-4B-AWQ-4bit/i18n/zh_CN.json

3.2 修改配置文件

编辑webui.py文件，找到语言设置部分：

# 修改语言配置
LANGUAGE = "zh_CN"  # 默认en改为zh_CN

3.3 重启服务生效

supervisorctl restart qwen35-4b-awq

4. 自定义CSS主题修改

4.1 主题文件位置

默认主题文件位于：

/root/Qwen3.5-4B-AWQ-4bit/static/css/main.css

4.2 常用修改示例

/* 修改主背景色 */
body {
    background-color: #f5f7fa;
}

/* 调整聊天框样式 */
.chat-container {
    border-radius: 12px;
    box-shadow: 0 4px 6px rgba(0,0,0,0.1);
}

/* 修改按钮颜色 */
.btn-primary {
    background-color: #1890ff;
    border-color: #1890ff;
}

4.3 应用修改

修改后无需重启服务，刷新浏览器即可看到效果。如需彻底清除缓存，可使用Ctrl+F5强制刷新。

5. 常见问题解决

5.1 GPU显存不足

# 检查显存占用
nvidia-smi

# 终止残留进程
ps aux | grep VLLM
kill -9 <PID>

# 重新启动服务
supervisorctl start qwen35-4b-awq

5.2 服务启动失败

检查错误日志定位问题：

tail -n 50 /root/Qwen3.5-4B-AWQ-4bit/logs/webui.err.log

常见解决方法：

• 确认CUDA版本兼容性
• 检查模型文件完整性
• 验证supervisor配置正确性

5.3 界面显示异常

1. 清除浏览器缓存
2. 检查CSS文件路径是否正确
3. 验证汉化文件编码格式（推荐UTF-8）

6. 总结与进阶建议

通过本教程，您已经成功部署了Qwen3.5-4B-AWQ模型，并实现了WebUI的汉化和自定义主题修改。这个轻量级模型在消费级显卡上表现出色，特别适合以下场景：

• 个人开发者：快速搭建本地AI助手
• 中小企业：构建成本效益高的智能客服系统
• 教育研究：多语言处理和长文本分析实验

建议下一步尝试：

1. 集成到现有业务系统中
2. 开发自定义功能插件
3. 结合知识库增强专业领域能力

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。