LMDeploy+Open Web UI部署DeepSeek

LMDeploy部署deepseek

Miniconda安装

bash

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh

bash

1	~/miniconda3/bin/conda init bash

bash

1	source ~/.bashrc

LMDeploy下载

bash

1
2
3

conda create -n lmdeploy python=3.8 -y
conda activate lmdeploy
pip install lmdeploy

模型准备

1.下模地址

huggingface

https://huggingface.io

魔塔社区

https://www.modelscope.cn

找到模型后赋值其名称ID即可。

2. 模型下载

python

1
2
3

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B')

保存在lmdeploy虚拟环境中运行代码，下载目录会在终端中输出。

3. 开启服务

bash

1	lmdeploy serve api_server /home/lmdeploy/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --server-port 23333

4. 模型量化

如果显存不够可以对模型进行量化，这里给出int4量化的命令，量化过程中需要科学上网，在命令前传入代理地址。

bash

1	lmdeploy lite auto_awq internlm/internlm2_5-7b-chat --work-dir internlm2_5-7b-chat-4bit

UI部署

UI安装

步骤 1：拉取 Open WebUI镜像

首先从 GitHub Container Registry 中提取最新的 Open WebUI Docker 镜像。

bash

1	docker pull ghcr.io/open-webui/open-webui:main

第 2 步：运行容器

使用默认设置运行容器。此命令包含卷映射以确保持久数据存储。

bash

1	docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main