私有化部署deepseek及使用webUI实现网页交互

私有化部署deepseek及使用webUI实现网页交互

精选文章moguli202025-03-11 15:01:1911A+A-

1、下载ollama

curl -fsSL https://ollama.com/install.sh | sh

2、安装模型

ollama run deepseek-r1:7b

3、命令行进入指定模型,进入命令提问方式

ollama run deepseek-r1:7b

4、后台运行

sudo vim /etc/systemd/system/ollama.service

修改如下:

[Unit]

Description=Ollama Service

After=network-online.target


[Service]

Environment="OLLAMA_HOST=0.0.0.0:11434"

Environment="OLLAMA_ORIGINS=*"

ExecStart=/usr/local/bin/ollama serve

User=ollama

Group=ollama

Restart=always

RestartSec=3

Environment="PATH=/usr/local/java/jdk1.8.0_421/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/go/bin:/bin:/usr/local/apache-maven-3.8.8/bin"


[Install]

WantedBy=default.target

执行命令:

sudo systemctl daemon-reload

sudo systemctl enable ollama

sudo systemctl start ollama

5、网络访问

http://ip:11434,如果11434不能访问,请确保配置【
/etc/systemd/system/ollama.service】修改,支持外部能访问:

Environment="OLLAMA_HOST=0.0.0.0:11434"

Environment="OLLAMA_ORIGINS=*"

配置完要重新加载并重启

sudo systemctl daemon-reload

sudo systemctl restart ollama


重启后查看:sudo netstat -tuln | grep 11434

结果如下:

tcp6 0 0 :::11434 :::* LISTEN

6、开放API,验证如下

curl -X POST http://www.XXXXXXX.com:11434/api/generate -d '{

"model": "deepseek-r1:7b",

"prompt": "设计一张用户信息表"

}'

7、防火墙常用命令

sudo firewall-cmd --list-all

sudo firewall-cmd --zone=public --add-port=11434/tcp --permanent

sudo firewall-cmd --reload


8、查看状态及日志

查看运行状态:sudo systemctl status ollama

查看日志:journalctl -u ollama

9、使用webUI对接

这里使用:
https://github.com/ollama-webui/ollama-webui-lite.git

下载后执行:

npm install

npm run dev

最后使用:http://localhost:3000

点击这里复制本文地址 以上内容由莫古技术网整理呈现,请务必在转载分享时注明本文地址!如对内容有疑问,请联系我们,谢谢!
qrcode

莫古技术网 © All Rights Reserved.  滇ICP备2024046894号-2