当前位置:首页 > 技术分析 > 正文内容

anythingllm+deepseek 本地安装部署

ruisui882个月前 (02-28)技术分析14

想体验下anythingllm的使用效果,就在本地个人电脑上进行了安装部署实验,步骤如下。

一、系统环境:

CPU:AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz

RAM:32G

显卡:NVIDIA GeForce RTX 3060 Laptop GPU,8G显存

系统:win10 专业版

二、安装ollama+deepseek

使用ollama在本地安装部署deepseek,详细步骤参见我的另外一篇文章【Deepseek R1 本地安装部署

部署成功后,系统界面如下。


访问ollama系统链接,页面会提示ollama正在运行中。


三、安装anythingllm

anythingllm有两种方式,一种是windows安装文件,会默认安装在C盘,另一种是使用docker镜像方式。我采用的是docker镜像方式,这样方便以后的维护。

1.下载anythingllm镜像文件

使用管理员模式运行powershell,然后运行指令

docker pull mintplexlabs/anythingllm


2.在linux子系统上创建anythingllm的挂载目录,用来对anythingllm的数据和配置文件进行持久化存储。

进入linux子系统ubuntu,然后执行指令。

(1)创建一个目录用于AnythingLLM数据的持久化存储

mkdir -p /data/docker/anythingllm/data

(2)创建一个目录用于存放AnythingLLM的环境变量信息

mkdir -p /data/docker/anythingllm/env

(3)设置目录权限

chmod  -R 777 /data/docker/anythingllm


3.创建环境变量文件

(1)创建环境变量配置文件

cd /data/docker/anythingllm/env
touch env.txt

(2)env.txt内录入环境变量信息。

SERVER_PORT=3001
STORAGE_DIR="/app/server/storage"
UID='1000'
GID='1000'


4.创建anythingllm 容器

使用以下命令创建anythingllm docker容器,并将数据目录挂载到前面创建好的文件目录里:

docker run `
  -d `
  --restart always `
  --name anythingllm `
  --cap-add SYS_ADMIN `
  --privileged=true `
  -p 3014:3001 `
  -v \\wsl$\Ubuntu\data\docker\anythingllm\data:/app/server/storage `
  -v \\wsl$\Ubuntu\data\docker\anythingllm\env\env.txt:/app/server/.env `
  mintplexlabs/anythingllm

其中:

-d 表示后台运行容器。

--restart always 设置容器的重启策略。

--name anythingllm 为容器指定一个名称。

--cap-add SYS_ADMIN 添加SYS_ADMIN能力给容器,这意味着容器将获得更多的系统管理权限,比如进行磁盘管理、网络配置等

--privileged=true 使容器以特权模式运行,这将给予容器几乎相同于宿主机的权限。

-p 3014:3001 \ 将容器的3014端口映射到宿主机的3001端口。

-v \\wsl$\Ubuntu\data\docker\anythingllm\data:/app/server/storage 将宿主机的数据目录挂载到容器中。

-v \\wsl$\Ubuntu\data\docker\anythingllm\env\env.txt 将宿主机的配置文件挂载到容器中。

mintplexlabs/anythingllm 指定要使用的AnythingLLM镜像和版本(latest)

注意事项

  • WSL 发行版名称:确保 Ubuntu 是实际使用的 WSL 发行版名称。如果使用的是其他发行版,需要相应地修改。
  • 路径分隔符:在 PowerShell 中,路径分隔符是反斜杠 \,而不是正斜杠 /。
  • 换行符:在 PowerShell 中,使用反引号 ` 作为换行符来分割长命令。

运行此命令前,需要确保 Dockerdesktop 已经正确安装并配置,并且 WSL 子系统可以正常访问。


5.测试anythingllm服务。

在浏览器内 输入 http://localhost:3014/ 即可以开始访问。如果ollama容器没有启动的话,在anythingllm 配置模型界面选择ollama时会报错,这时去将ollama容器启动即可。


6.下载 all-MiniLM-L6-v2模型 并手工部署(非必须)

docker版的anythingllm 中没有带all-MiniLM-L6-v2模型,这个模型是anythingllm默认用来进行文档向量化所用的模型,首次运行时,系统会自动从huggingface上下载这个模型。





但是,如果你没有代理的话,基本上是无法访问huggingface的,在进行文档向量化操作时系统会报错。某些代理不稳定时,也会导致下载失败。比如我上传一个文件“python基础教程.pdf”,然后移动到我的workspace,然后再执行 【save and embed】时系统会报错:





解决办法就是手工下载all-MiniLM-L6-v2模型文件,然后复制到容器对应的目录中。

Xenova\all-MiniLM-L6-v2 模型文件 list




anythingllm docker容器内model存放位置:
/app/server/storage/models


之前我们设置过数据挂载目录,就是那里!!!

搜索Xenova\all-MiniLM-L6-v2 模型文件,然后下载到windows本地,再在powershell内使用复制命令,将文件复制进入容器内即可。

docker cp e:/Users/Models-WH/Xenova anythingllm:/app/server/storage/models

其中:

e:/Users/Models-WH/Xenova windows系统内的模型文件位置

anythingllm 容器名称


/app/server/storage/models 容器内文件位置

复制成功后,可以查看下


这样文档向量化就不会再报错了。


扫描二维码推送至手机访问。

版权声明:本文由ruisui88发布,如需转载请注明出处。

本文链接:http://www.ruisui88.com/post/2338.html

标签: docker plex
分享给朋友:

“anythingllm+deepseek 本地安装部署” 的相关文章

Win+Ubuntu缝合怪:第三方开发者推出“Wubuntu”Linux发行版

IT之家 2 月 26 日消息,一位第三方开发者推出了一款名为“Wubuntu”的缝合怪 Linux 发行版,系统本身基于 Ubuntu,但界面为微软 Windows 11 风格,甚至存在微软 Windows 徽标。据介绍,这款 Wubuntu 发行版旨在为习惯使用 Windows 11 的用户打造...

Gitlab概览

Gitlab是开源的基于Git的仓库管理系统,也可以管理软件开发的整个生命周期,是项目管理和代码托管平台,支撑着整个DevOps的生命周期。Gitlab很容易选为GitHub,作为公司私有库管理的工具。我们可以用Gitlab Workflow来协同整个团队的软件开发管理过程。软件开发阶段Gitlab...

java调用API操作GitLab

最近需要在一个WEB项目中集成GitLab,用到了GitLab的API操作,在网上找了很久都是说直接调用GitLab的Http接口,而且API官方只有javadoc没有其它说明文档,特别记录下,以备查询。这里采用Token的认证方式,因此需要先登陆GitLab新建一个Token,创建方式如下:创建完...

高效使用 Vim 编辑器的 10 个技巧

在 Reverb,我们使用 MacVim 来标准化开发环境,使配对更容易,并提高效率。当我开始使用 Reverb 时,我以前从未使用过 Vim。我花了几个星期才开始感到舒服,但如果没有这样的提示,可能需要几个月的时间。这里有十个技巧可以帮助你在学习使用 Vim 时提高效率。1. 通过提高按键重复率来...

HTML5+眼球追踪?黑科技颠覆传统手机体验

今天,iH5工具推出一个新的神秘功能——眼动追踪,可以通过摄像头捕捉观众眼球活动!为了给大家具体演示该功能的使用,我做了一个案例,供大家参考。实际效果如下:案例比较简单,就是通过眼动功能获取视觉焦点位置,剔除用户看中的牌。现在,舞台的属性中多了一个“启用眼动”的选项,另外,还多了一个“启用摄像头”的...

雅马哈TMAX 560 TECH MAX 外媒深度测评

应雅马哈(Yamaha)的邀请,在葡萄牙埃斯托里尔对全新的Yamaha TMAX 560 Tech Max踏板车进行了测试,在这里TMAX 560 Tech Max售价为11649英镑。雅马哈TMAX长期以来一直站在踏板车的顶端,就声誉和知名度而言,它是当之无愧的大踏板界NO.1。2020 TMAX...