DeepseekR1+ollama+dify1.0.0搭建企业/个人知识库(入门避坑版)
找了网上的视频和相关文档看了之后,可能由于版本不对或文档格式不对,很容易走弯路,看完这一章,可以让你少踩三天的坑。
步骤和注意事项我一一列出来:
1,前提条件是在你的电脑上已配置好ollama,dify1.0已安装好能正常运行。
2,下载DeepseekR1的模型,如果没有显卡,可以用1.5b的版本(
ollama run deepseek-r1:1.5b
),电脑内存最少在16GB,太少了建议先去加内存。
我的RTX4060的8GB的,基本上跑8b的没有问题,14b的大部分情况会在对话时挂掉,但明显14b的结果要优于8b的。
8b的模型下载
ollama run deepseek-r1:8b
3,再下载 Embedding 模型,建议使用 nomic-embed-text:latest,用来分词。
ollama pull nomic-embed-text
用命令行查看一下
4,进入dify,在界面右上角你的用户头像上点击,进入设置菜单。
找到模型供应商,我的ollama已安装了,可以在安装模型供应商列表中找到他,鼠标放上去之后就有安装按钮,安装完后,就会如下界面。
5,添加第3步下载的模型,最终效果如下:
添加模型时要避几个坑:
坑一:模型名称必须是用ollama list中查出来的名称,必须要一致。
坑二:ollama的基础URL,最好不要用http://localhost:11434或http://127.0.0.1:11434,我之前有写个如何用本地IP去配置ollama,如果这一步配置不对,则无法保存。下面放上我的两个模型的配置图。
6,完成最后一步系统模型设置:
7,现在可以开始使用了,我举三个例子:
案例A:直接用聊天助手来体验本地DeepseekR1(体验整个配置的流程)。
A1,切换到工作室,点创建空白应用。
A2,选择聊天助手,应用名称最好不要太长,我是做HR软件的,就特意输入了HR,再点创建。
A3,如果提示模型出错,则也可以在这里配置:
A4,在底部管理中可以配置下一步问题建议和标注回复(这个有点不太稳定)
A5,点发布与更新,把你的配置保存下来。
A6,再点上图中的运行即可体验。
我的问题是:提供一份vuejs,springboot,mybatis,redis,mysql的框架源码,能单点登录,有用户管理,菜单管理,组织管理功能。
在线上的DeepSeek中回答的更准确,基本上按他提供的代码就能跑起来,在我本地的8b版本中,提供的代码和步骤是有缺失的。
案例B:问学生成绩的功能。(体验知识库的搭建步骤)
B1,准备一份word文档,命名为学生成绩单.docx,可以参考一下以下内容:
B2,从首页中点知识库,创建知识库。
B3,添加学习成绩单的word文件:
B4,进入文本分段与清洗,如果Embedding 模型没有提示出错,先什么都不用改,直接保存并处理。
B5,文档状态是可用,就表示能问他里面的问题了。
B6,还有最后一步,再切换到工作室,你可以再建一个聊天助手或者是在上面建的聊天助手中关联文档。
B7,测试效果如下:
案例C:如何把企业内部的文档加入到知识库中。
AB两个案例应该是最基本的,不过我看了很多资料和走了很多弯路才摸清,主要是版本不一样,还有就是他们的步骤不清楚。导致我花了较长时间才顺利走通。
坑三:最好是按我的步骤走,先不要碰其它的设置,否则可能B出不来结果。
坑四:我一开始也是把公司的HR产品安装说明书放到知识库中,结果在B4的步骤中就提示文件过大,不能超过15M。(当然这是可以去调参数,建议我们先用15M以下的测试)
坑五:我把文档改成15M以下了,结果里面有图片,问的问题基本上没有回答出来,我想着去换ollama的高版本,然后并没有用。
最后放个大招,历史的文档中,图片还需要再找解决方案,后续我再写。解决回答不精确的,如何轻松解决:
解决方案一:分段设置不要用默认的通用,要用父子分段。
解决方案二:分段标识符默认是\n\n,表示是连续两个换行,所以目前最简的办法就是把文档快速分区做两个换行。
有其它的解决办法,对入门或者要快速解决,这是最快的办法。
解决方案三:检索设置改成混合检索。
解决方案四:在聊天助手与文档关联时,编排中的生成功能先不要用,我是看了一个视频说点击后会自动生成,其实是最大的误区,只要我们在解决方案二中把文档做好分段,基本上就能查出来。
最大的坑:网上那些说要改某个配置,但是没有案例的,都可能会把你带到坑里。
最后我上一张我们内部的知识库问答结果: