今天我们学习如何搭建一个大模型知识库来提升工作的效率。
Ollama与AnythingLLM是两个开源工具,它们可以帮助你轻松实现这一目标。
第一步:安装Ollama
Ollama支持多平台,windows、Linux、macOS。
本文用macOS来进行操作。ollama官方地址:https://ollama.com
安装好后,打开终端,输入:
ollama -h
出现以下信息即安装成功:
查看已下载好的LLM:
ollama list
下载qwen2大模型,对支持中文比较友好:
ollama pull qwen2
第二步:安装anythingLLM
官方地址:https://anythingllm.com/
同样支持windows、Linux、macOS。
安装好后,选择ollama,继续选择在ollama已经下载好的模型:
其他配置如端口、token等可以使用默认直接下一步,接着创建一个工作区,即可启动:
启动后,在右侧点击你命名的工作区名称即可开启对话,但是在此之前先上传你的个人知识库文件:
点击Click to upload or drag and drop,选择你要上传的知识文件,然后将它move到工作区,最后点击保存及嵌入:
接着等待它更新工作区之后即可。
第三步:开启你的问答
我这里还没有下载好qwen2,使用的是mistral,因此用英文进行问答。尝试问知识库一本书里的知识问题:
可以显示在多个文档中,引用了对应的内容进行输出。总体的速度还是不错。
同时你也可以对这个工作区进行LLM代理、模型选择的变更:
聊天内容的设置:
对知识库的向量进行设置:
感兴趣的可以查看anythingLLM官方文档:
https://docs.anythingllm.com/
可以安装浏览器插件联动anythingLLM:
也有anythingLLM的api接口:
可以根据你的需求进行相关的开发。
可以用来做什么?比方说一个国家所有的法律文书、热门流行的社媒平台流量政策等等...由你想象。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...