对于很多刚接触大模型的用户来说,一个简洁易用的客户端是开启 AI 之旅的关键。市面上涌现出大量的客户端,它们功能各异,各有千秋。一些客户端专注于提供简洁的聊天界面,方便用户与大模型进行互动;一些客户端则集成了丰富的功能,例如代码编写、文本创作、图像生成等,满足用户的多样化需求。选择合适的客户端,能够让你快速上手,体验大模型的魅力。
1️⃣ Open WebUI
Open WebUI 是一款功能丰富、用户友好的自托管 AI 平台,旨在完全离线运行。它支持各种 LLM 运行器,如 Ollama 和 OpenAI 兼容的 API,并内置了用于 RAG 的推理引擎,使其成为强大的 AI 部署解决方案。
主要功能 ⭐
易于设置: 使用 Docker 或 Kubernetes(kubectl、kustomize 或 helm)轻松安装。
Ollama/OpenAI API 集成: 支持 OpenAI 兼容的 API,可与 LMStudio、GroqCloud、Mistral、OpenRouter 等连接。
权限管理: 提供详细的用户角色和权限管理,确保安全的用户环境。
响应式设计: 支持桌面、笔记本电脑和移动设备。
PWA: 提供类似原生应用的移动体验和离线访问。
Markdown 和 LaTeX 支持: 支持 Markdown 和 LaTeX,增强交互体验。
语音/视频通话: 集成免提语音和视频通话功能。
模型构建器: 通过 Web UI 轻松创建 Ollama 模型,自定义角色/代理和聊天元素。
Python 函数调用工具: 支持内置代码编辑器,可添加自定义 Python 函数。
本地 RAG 集成: 支持检索增强生成 (RAG),可直接在聊天中加载文档或添加到文档库。
Web 搜索: 支持 SearXNG、Google PSE、Brave Search 等网络搜索,并将结果直接注入聊天。
Web 浏览: 支持在聊天中嵌入网站内容。
图像生成: 集成 AUTOMATIC1111 API、ComfyUI(本地)和 OpenAI 的 DALL-E(外部)等图像生成功能。
多模型对话: 支持同时与多个模型进行对话。
基于角色的访问控制 (RBAC): 确保只有授权用户才能访问 Ollama 和创建/拉取模型。
多语言支持: 支持多种语言。
管道插件支持: 使用管道插件框架集成自定义逻辑和 Python 库。
持续更新: 定期更新、修复和添加新功能。
部署方式 🚀
Open WebUI 提供多种部署方式:
Python pip: 使用
pip install open-webui
安装,然后使用open-webui serve
运行。Docker: 提供多种 Docker 镜像,包括支持 GPU、Ollama 和 OpenAI API 的版本。
其他: 支持 Docker Compose、Kustomize 和 Helm 等部署方式。
2️⃣ Enchanted
Enchanted 是一款开源的 iOS、macOS 和 visionOS 应用,兼容 Ollama,让您能够在苹果设备上与私有化部署的大型语言模型(如 Llama 2、Mistral、Vicuna、Starling 等)进行交互。它就像一个连接到您私有模型的 ChatGPT 应用界面。Enchanted 的目标是在您的所有苹果设备(macOS、iOS、Watch、Vision Pro)上提供无过滤、安全、私密的多模态体验。
功能特色 🚀
跨平台支持: 支持 macOS、iOS 和 visionOS 系统,提供一致的体验。
多模态输入: 支持语音和图片输入,方便快捷。
离线使用: 所有功能均可离线使用,保护您的隐私。
富文本支持: 支持 Markdown 格式,可以很好地显示表格、列表和代码块。
语音朗读: 支持文本转语音,可以直接朗读模型的回复。
自定义提示模板: 可以构建自定义提示模板,并在任何地方使用。
历史记录: 会话历史记录存储在您的设备上,安全可靠。
暗黑模式: 支持暗黑模式,提供舒适的视觉体验。
Spotlight 集成: macOS Spotlight 面板快捷键 Ctrl+⌘+K,快速访问。
部署方式 🛠️
Enchanted 需要 Ollama v0.1.14 或更高版本。
1. 公共访问 Ollama 服务器:
从 App Store 下载 Enchanted 应用。
在应用设置中指定您的服务器端点。
2. 本地运行 Ollama 服务器:
启动 Ollama 服务器并下载要使用的模型。
使用 ngrok 将 Ollama 服务器端口映射到公共 URL:
ngrok http 11434 --host-header="localhost:11434"
复制生成的 Forwarding URL(例如
https://b377-82-132-216-51.ngrok-free.app
)。现在可以通过此临时 URL 访问您的 Ollama 服务器 API。从 App Store 下载 Enchanted 应用。
在应用设置中指定您的服务器端点。
3️⃣ Hollama
Hollama 是一款简洁的 Web UI,用于与本地运行的和 OpenAI 大语言模型服务器进行交互。
主要功能 🚀
Hollama 提供了丰富的功能,让您可以更方便地与本地或远程的大语言模型进行交互:
多模型支持: 兼容 Ollama 和 OpenAI 模型,您可以根据需要选择不同的模型。
多服务器支持: 可以连接到多个 Ollama 或 OpenAI 服务器,方便管理和使用不同的模型。
友好的聊天界面: 提供大型提示字段、Markdown 渲染、语法高亮和代码编辑器等功能,提升您的聊天体验。
推理模型支持: 支持推理模型,例如知识图谱问答等。
自定义系统提示: 允许您自定义系统提示和 Ollama 的高级参数,更好地控制模型的行为。
便捷的复制功能: 可以复制代码片段、消息或整个会话,方便分享和记录。
消息编辑和重试: 支持编辑和重试已发送的消息,避免重复输入。
本地数据存储: 数据存储在您的浏览器本地,保护您的隐私。
响应式布局: 适应不同尺寸的屏幕,提供良好的用户体验。
主题和语言: 支持亮色和暗色主题,并提供多语言界面。
模型下载: 可以直接从 UI 下载 Ollama 模型,方便快捷。
部署方式 🐳
Hollama 提供了多种部署方式,您可以根据自己的需求选择:
在线 Demo: 无需注册即可体验 Hollama 的功能:Live demo
桌面应用: 下载适用于 macOS、Windows 和 Linux 的桌面应用程序:Releases
Docker 自托管: 使用 Docker 镜像进行自托管,方便您在自己的服务器上部署 Hollama:Self-hosting
4️⃣ LoLLMS-WebUI
LoLLMS-WebUI (大型语言多模态系统之王:一个工具统治所有) 是一个用户友好的大型语言模型 (LLM) 和多模态AI系统中心。它旨在提供一个易于使用的界面,让用户可以访问和利用各种 LLM 和其他 AI 模型来完成各种任务,如写作、编码、整理数据、图像分析、图像生成、音乐生成以及寻找问题的答案。
主要功能 🚀
个性化定制:用户可以选择自己喜欢的绑定、模型和角色来完成任务。
功能广泛:增强电子邮件、论文、代码调试、思维组织等能力,并支持搜索、数据组织、图像生成和音乐生成等功能。
友好的用户界面:提供明暗两种模式选项,操作简便。便捷的集成:与 GitHub 存储库集成,方便用户访问。
多样化的角色支持:支持不同的角色,并提供预定义的欢迎信息。
用户反馈:用户可以对生成的答案进行点赞/点踩评分。
消息管理:复制、编辑和删除消息。
本地存储:将讨论内容存储在本地数据库中。
讨论管理:搜索、导出和删除多个讨论。
多模态支持:支持基于 Stable Diffusion 的图像/视频生成,基于 MusicGen 的音乐生成。
网络支持:通过 Lollms Nodes 和 Petals 支持多代点对点网络。
智能路由:根据任务复杂度,将提示路由到不同的模型,并支持基于成本和速度的优化。
部署方式 🐳
自动安装(控制台):提供适用于 Windows、Linux 和 Mac 的安装脚本,一键安装。
手动安装:用户可以手动克隆存储库,创建虚拟环境,安装依赖项,并配置全局路径。
Docker 部署:支持使用 Docker 构建和运行 LoLLMS-WebUI,简化部署流程。
5️⃣ LibreChat
LibreChat 是一款开源的 ChatGPT 增强克隆,拥有强大的功能和高度可定制性,让你轻松构建和部署自己的 AI 聊天助手。它支持多种 AI 模型、代理和工具,提供丰富的功能,如代码解释器、多模态交互、多用户安全访问等,并支持多种部署方式。
✨ 功能特色
多模型支持: LibreChat 支持多种 AI 模型,包括 Anthropic (Claude), AWS Bedrock, OpenAI, Azure OpenAI, Google, Vertex AI, OpenAI Assistants API 等, 以及兼容 OpenAI 的自定义 API 端点和本地/远程 AI 提供商(如 Ollama, groq, Cohere, Mistral AI 等)。这意味着你可以根据自己的需求选择最合适的模型。
代码解释器: 安全的沙盒环境中执行 Python 、Node.js 、Go 等多种编程语言代码,并支持文件上传、下载和处理。
代理和工具集成: LibreChat 支持代理和工具集成,可以创建自定义的 AI 助手,并连接 DALL-E-3 、文件搜索、代码执行等工具。
多模态交互: 支持图像上传和分析,以及文件聊天。
预设和上下文管理: 创建、保存和分享自定义预设,方便切换 AI 端点和上下文。
多语言 UI: 支持多种语言界面,包括英语、中文、德语、西班牙语等。
语音和音频: 支持语音转文本和文本转语音功能,实现免提聊天。
导入和导出对话: 方便导入和导出聊天记录。
搜索和发现: 支持所有消息和对话的搜索。
多用户和安全访问: 支持多用户安全认证,包括 OAuth2 、LDAP 和邮箱登录。
可定制界面: 高度可定制的界面,满足不同用户的需求。
🚀 部署方式
LibreChat 支持多种部署方式,包括:
Docker: 使用 Docker 镜像快速部署。
本地部署: 可以在本地服务器上部署 LibreChat 。
云部署: 支持多种云平台部署,例如 Railway 、Zeabur 和 Sealos 。
此外,LibreChat 提供详细的文档和丰富的资源,方便用户快速上手和定制自己的 AI 聊天助手。
6️⃣ BionicGPT
BionicGPT 是一款本地部署的类ChatGPT应用,让你在享受生成式AI优势的同时,也能保证数据的绝对机密性。无论是在笔记本电脑上运行,还是扩展到数据中心,BionicGPT 都能满足你的需求。
✨ 功能特色
便捷的聊天体验: 类似ChatGPT的直观界面,易于上手;可自定义主题,打造个性化品牌;基于Rust的UI,性能快速且响应迅速;聊天记录方便访问和管理。
AI助手(检索增强生成): 创建AI助手,使用你的专属数据增强AI能力;与团队成员共享助手,促进协作和沟通;完整的企业级RAG流水线,快速启动;支持HTML、PDF、CSV、PNG、PPTX等多种格式文档;无需代码即可配置嵌入引擎和分块算法;可配置系统提示,定制LLM回复方式。
团队协作: 以团队为单位进行管理,实现最佳效果;邀请和管理团队成员,控制Bionic访问权限;创建虚拟团队;在不同团队之间切换,数据相互隔离;基于角色的访问控制(RBAC),通过SSO系统配置用户访问权限。
多层安全防护: 静态应用程序安全测试(SAST),在构建代码前识别风险;行级安全(RLS),防止数据泄露;最高级别的内容安全策略(CSP),阻止各种安全威胁;最小化容器,限制供应链攻击;非root容器,限制攻击期间的横向移动;审计跟踪,记录用户操作;Postgres角色,最小化数据库连接权限;SIEM集成,用于威胁检测和调查;抵抗计时攻击(API密钥)即将推出;SSO单点登录;Secrets管理,使用安全算法创建密钥。
可观测性和报告: 兼容Prometheus的Observability API,用于测量负载和使用情况;使用Grafana创建仪表板,概览整个系统;监控聊天记录,所有问答都记录在Postgres数据库中。
Token使用限制和控制: 公平共享资源,防止模型过载;反向代理,设置限制并确保用户公平使用;基于角色的Token使用限制。
将AI助手转换为API: 任何助手都可以轻松转换为Open AI兼容的API;API密钥管理;API密钥的限流。
数据治理: 批量数据流水线的批量防护;实时防护,对LLM的流式结果应用规则;防止提示注入攻击等。
本地或远程大型语言模型: 完全支持本地或数据中心运行的开源模型;支持多种模型;轻松切换不同聊天模型;同时与多个模型进行对话。
数据集成: 通过Airbyte集成,可从Sharepoint、NFS、FTP、Kafka等多种来源批量上传数据;批量上传,可设置上传频率;实时数据捕获;手动上传数据;数据集存储,确保数据安全;OCR处理文档。
🚀 部署方式
本地部署: 使用Docker Compose快速在本地运行,适合本地运行AI和小规模试点。
云端或本地Kubernetes: BionicGPT 针对 Kubernetes 进行了优化,可轻松部署在 Kubernetes 集群中,为数千用户提供生成式 AI 服务。
7️⃣ Ollama-UI
Ollama-UI 是一款专为 Ollama 打造的简洁 HTML 图形用户界面。Ollama 是一个用于构建大型语言模型的工具,而 Ollama-UI 简化了与 Ollama 的交互,使其更易于使用。
✨ 功能特色
用户友好的界面: Ollama-UI 提供了一个直观的界面,方便用户与 Ollama 进行交互,即使不熟悉命令行操作的用户也能轻松上手。
便捷的模型管理: 通过 Ollama-UI,用户可以轻松管理和切换不同的 Ollama 模型。
简化的模型运行: Ollama-UI 简化了 Ollama 模型的运行过程,用户无需编写复杂的命令即可启动和停止模型。
实时交互: Ollama-UI 支持与 Ollama 模型进行实时交互,用户可以输入文本并获得模型的即时反馈。
可作为 Chrome 扩展程序使用: Ollama-UI 现在可以作为 Chrome 扩展程序使用,更加方便快捷。https://chrome.google.com/webstore/detail/ollama-ui/cmgdpmlhgjhoadnonobjeekmfcehffco
🚀 部署方式
Ollama-UI 支持本地部署,用户可以克隆仓库并通过简单的命令启动服务:
git clone https://github.com/ollama-ui/ollama-ui
cd ollama-ui
make
open http://localhost:8000 # 在浏览器中打开
8️⃣ Chatbot UI
Chatbot UI 是一款开源的 AI 聊天应用程序,目标是让每个人都能轻松拥有自己的 AI 聊天机器人。它提供了一个用户友好的界面,可以连接到各种 AI 模型,进行便捷的对话交互。
✨ 功能特色
多模型支持: Chatbot UI 支持多种 AI 模型,包括 OpenAI、Azure OpenAI 以及本地 Ollama 模型等,方便用户根据自己的需求选择合适的模型。
数据存储: 采用 Supabase 数据库进行数据存储,保障数据安全,支持多模态用例,并解决了以往本地存储方案的安全和容量限制问题。
易于部署: 提供本地快速启动和云端部署两种方式,用户可以选择在本地运行或将其部署到 Vercel 等云平台。
开源且可定制: Chatbot UI 是完全开源的,用户可以根据自己的需求进行修改和定制。
国际化支持: 支持多种语言,方便不同地区的用户使用。
🚀 部署方式
本地部署: 通过克隆仓库、安装依赖、配置 Supabase 数据库等步骤,即可在本地快速启动 Chatbot UI。
云端部署: 支持 Vercel 等云平台,用户可以轻松地将 Chatbot UI 部署到云端,无需担心服务器和数据库的管理。
9️⃣ Ollamac
Ollamac 是一款适用于 macOS 的 Ollama 图形用户界面 (GUI) 应用程序,让您可以轻松地在 Mac 上运行大型语言模型 (LLM)。Ollamac 旨在提供一个用户友好的界面,简化与 Ollama 的交互,即使是非技术用户也能轻松上手。它集成了 Ollama 的所有功能,并提供直观的界面进行模型管理、参数调整和对话生成。🚀
✨ 功能特色
兼容所有 Ollama 模型: 无论您喜欢哪个模型,Ollamac 都能支持。
可自定义主机: 您可以根据需要配置 Ollama 的主机地址。
语法高亮: 代码显示更清晰,方便阅读和理解。
简洁易用: 界面简洁直观,操作便捷。
免费开源: Ollamac 是一个完全免费且开源的项目。
原生应用: 专为 macOS 设计,提供流畅的原生体验。
🚀 部署方式
您可以通过以下方式安装 Ollamac:
Homebrew: 使用简单的
brew install --cask ollamac
命令即可安装。🍺GitHub 发布: 从 Ollamac 的 GitHub 发布页面下载最新的版本并手动安装。💻
🔟 BIG-AGI
BIG-AGI 是一款功能强大、界面简洁、速度流畅的 AI 套件,专为追求效率的专业人士设计。它集成了来自 15 家供应商和开源服务器的最新模型,提供一流的聊天、Beams 和语音通话功能,并支持 AI 角色扮演、可视化、编码、绘图、并排聊天等多种高级功能,所有这些都包裹在一个精致的用户界面中。无论你是专业人士还是开发者,BIG-AGI 都能满足你的 AI 需求。
✨ 功能特色
多样化的AI能力:BIG-AGI 提供聊天、语音通话、Beam、绘图等多种 AI 功能,满足各种场景下的需求。
丰富的模型支持:集成 100 多个来自不同供应商的 AI 模型,包括开源和闭源、本地和云端模型,涵盖语言、图像、语音等多个领域,例如 Google Gemini、Mistral、OpenAI 等。
流畅的用户体验:提供流畅的用户界面和交互体验,支持附件、图表、多聊天模式、移动优先界面等功能,让你的 AI 交互更加便捷和高效。
优先考虑隐私:数据本地存储,支持简易的自托管部署,以及本地操作,确保你的数据安全和隐私。
高级工具:提供 AI 角色扮演、语音模式、屏幕截图、摄像头 + OCR 等高级工具,让你的 AI 体验更上一层楼。
🚀 部署方式
BIG-AGI 支持多种部署方式,包括本地部署、Vercel 部署、Cloudflare 部署以及 Docker 部署,可以根据你的实际情况选择合适的部署方式。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...