局域网本地部署大模型ChatBot,支持新用户注册,多模型同时会话


局域网本地部署大模型ChatBot,支持新用户注册,多模型同时会话

仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接

大家好,我是Ai学习的老章
推荐一个我最近高频使用的大模型chatbot——OpenWebUI
之前介绍过的CherryStudio也很好
给所有大模型加上联网功能,套到极致,就是艺术
但是CherryStudio没有多模型同时回话
也没有用户身份验证、角色管理和团队协作功能
我最近高频使用的OpenWebUI,它不但解决以上问题,还有很多管理员级功能,我把它部署到了局域网,让公司同事一起使用
OpenWebUI是一个强大的开源平台,集成了聊天、RAG、多模态交互、工具调用和模型管理等功能,适合个人开发者、研究人员和企业用户。它通过灵活的部署选项、丰富的定制功能和社区支持,为用户提供了一个高效、隐私友好且可扩展的LLM交互环境。
我喜欢的功能:
用户友好的交互界面:类ChatGPT聊天界面
模型支持:兼容多种LLMs,包括本地模型(如Ollama、llama. cpp)和远程API(如OpenAI、Grok、Mistral等)。
多模态支持:支持图像上传、语音输入/输出(语音到文本、文本到语音),以及多模态模型(如GPT-4o、LLaVA)。
RAG(检索增强生成):通过Web搜索或本地文档增强模型回答,提供更准确、上下文相关的响应。支持上传和处理多种文件格式(如PDF、DOCX、TXT),用于RAG和上下文分析。
工具调用:模型可以调用外部工具(如计算器、API)以执行复杂任务。
Web搜索集成:通过搜索引擎(如Google、Bing)获取实时信息,提升回答的准确性。
工作流(Pipelines):通过Pipelines功能创建复杂的工作流程,结合模型、工具和数据源。
Prompt管理和模板:用户可以保存、共享和重用自定义Prompt,支持动态变量和预设模板。
多用户支持:支持用户身份验证、角色管理和团队协作,适合企业或多人使用场景。
模型管理:通过WebUI下载、管理和切换本地或远程模型,支持模型微调和量化。
聊天历史和上下文:保存聊天记录,支持搜索历史对话,并允许基于上下文的对话延续。
安装openwebui是我见过所有chatbot中最简单的了
如果想要使用其他部署方式,比如Docker,可以去官方文档看看https ://docs. openwebui.com/getting-started/quick-start/
浏览器打开http ://locahost:8080就行了
大家本地防火墙策略不一样,可能部署后其他用户直接访问http ://ip:8080就行了
如果不行,还需要部署OpenWebUI的电脑放开8080端口
具体方法:
Windows上放行8080端口
打开高级防火墙设置:
在Windows搜索框中搜索“高级安全的WindowsDefender防火墙”(WindowsDefenderFirewallwithAdvancedSecurity)并打开它。
创建入站规则:
在左侧面板中,点击“入站规则”(InboundRules)。
在右侧面板中,点击“新建规则…”(NewRule…)。
设置规则向导:
给这个规则起一个容易识别的名字,例如AllowPort8080forDev。
点击“完成”。
这里很重要。为了安全,通常只在你信任的网络中开放。你的家庭或公司网络一般是“专用”(Private)网络。
建议只勾选“专用”。如果你不确定当前网络类型,可以暂时三个都勾选(域、专用、公用),连通后再回来修改。
点击“下一步”。
选择“TCP”。
选择“特定本地端口”(Specificlocalports)。
在输入框中填写8080,然后点击“下一步”。
规则类型(RuleType):选择“端口”(Port),然后点击“下一步”。
协议和端口(ProtocolandPorts):
操作(Action):选择“允许连接”(Allowtheconnection),然后点击“下一步”。
配置文件(Profile):
名称(Name):
右上角设置-管理员面板
设置-外部连接
我是用的siliconflow,注册就是有免费2000万Tokens:https ://cloud. siliconflow.cn/i/YefhGWlT
api获取地址:https ://cloud. siliconflow.cn/account/ak
正常新增OpenAIAPI就行了
然后点击模型,所有可用模型就全部过来了
不需要的可以手动关掉
如上图,管理员面板还有大量功能,自行探索吧
我目前使用最多的功能是多模型对比
也就是一个问题让N个大模型同时回答
右上角设置-管理员面板-用户-加号
可以一个一个➕,也可以导入csv
省点事儿,也可以在设置中运行新用户注册
制作不易,如果这篇文章觉得对你有用,可否点个关注。给我个三连击:点赞、转发和在看。若可以再给我加个🌟,谢谢你看我的文章,我们下篇再见!
搭建完美的写作环境:工具篇(12章)图解机器学习-中文版(72张PNG)ChatGPT、大模型系列研究报告(50个PDF)108页PDF小册子:搭建机器学习开发环境及Python基础116页PDF小册子:机器学习中的概率论、统计学、线性代数史上最全!371张速查表,涵盖AI、ChatGPT、Python、R、深度学习、机器学习等


文章作者: ZejunCao
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ZejunCao !
  目录