仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接
MetaGPT[1]是一个智能体开发框架,其功能完备,易于介入开发,而且是国内的团队开发的,直接可以对标微软的autogen等一众智能体框架。
MetaGPT集成了llama_index,进而实现了RAG,结合MetaGPT可以方便快速的接入自定义LLM,使得使用体验是很好的,比在llama_index中自定义LLM及使用RAG要更方便。
以官方的示例项目为例,跑一个rag_pipeline的程序。
我个人是建议源码安装:pipinstall-e.[rag];可以方便快捷的改动源码调试;参考:RAG模块[2]。
如此,就将向量模型部署起来了。
一直没有在官方和网上找到如何配置本地的LLM&RAG,基本都是默认的openai类型。自己研究了下,按如下配置即可:
接下来,运行官方的RAG示例项目:rag_pipeline.py,且注释掉es的代码:
最终的运行日志如下:
其实整个流程没什么难点,主要是在配置项的确是没有参考的,也不知道是真没有基于本地LLM&RAG来配置的,还是采用的离线调用;我反正是比较能喜欢远程API的方式。
MetaGPT的RAG模块功能,是基于llama_index来实现的,其实就是直接集成进来的。因此对于RAG有需要优化的地方,是可以直接改源码的,这也是我推荐基于源码安装的原因。不过跟了一下llama_index的源码,我觉得还是写得蛮好的,尤其是现在基于event编排RAG流程。
Reference
MetaGPT:https ://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
Ollama-Linux:https ://www.modelscope.cn/models/modelscope/ollama-linux