源码角度解读RAKG文档级图谱构建框架RAKG及Demo级多模态RAG-NoOCR
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
今天是2025年4月23日，星期三，北京，晴。
本文来看两个问题：
一个是RAG用于文档级别图谱构建框架RAKG拆解，从架构和代码拆解两个方面来看，看具体实现。
另一个是多模态RAG小Demo之NoOCR实现拆解，看看响亮口号之下是如何简陋的实现，这样能够加深印象，从代码出发理解会更加具象化。
抓住根本问题，做根因，专题化，体系化，会有更多深度思考。大家一起加油。
先来看一个具体的例子，文档中不同颜色代表涉及的不同实体。文档被分割并生成了预实体，例如蝴蝶、毛毛虫和蝴蝶卵。
以蝴蝶为例，从文本语料库中检索相关文本，并从现有的知识图谱中检索相关节点，在整合信息后，大型语言模型（LLM）提取出以蝴蝶为中心的知识图谱。最后，这些知识图谱被整合在一起。
那么，具体是如何做的？可以看如下的流程图。
对应的代码在：https ://github.com/LMMApplication/RAKG/blob/main/src/construct/RAKG.py
拆解出来的思路如下：
1、通过对文档进行句子分割和向量化处理
3、对识别的实体进行消歧，形成最终的相似实体集。
这里也是使用prompt完成，在https ://github.com/LMMApplication/RAKG/blob/main/src/prompt.py
4、进行实体向量化，使用BGE-M3模型对每个分块进行向量化处理。
5、检索实体相关网络、上下文。处理后的实体会经过语料库回顾检索（CorpusRetrospectiveRetrieval）以获取相关文本，以及图结构检索（GraphStructureRetrieval）以获取相关文本和关系网络，然后送入LLM生成中心实体的属性和关系，这里对应的prompt如下：
核心就是走了2道，陆续合并实体和实体关系。
具体实现很粗暴：
在实现选型上，基于向量的PDF页面和相关图像搜索。
1、建库阶段
其中，将pdf处理后得到每一页的内容跟图片形式，使用的是pypdf和pdf2image。
其实，text文本内容都没有用到。
2、检索阶段
整体代码在：https ://github.com/kyryl-opens-ml/no-ocr/blob/main/no-ocr-api/np_ocr/search.py
其中，检索相关的图片逻辑如下：
其中，使用的prompt为：
所以，总体来看，项目很简陋。
1、https ://arxiv.org/pdf/2504.09823
2、https ://github.com/kyryl-opens-ml/no-ocr
老刘，NLP开源爱好者与践行者，主页：https ://liuhuanyong.github.io。
对大模型&知识图谱&RAG&文档理解感兴趣，并对每日早报、老刘说NLP历史线上分享、心得交流等感兴趣的，欢迎加入社区，社区持续纳新。
加入社区方式：关注公众号，在后台菜单栏中点击会员社区加入。
