仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
点击“蓝字”关注我们
检索增强生成（RAG）技术异军突起，席卷了整个大语言模型领域。通过将大语言模型（LLMs）的强大能力与外部知识检索相结合，RAG使得模型能够生成准确且有依据的回复，即便在专业领域也不例外。在每一个表现卓越的RAG流程背后，都有一个默默发挥关键作用的“英雄”：分块技术，尤其是语义分块。
RAG代表了人工智能系统获取和利用知识方式的重大变革。传统的大语言模型仅依赖于其预先训练的知识，这可能存在局限性或时效性问题。RAG通过在生成过程中从外部资源（如数据库、文档或互联网）检索相关信息，很好地解决了这一局限性。这些外部知识就像补充弹药，极大地扩展了模型的知识边界，使其能够应对各种复杂问题。
在RAG流程中，分块是至关重要的一环。分块指的是在对文档进行嵌入和索引之前，将其分割成较小单元的过程。这些分块在查询时被检索出来，并输入到大语言模型中用于生成回复。然而，分块并非简单的切割操作，其方式直接影响着RAG系统的性能。如果分块过大，它们可能无法适配模型的上下文窗口，导致信息丢失；而如果分块过小或分割不当，语义信息会被破坏，使模型难以理解和处理，进而影响最终回复的质量。
以一段医学文章为例，假设内容如下：“蝙蝠侠主要在哥谭市活动，这是一个犯罪猖獗、腐败横行的大都市。他的宿敌小丑在混乱和不可预测中如鱼得水。尽管布鲁斯·韦恩资助了哥谭市的许多社会项目，但他仍在为自己作为亿万富翁和义警的双重身份而苦苦挣扎。”如果使用简单的分块方法，可能会将其分割为：
分块1：“蝙蝠侠主要在哥谭市活动，这是一个犯罪猖獗的”
分块2：“大都市，腐败横行。他的宿敌小丑，”
分块3：“在混乱和不可预测中如鱼得水。尽管布鲁斯·韦恩”
分块4：“资助了哥谭市的许多社会项目，但他仍在为……”
此时，若用户提问：“是什么让蝙蝠侠的生活如此矛盾？”检索器可能会随机获取到句子中间的某个分块，或者遗漏关于他双重身份的关键信息，进而导致给出的答案笼统或错误。这清晰地展现了不恰当分块带来的问题，突出了语义分块的重要性和必要性。
语义分块旨在以一种保留每个单元有意义、自包含上下文的方式分割文档。它尊重自然的边界，比如段落、句子或主题，确保每个分块都能独立回答相关的查询。实现语义分块通常涉及以下几个关键步骤：
准确识别句子的起止位置，这是保留语义完整性的基础。因为句子是表达完整思想的基本语言单位，正确划分句子边界有助于将相关信息归为一组。
主题建模可以分析文档内容，将具有相似主题的部分划分为一个分块。基于嵌入的分割则利用词或句子的嵌入向量，通过计算向量之间的相似度来确定分割点，在语义发生变化的地方进行分割，使每个分块内的语义更加连贯。
为了避免在分割过程中丢失上下文信息，通常会采用重叠窗口的方法。即相邻分块之间有一定比例的重叠内容，这样可以确保在检索和处理分块时，前后信息能够相互关联，增强模型对上下文的理解。
常见的分块策略有多种，从简单到语义化程度高依次介绍如下：
这种技术利用句子嵌入来在语义发生变化的地方分割文本。示例代码如下：
基于嵌入的语义分块能够真正实现语义层面的分割，对于包含丰富主题的文档效果显著。但它的计算复杂度较高，处理速度相对较慢，实现过程也更为复杂。
分块策略的优劣直接影响RAG系统下游的各个环节，因此评估分块质量至关重要。可以从以下几个方面进行评估：
通过计算分块与理想分块（真实情况）的重叠比例，衡量分块的准确性。重叠度越高，说明分块结果越接近理想状态，能够更好地保留相关信息。
评估分块内文本的嵌入向量之间的相似度。如果分块内的文本相似度高，意味着分块内的语义连贯性好，模型更容易理解和处理。
通过实际输入查询，观察模型基于分块生成的回答的准确率。这是最直接评估分块策略对RAG系统整体性能影响的指标。
LangChain库提供的评估器可以方便地对RAG系统进行评估，包括对分块效果的评估。
这是一个专门用于评估RAG系统的工具包，能够从多个维度对分块质量进行分析。
通过创建自定义的问答对，并标注问题与答案之间的相关性，可以针对性地评估分块策略在特定任务上的表现。
为了实现有效的语义分块，需要遵循以下最佳实践：
这种方式能够更好地保留语义信息，提高模型对上下文的理解能力。
通常，50-100个标记的重叠是比较合适的。分块重叠可以确保相邻分块之间的信息连贯性，避免因分割导致的上下文丢失。
不同类型的文档（如法律文档和推文）对分块大小的要求不同。法律文档通常内容复杂、信息量大，可能需要较大的分块；而推文内容简短，分块大小应相应减小。
元数据可以提供文档的结构信息，帮助在分块时更好地考虑文档的层次结构，使分块结果更符合逻辑。
随着数据的变化和应用场景的调整，分块策略可能需要不断优化。通过持续评估分块质量，对检索器进行迭代和重新训练，可以确保RAG系统始终保持良好的性能。
语义分块对于实际的RAG系统来说至关重要，甚至可以决定系统的成败。以一个企业应用案例（法律合同问答机器人）为例，从简单分块切换到递归+语义分块后，取得了显著的效果：
语义分块使得机器人能够更准确地理解问题的上下文，从合同文档中检索到更相关的信息，从而生成更准确的答案。
在生成式模型中，幻觉是一个常见问题，即模型生成看似合理但实际上错误的信息。语义分块通过提供更准确的上下文，有效减少了这种现象的发生。
语义分块优化了分块的内容和结构，使检索器能够更精准地匹配用户的查询，大大提高了命中率。
语义分块是RAG技术中不可或缺的关键环节。它通过优化文档的分割方式，提升了上下文检索的效果，进而显著提高了RAG系统的性能。随着人工智能技术的不断发展，语义分块技术也将不断演进和完善，为更多领域的应用提供有力支持。无论是开发内部知识机器人，还是构建特定领域的智能助手，深入理解和应用语义分块技术都将带来巨大的优势，推动人工智能应用向更加智能、高效的方向发展。
