阿里云通义点金发布DianJin-R1金融领域推理大模型，32B模型荣膺榜首
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
本文由阿里云通义点金团队和苏州大学联合完成。
近日，阿里云通义点金团队与苏州大学携手合作，在金融大语言模型领域推出了突破性的创新成果：DianJin-R1。这款推理增强型金融大模型，融合了先进的技术和全面的数据支持，专为金融任务而设计。
论文地址：https ://arxiv.org/abs/2504.15716
GitHub：https ://github.com/aliyun/qwen-dianjin
HuggingFace：https ://huggingface.co/DianJin
ModelScope：https ://modelscope.cn/organization/tongyi_dianjin
点金官网：https ://tongyi.aliyun.com/dianjin
全面开源的Reasoning数据集：DianJin-R1的独特亮点之一是其全面开源的Reasoning数据集——DianJin-R1-Data。该数据集基于通义点金团队去年在ACL-2024上发表的CFLUEBenchmark上进行的全面升级，整合了FinQA和中国合规检查（CCC）数据集，为金融推理任务提供了强大的基础。目前已经开源，旨在支持和推动金融领域的研究和应用。
全面开源的FinancialReasoning模型：DianJin-R1-7B和DianJin-R1-32B模型已向公众全面开放。这些模型通过监督微调（SFT）和强化学习（RL）两阶段精细优化，在复杂金融任务中表现卓越。开源的强大模型为行业提供了更广泛的应用可能性，推动了金融AI的创新发展。
基于通义点金平台的Multi-AgentSystem数据合成：更值得关注的是，我们通过通义点金平台实现了基于Multi-AgentSystem的数据合成。通过点金平台，我们构建了数据飞轮和模型优化机制，使得单次调用效果媲美高计算成本的多智能体系统。这不仅展现了DianJin-R1的出色性能，也展示了我们在模型优化和智能系统集成上的创新能力。
DianJin-R1-7B以其轻量化参数和高效表现，成功媲美行业标杆模型QwQ，展现出不凡的竞争力。而DianJin-R1-32B更是超越了所有参评模型，包括DeepSeek-R1，荣膺性能测试的第一名，彰显了我们团队在人工智能和金融科技领域的卓越创新能力。
我们的评测基准不同于传统标准，DianJin-R1不仅严谨测试了金融领域的三大核心任务，还特别引入了两个通用领域的数据集进行综合评估。这一全新方法不仅证明了DianJin-R1在专业金融领域的显著提升，也展示了其在通用任务中的表现。
DianJin-R1的发布，不仅推动了金融科技的智能化进程，也进一步巩固了我们在金融大模型领域的领先地位，让我们期待DianJin-R1能在更多领域释放其强劲潜能。
近年来，大型语言模型（LLMs）的进步引发了增强其推理能力的浓厚兴趣。像OpenAIo1、DeepSeekR1和QwQ等模型已经显示出，通过显式建模推理过程，可以显著提高在复杂任务上的表现。
尽管取得了这些改进，最近在金融基准上的评估揭示出，由于需要领域特定的知识、精准的数值推理以及严格遵循监管要求，金融领域的推理仍然特别具有挑战性。有效应对这些挑战需要专门的推理策略，能够处理结构化的金融信息和开放性问题解决。
为此，我们推出了DianJin-R1，这是一种融合推理增强监督和强化学习来提高金融推理任务表现的LLM。
首先通过三个主要来源构建了高质量的推理数据集DianJin-R1-Data：CFLUE、FinQA以及我们的专有合规数据集，用于中国合规检查（CCC）任务。
CFLUE：包含了38,638道来自15种金融资格模拟考试的多项选择题，涵盖不同科目和难度。通过三步过滤流程，我们筛选了高质量问题：首先，移除少于15个词的简单题；其次，剔除能被所有较小语言模型正确回答的题目，以确保需要更深的推理能力；最后，利用GPT-4o去除含糊不清的问题，确保每个题目清晰明确。最终得到的题目集不仅有明确的正确答案，还附有详细解释，有助于评估模型的金融推理能力。
FinQA：FinQA是一个开源的英文基准数据集，包含8,281个金融问答对，这些问答对需要对财务报告进行数值推理。在我们的研究中，我们采用了与CFLUE数据集相同的长度和难度过滤条件，以确保质量和复杂性。因此，我们精心整理出了一个高质量的问答对子集，非常适合在英语语境中评估金融推理能力。
CCC（基于Multi-AgentSystem数据合成）：聚焦于需要多步骤逻辑的复杂合规场景。为确保推理质量，我们利用通义点金平台Multi-AgentSystem进行了Reasoning数据合成，并采用了GPT-4o的验证过程，检查生成的答案、推理步骤和参考解释之间的对齐。这一过程产生了一套可靠的推理增强和非推理样本，支持更稳健的模型训练。
基于Multi-Agent系统的数据合成样例
对于监督微调（SFT），我们基于Qwen2.5-7B-Instruct和Qwen2.5-32B-Instruct训练了DianJin-R1-7B和DianJin-R1-32B，生成的推理过程和最终答案采用结构化输出格式。为了进一步提高推理质量，我们应用了群体相对政策优化（GRPO），这是一种强化学习算法，引入了两个奖励信号：一种格式奖励以鼓励结构化输出，还有一种准确性奖励以促进答案的正确性。这些机制引导模型生成连贯、可验证的推理路径和可靠的答案。
我们对DianJin-R1模型以及其他通用领域的推理和非推理模型进行了评估，评估范围包括CFLUE、FinQA、CCC、MATH-500和GPQA-Diamond等多样化的基准。结果表明，增强推理的模型在金融领域始终优于其对应的非推理模型。特别是，单独在CFLUE上进行训练在所有任务中都取得了显著提升，结合所有数据集进一步增强了性能。我们的分析还强调了强化学习的益处，尤其当奖励信号与任务领域对齐时。
最后，我们在CCC数据集上展示了这一方法的实际应用，采用LLMs构建的Multi-Agent系统进行基于条件的合规检查。通过为工作流中的每个决策节点分配专门的代理，该系统有效地整合了中间推理步骤，最终做出合规判断。
综上所述，DianJin-R1通过结合高质量监督、结构化推理生成和基于奖励的强化学习改进，提供了一种可扩展且有效的策略来增强LLMs中的金融推理能力。
©THEEND
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
