DeepWiki、Chatwiki及DeepSeek-R1T-Chimera进展


DeepWiki、Chatwiki及DeepSeek-R1T-Chimera进展

仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接

今天是2025年4月28日,星期日,北京,晴。
我们来看看Deepresearch与RAG相关进展,重点看看起实现思路。
另一个,看看DeepSeek-R1的一个有趣的实验模型,思路还不错。
抓住根本问题,做根因,专题化,体系化,会有更多深度思考。大家一起加油
1、Deepresearch与github进展
CognitionLabs推出DeepWiki项目,可为GitHub仓库提供AI驱动的实时交互式文档,通过层级化分解和提交历史分析来理解代码全局结构,已索引3万个仓库,处理超40亿行代码。实现流程图下:
进一步的,DeepWiki首先将复杂代码库分解为层级化的高阶系统结构(如前端、后端、数据库层),通过分析代码组织结构、模块依赖关系等,构建清层级架构。每个子系统生成独立的Wiki页面,形成类似于项目知识图谱的质量。

2、RAG框架进展Chatwiki
Chatwiki,基于企业私有知识库的智能客服机器人问答系统,为企业打造专属AI客服,解决客户咨询难题,支持20多种主流大模型,灵活适配企业需求,地址在:https ://github.com/zhimaAi/chatwiki
可以看看其特点:
1、支持从上传的PDF、Word等知识库文档中自动提取内嵌图片,问答过程中当关联到含图片的文档内容时,同步返回文本与图片信息,实现图文关联回复;
2、基于语义分析自动生成猜你想问推荐列表,也支持手动维护高频常见问题,结合用户历史交互动态优化推荐逻辑。
3、提供企业级多级权限控制,支持角色分配(管理员/编辑员/只读成员)。
4、提供自动分段、QA分段、手动输入和CSV等多种方式导入数据,自动对导入的文本数据进行预处理、向量化或QA分割。支持word文档、Excel文档、PPT、PDF、OFD、markdown文档等多种格式文档自动解析、智能分段。
最近有个模型很有意思,DeepSeek-R1T-Chimera,基于DeepSeek-R1构建,并使用DeepSeek-V3-0324数据进行微调,通过融合DeepSeekR1和V3-0324的优势,实现推理能力与效率的平衡。https ://upload.chinaz.com/2025/0428/6388143308830674716580098
地址在:https ://huggingface.co/tngtech/DeepSeek-R1T-Chimera
在实现效果上,相比R1,Chimera的运行速度更快,输出标记数量减少40%。
在具体实现上,采用混合式架构,模型直接从V3和R1两种父模型的中提取、融合关键部分。
然后,
共享专家(SharedExperts)直接复用V3-0324的共享专家参数;
路由专家(RoutedExperts)融合R1和V3-0324的路由专家,部分参数可能采用加权平均(如(R1+V3)/2)。
在Embedding层、Attention模块等复用V3-0324的权重。
老刘,NLP开源爱好者与践行者,主页:https ://liuhuanyong.github.io。
对大模型&知识图谱&RAG&文档理解感兴趣,并对每日早报、老刘说NLP历史线上分享、心得交流等感兴趣的,欢迎加入社区,社区持续纳新。
加入社区方式:关注公众号,在后台菜单栏中点击会员社区加入。


文章作者: ZejunCao
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ZejunCao !
  目录