今日开源(2025-06-13):Nano vLLM轻量级推理引擎,1200行代码实现,集成前缀缓存/CUDA图形优化技术


今日开源(2025-06-13):Nano vLLM轻量级推理引擎,1200行代码实现,集成前缀缓存/CUDA图形优化技术

仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接

🏆基座模型
①项目:NanovLLM
★NanovLLM是一个从头开始构建的轻量级vLLM实现,旨在提供与vLLM相当的推理速度。该项目的代码库简洁,包含不到1200行的Python代码,并集成了多种优化技术,如前缀缓存、Torch编译和CUDA图形等。
☆一键收藏:
https ://sota. jiqizhixin.com/project/nano-vllm
②项目:ReVisual-R1
★ReVisual-R1是一个7B参数的开源多模态语言模型,采用三阶段课程学习策略:冷启动预训练、多模态增强学习和仅文本增强学习。该模型在视觉和文本推理方面实现了准确、简洁和自反的最先进性能。通过系统地整合高难度的文本冷启动阶段、多模态增强学习阶段以及最终的文本增强学习阶段,ReVisual-R1在一系列具有挑战性的视觉数学和推理基准上表现出色。
☆一键收藏:
https ://sota. jiqizhixin.com/project/revisual-r1
🤖Agent开发
①项目:MASLab
★MASLab是一个统一且全面的代码库,专注于基于大型语言模型(LLM)的多智能体系统。自2023年3月以来,MASLab集成了超过20种LLM方法。该项目提供了统一的数据预处理和评估协议,以确保公平的比较,并在共享的精简结构中实现了多种方法,适合研究人员使用。
☆一键收藏:
https ://sota. jiqizhixin.com/project/maslab
🛠️框架平台、必备工具
①项目:DeepEval
★DeepEval是一个简单易用的开源大语言模型(LLM)评估框架,专门用于评估和测试LLM系统的输出。类似于Pytest,但专注于LLM输出的单元测试。DeepEval结合了最新的研究成果,基于G-Eval、幻觉、答案相关性、RAGAS等指标评估LLM输出。无论是RAG管道、聊天机器人、AI智能体,DeepEval都能提供支持,帮助优化模型、提示和架构,防止提示漂移,甚至从OpenAI过渡到自托管的DeepseekR1。
☆一键收藏:
https ://sota. jiqizhixin.com/project/deepeval
②项目:MultiTalk
★MultiTalk是一个音频驱动的多人人物对话视频生成框架。通过多流音频输入、参考图像和提示,MultiTalk能够生成包含互动的视频,确保嘴唇动作与音频一致。该项目支持单人和多人对话生成、虚拟人物控制、卡通角色和唱歌生成,输出分辨率灵活,支持长达15秒的视频生成。
☆一键收藏:
https ://sota. jiqizhixin.com/project/multitalk
③项目:SceneSplatter
★SceneSplatter项目旨在通过视频扩散模型从单一图像生成动态的3D场景。该项目利用先进的深度学习技术,结合图像和视频处理方法,实现了从静态图像到动态场景的转换。项目的核心在于其创新的算法和模型架构,能够有效地捕捉图像中的细节并生成逼真的3D场景。
☆一键收藏:
https ://sota. jiqizhixin.com/project/scene-splatter


文章作者: ZejunCao
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ZejunCao !
  目录