双一区力证!Transformer彻底打破时序预测的传统边界!
仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接
时间序列
在时间序列分析领域,Transformer正以惊人的速度打破NLP的边界。其独特的注意力机制与序列建模能力,完美契合时序数据的动态特性,促使学术界与产业界掀起研究热潮:工业界早有TFT等经典模型落地实践,学术界更将其作为论文创新的“黄金赛道”。
当前,这一领域的研究已跨越架构优化的初级阶段,向通用化、多模态融合的纵深方向发展。为助力科研与工程实践,本文精选12篇Transformer+时间序列前沿论文,附有开源代码,为探索时序分析的创新路径提供权威参考。
扫码回复【时序Transformer】
免费领取12篇最新论文+创新点
多尺度建模
DeformableTST:TransformerforTimeSeriesForecastingwithoutOver-relianceonPatching
【要点】:论文提出了DeformableTST模型,通过引入可变形注意力机制,减少对时间序列数据中分块技术的依赖,从而在更广泛的任务中取得先进性能。
【方法】:作者通过分析分块技术与全注意力机制之间的关系,提出了一种新的稀疏注意力机制——可变形注意力,并采用分层结构以解决去除分块技术后带来的效率问题。
【实验】:在多个时间序列预测任务中测试了DeformableTST模型,模型在特别是那些不适合分块技术的预测任务中表现出了优异的性能。
多变量与复杂时序建模
TACTiS-2:Better,Faster,SimplerAttentionalCopulasforMultivariateTimeSeries
【要点】:TACTiS-2模型通过引入简化目标和训练计划,实现了多变量概率时间序列预测的更好、更快、更简单的效果。
【方法】:基于copula理论,针对transformer-basedattentionalcopulas模型,优化目标简化,通过引入训练计划改变了原有架构。
【实验】:在多个真实世界的预测任务中,TACTiS-2模型具有显著更好的训练动态和最先进的性能,同时保持了对未对齐和不均匀采样时间序列的灵活处理能力。
自监督与预训练
TimeDART:ADiffusionAutoregressiveTransformerFrameworkforSelf-SupervisedTimeSeriesLearning
【要点】:本文提出了TimeDART模型,一种基于自监督学习的时间序列预测方法,利用Transformer编码器捕捉序列依赖性,并通过扩散和去噪机制以及自回归训练来有效学习时间序列数据的全局和局部特征。
【方法】:TimeDART模型使用基于自注意力的Transformer编码器来建模不同时间序列片段间的依赖性,同时引入了扩散和去噪机制来学习同一片段内的局部细节特征,并设计了一种基于交叉注意力的去噪解码器以调整自监督任务的优化难度。
【实验】:在多个公开数据集上进行的实验表明,TimeDART模型在时间序列预测任务上实现了优于现有先进方法的微调性能。
扩散模型与生成式方法
TimeDiT:General-purposeDiffusionTransformersforTimeSeriesFoundationModel
【要点】:本文提出了TimeDiT,一种基于扩散过程的通用时间序列基础模型,能够有效处理真实世界时间序列数据的多样性和挑战,同时允许无缝集成外部知识。
【方法】:TimeDiT采用Transformer架构捕捉时间依赖性,并结合扩散过程生成高质量样本,通过创新的遮蔽机制和通道对齐策略,不依赖于目标分布的严格假设。
【实验】:在多种任务(如预测、插补和异常检测)上进行的广泛实验,证明了TimeDiT的有效性,实验使用了包括时间序列数据在内的多个数据集。
扫码回复【时序Transformer】
免费领取12篇最新论文+创新点
看完这些最新研究方向,就可以开始准备CVPR、ICLR、AAAI等顶会论文了,但是如果你在写论文时还是想不出idea,缺乏数据集,不知道如何选择期刊投稿,那么可以找到追梦AI!专注学术背景提升,为大学生、硕士、博士提供专业的学术辅导服务。(郑重声明:不代写!
扫码预约
追梦AI导师一对一meeting
01导师牛
追梦AI由国际顶尖科研背景的博士团队领衔创立,6位创始成员均具备世界名校博士学历,深耕科研领域多年。
篇幅有限仅列举部分导师
我们还与2000+各领域顶尖导师深度合作,结合您的需求匹配大牛导师,提供高效优质的学术服务。
导师团队汇聚全球QS前100高校学术精英,涵盖英国牛津大学、美国加州大学、约翰・霍普金斯大学、清华大学、北京大学、复旦大学等世界一流学府,近年来个人论文产出量在10篇以上。
扫码预约
【追梦AI】导师一对一论文指导⬇️
(文末有福利)
02辅导牛
我们提供个性化论文指导服务、4V1多师一体服务、导师实时互动、录播无限次回看免费课后答疑、24h无时差上课。
无论你目标是CCF-A/B/C、SCI1-4区,还是EI会议,这些“大牛导师”都从选题、调研、idea验证、代码、实验、润色、投稿、直至中稿一站式科研服务。
03结果牛
累计服务学员200000+,满意度高达96. 3%,成功发表率高达87%
以结果为导向,配套代码提升指导,GPU环境资源,提供维护服务,直至中稿!
扫码预约
【追梦AI】导师一对一论文指导⬇️
04公司牛
科研辅导机构那么多,为什么一定要选择追梦AI?
真实科学家联合创始人、真实科研大模型助手、真实学术会议合作、真实高校合作
05福利牛
科研资料大放送:
1.《时间序列顶刊论文合集》
2.《1000+热门idea合集》
3.《申博咨询规划一次》
报名免费赠送AI全栈基础课程
扫码领取
科研福利大礼包⬇️
科研逆袭,从找对领路人开始!