仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
论文题目：TowardsLLM-EmpoweredMultivariateTimeSeriesForecastingviaCross-ModalityAlignment
论文地址：https ://arxiv. org/abs/2406. 01638
代码地址：https ://github. com/ChenxiLiu-HNU/TimeCMA
这是一个基于LLM（大型语言模型）的多变量时间序列预测框架，通过跨模态对齐来学习时间序列的解耦嵌入。
设计了时间序列编码分支和LLM赋能编码分支。时间序列编码分支提取解耦但较弱的时间序列嵌入，LLM赋能编码分支将相同的时间序列以文本提示的形式封装，以获得纠缠但强大的提示嵌入。
针对现有LLM方法中存在的数据纠缠问题，提出了一种基于通道相似性检索的跨模态对齐方法。
本文提出了一种名为TimeCMA的框架，用于多变量时间序列预测（MTSF）。该框架通过跨模态对齐来增强基于大型语言模型（LLM）的时间序列预测能力。具体来说，TimeCMA包含三个关键模块：双模态编码、跨模态对齐和时间序列预测。此外，为了降低计算成本并加速推理速度，TimeCMA还采用了最后一标记嵌入存储的设计。总之，TimeCMA通过跨模态对齐和最后一标记嵌入存储的设计，有效地利用了LLM的强大能力，同时解决了现有LLM方法中存在的数据纠缠问题，并提高了计算效率和推理速度。
本图展示了单模态模型的局限性以及本文提出的跨模态对齐解决方案。图中(a)部分展示了时间序列和文本提示分别嵌入的情况，时间序列模型提供了解耦但较弱的时间特征（浅红色），而文本模型学习到的特征（蓝色）与时间序列无关。图中(b)部分展示了现有模型直接融合两种模态嵌入导致的数据纠缠问题，这种融合后的嵌入虽然强大但存在噪声，影响预测性能。图中(c)部分展示了一些尝试将时间序列封装到提示中的方法，虽然增强了提示嵌入中的时间序列成分，但仍存在纠缠问题。图中(d)部分展示了本文的方法，通过基于相似性的检索从提示嵌入中获取解耦且强大的时间序列嵌入（深红色），从而增强预测性能。
本图展示了TimeCMA框架的整体架构。该框架包含三个关键模块：双模态编码（时间序列编码分支和LLM赋能编码分支）、跨模态对齐和时间序列预测。时间序列编码分支使用倒置嵌入和轻量级的Transformer编码器来提取时间序列的嵌入。LLM赋能编码分支将时间序列封装为文本提示，通过预训练的LLM生成强大的提示嵌入。跨模态对齐模块基于通道相似性检索，从提示嵌入中提取时间序列嵌入。时间序列预测模块使用多变量Transformer解码器和投影函数进行未来时间序列的预测。此外，图中还展示了最后一标记嵌入存储的设计，通过存储最后一标记的嵌入来减少计算成本并加速推理速度。
本图展示了模型设计的消融研究结果。图中比较了不同模型变体的性能，包括完整模型（TimeCMA）、去掉LLM的模型（w/oLLM）、去掉时间序列编码器的模型（w/oTSEncoder）、去掉提示编码器的模型（w/oPromptEncoder）、去掉跨模态对齐的模型（w/oAlignment）和去掉解码器的模型（w/oDecoder）。从图中可以看出，去掉跨模态对齐（w/oAlignment）对性能影响最大，说明基于相似性的检索设计优于简单的拼接。去掉LLM（w/oLLM）和去掉时间序列编码器（w/oTSEncoder）也对性能有显著影响，表明双分支结构和解耦的时间序列嵌入对于预测至关重要。
本表展示了TimeCMA框架在多个真实数据集上的预测性能，并与其他多种基线模型进行了比较。这些数据集包括ETTm1、ETTm2、ETTh1、ETTh2、ECL、FRED、ILI和Weather，涵盖了不同的领域和时间序列特性。从表中可以看出，TimeCMA在所有数据集上的表现均优于现有的先进方法。总之本表通过详细的性能比较，验证了TimeCMA框架在多变量时间序列预测任务中的优越性能。TimeCMA通过跨模态对齐和最后一标记嵌入存储的设计，有效地利用了大型语言模型的强大能力，同时解决了现有方法中存在的数据纠缠问题，提高了计算效率和推理速度。这些改进使得TimeCMA在多个真实数据集上取得了显著优于现有方法的预测结果，证明了其在多变量时间序列预测领域的有效性和实用性。
–END–
最后对多模态创新感兴趣的可公众号后台私信‘加群’或者扫描下方👇二维码进入多模态交流群！
关注“学姐带你玩AI”公众号，回复“多模态对齐”
领取多模态对齐高分idea合集+开源代码
往期推荐:
2025年，多模态特征融合只会更火
错过血亏！2025顶会超火方向：多模态目标检测发论文稳了！
多模态对比学习太香了！双斩CVPR/NeurIPS！新成果及开源代码已扒
荣登Nature招牌1区Top！可解释的多模态融合模型迎来新突破！
多模态融合可能是现在或者未来一段时间最好发论文的方向了！
ACCEPT
据说点赞的都Accept了！
