用于时间序列与时空数据的大型（语言）模型和基础模型（LLM、LM、FM）

这是一份由专业人士精心整理的关于**用于时序数据（时间序列、时空数据及事件数据）的大型（语言）模型和基础模型（LLM、LM、FM）**的列表，汇集了丰富的资源（论文、代码、数据等），旨在全面且系统地总结我们所知的最新进展。

我们将持续更新此列表，添加最新的资源。如果您发现有任何遗漏的资源（论文或代码）或错误，请随时提出 issue 或发起 pull request。

如需了解在顶级人工智能会议和期刊上发表的关于**时间序列人工智能（AI4TS）**的通用论文、教程和综述，请参阅此仓库。

综述论文

用于时间序列与时空数据的大型模型：综述与展望

作者: 金明、温庆松*、梁宇轩、张超立、薛思乔、王雪、张詹姆斯、王毅、陈海峰、李晓莉（IEEE会士）、潘世睿*、曾文森（IEEE会士）、郑宇（IEEE会士）、陈磊（IEEE会士）、熊辉（IEEE会士）

🌟 如果您觉得本资源有所帮助，请为本仓库点亮星标，并引用我们的综述论文：

@article{jin2023lm4ts,
  title={Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook}, 
  author={Ming Jin and Qingsong Wen and Yuxuan Liang and Chaoli Zhang and Siqiao Xue and Xue Wang and James Zhang and Yi Wang and Haifeng Chen and Xiaoli Li and Shirui Pan and Vincent S. Tseng and Yu Zheng and Lei Chen and Hui Xiong},
  journal={arXiv preprint arXiv:2310.10196},
  year={2023}
}

用于时间序列的大语言模型

通用时间序列分析

• 观点论文：大型语言模型能为时间序列分析带来什么启示，发表于 ICML 2024，[论文]
• Time-FFM：迈向由大语言模型赋能的联邦基础模型用于时间序列预测，NeurIPS 2024。[论文]
• Time-MMD：一种用于时间序列分析的新多领域多模态数据集，NeurIPS 2024。[论文] [官方代码]
• 从新闻到预测：通过反思将事件分析融入基于大语言模型的时间序列预测，NeurIPS 2024。[论文] [官方代码]
• Autotimes：利用大语言模型进行自回归时间序列预测，NeurIPS 2024。[论文] [官方代码]
• S^2IP-LLM：基于语义空间引导的提示学习与大语言模型结合用于时间序列预测，发表于 ICML 2024，[论文]
• 多片段预测：适配大语言模型用于时间序列表征学习，发表于 ICML 2024，[论文] [官方代码]
• TimeCMA：迈向通过跨模态对齐实现大语言模型赋能的多元时间序列预测，发表于 AAAI 2025，[论文]
• Time-LLM：通过重编程大型语言模型进行时间序列预测，发表于 ICLR 2024，[论文] [官方代码]
• TEMPO：基于提示的生成式预训练Transformer用于时间序列预测，发表于 ICLR 2024，[论文]
• TEST：文本原型对齐嵌入以激活大语言模型在时间序列任务中的能力，发表于 ICLR 2024，[论文]
• UniTime：一种语言赋能的统一模型，用于跨领域时间序列预测，发表于 WWW 2024，[论文]
• LLM4TS：使用预训练大语言模型进行时间序列预测的两阶段微调，发表于 arXiv 2023，[论文]
• 踏出第一步最难：为大型语言模型表示和分词时间序列数据时的陷阱，发表于 arXiv 2023，[论文]
• PromptCast：一种新的基于提示的学习范式用于时间序列预测，发表于 TKDE 2023。[论文]
• 一招通吃：用预训练语言模型赋能通用时间序列分析，发表于 NeurIPS 2023，[论文] [官方代码]
• 大型语言模型是零样本时间序列预测器，发表于 NeurIPS 2023，[论文] [官方代码]
• NuwaTS：一个能够修复所有不完整时间序列的基础模型，发表于 arXiv 2024，[论文]

交通应用

• 我接下来会去哪里？大型语言模型作为人类出行预测器，发表于 arXiv 2023，[论文]
• 利用语言基础模型进行人类出行预测，发表于 SIGSPATIAL 2022，[论文]

金融应用

• 时间序列数据与大语言模型相遇——可解释的金融时间序列预测，发表于 arXiv 2023，[论文]
• BloombergGPT：一款面向金融领域的大型语言模型，发表于 arXiv 2023，[论文]
• WeaverBird：利用大语言模型、知识库和搜索引擎赋能金融决策，发表于 arXiv 2023，[论文] [官方代码]
• ChatGPT能否预测股价走势？收益可预测性与大型语言模型，发表于 arXiv 2023，[论文]
• Instruct-FinGPT：通过指令微调通用大型语言模型进行金融情绪分析，发表于 arXiv 2023，[论文]
• 华尔街新手：ChatGPT在多模态股票走势预测挑战中的零样本分析，发表于 arXiv 2023，[论文]

医疗健康应用

• 大型语言模型是少样本医疗学习者，发表于 arXiv 2023。[论文]
• 具备医疗系统规模的语言模型是全能预测引擎，发表于 Nature 2023，[论文]
• 一款用于电子健康记录的大语言模型，发表于 NPJ Digit. Med. 2022，[论文]

事件分析

• 使用语言模型编写事件模式，发表于 arXiv 2023，[论文]
• 语言模型可通过少样本溯因推理提升事件预测能力，发表于 NeurIPS 2023，[论文]，[官方代码]

用于时间序列的 PFM

通用时间序列分析

• Time-MoE：基于专家混合的大规模时间序列基础模型，arXiv 2024，[论文] [官方代码]
• 通用时间序列预测 Transformer 的统一训练，在 ICML 2024 上发表，[论文] [官方代码]
• Moment：一系列开源时间序列基础模型，在 ICML 2024 上发表，[论文] [官方代码]
• 一种仅解码器的时间序列预测基础模型，在 ICML 2024 上发表，[论文] [官方代码]
• Chronos：学习时间序列的语言，在 TMLR 2024 上发表，[论文] [官方代码]
• SimMTM：一种用于掩码时间序列建模的简单预训练框架，在 NeurIPS 2023 上发表，[论文]
• 时间序列胜过64个词：基于 Transformer 的长期预测，在 ICLR 2023 上发表，[论文] [官方代码]
• 无监督时间序列领域适应的对比学习，在 ICLR 2023 上发表，[论文]
• TSMixer：用于多变量时间序列预测的轻量级 MLP-Mixer 模型，在 KDD 2023 上发表，[论文]
• 基于时频一致性的自监督对比预训练，用于时间序列，在 NeurIPS 2022 上发表，[论文] [官方代码]
• 预训练增强的时空图神经网络，用于多变量时间序列预测，在 KDD 2022 上发表，[论文]
• TS2Vec：迈向时间序列的通用表示，在 AAAI 2022 上发表，[论文] [官方代码]
• Voice2Series：重新编程声学模型以进行时间序列分类，在 ICML 2021 上发表。[论文] [官方代码]

事件分析

• 面向流式事件序列的提示增强型时间点过程，在 NeurIPS 2023 上发表，[论文] [官方代码]

用于时空图的 LLM

• 基于语言知识辅助的骨架动作识别表征学习，在 arXiv 2023 上发表。[论文]
• ChatGPT 赋能的图神经网络用于股票走势预测，在 arXiv 2023 上发表。[论文]

用于时空图的 PFM

通用用途

• 对比学习信号何时有助于时空图预测？在 SIGSPATIAL 2023 上发表。[论文]
• 通过自步图对比学习挖掘时空关系，在 KDD 2022 上发表。[论文]

气候

• 使用 3D 神经网络实现精准的中期全球天气预报，在 Nature 2023 上发表。[论文]
• ClimaX：气象与气候的基础模型，在 ICML 2023 上发表。[论文] [官方代码]
• GraphCast：学习熟练的中期全球天气预报，在 arXiv 2022 上发表。[论文]
• FourCastNet：使用自适应傅里叶神经算子构建的全球数据驱动高分辨率天气模型，在 arXiv 2022 上发表。[论文]
• 使用 3D 神经网络实现精准的中期全球天气预报，在 Nature 2023 上发表。[论文]
• W-MAE：具有掩码自编码器的多变量天气预报预训练模型，在 arXiv 2023 上发表。[论文]
• FengWu：将熟练的全球中期天气预报提前至 10 天以上，在 arXiv 2023 上发表。[论文]

交通

• 用于常规区域人群流量预测的预训练双向时间表示，在 IEEE Access 2019 上发表。[论文]
• TrafficBERT：基于大规模数据的预训练模型，用于长距离交通流量预测，在 Expert Systems with Applications 2021 上发表。[论文]
• 通过生成式图 Transformer 构建交通基础模型，在 arXiv 2023 上发表。[论文]

面向视频数据的大型语言模型

• 通过冻结双向语言模型实现零样本视频问答，发表于 NeurIPS 2022。[论文]
• 带有图像描述符的语言模型是强大的少样本视频-语言学习者，发表于 NeurIPS 2022。[论文]
• VideoLLM：利用大型语言模型建模视频序列，发表于 arXiv 2023。[论文]
• VALLEY：具备大型语言模型增强能力的视频助手，发表于 arXiv 2023。[论文]
• Vid2Seq：用于密集视频字幕生成的视觉语言模型大规模预训练，发表于 CVPR 2023。[论文]
• 检索-回答：使用冻结大型语言模型实现零样本视频问答，发表于 NeurIPS 2022。[论文]
• VideoChat：以聊天为中心的视频理解，发表于 arXiv 2023。[论文]
• MovieChat：从密集标记到稀疏记忆，用于长视频理解，发表于 arXiv 2023。[论文]
• 语言模型是零样本视频问答的因果知识提取器，发表于 CVPR 2023。[论文]
• Video-LLaMA：面向视频理解的指令微调音视频语言模型，发表于 arXiv 2023。[论文]
• 从大型语言模型中学习视频表征，发表于 CVPR 2023。 [论文]
• Video-ChatGPT：借助大型视觉和语言模型迈向详细的视频理解，发表于 arXiv 2023。[论文]
• 基于自动字幕的交通领域视频问答，发表于 arXiv 2023。[论文]
• LAVENDER：将视频-语言理解统一为掩码语言建模，发表于 CVPR 2023。[论文]

面向视频数据的基础模型

• OmniVL：一个适用于图文和视频-语言任务的基础模型，发表于 NeurIPS 2022。[论文]
• Youku-mPLUG：用于预训练和基准测试的1000万规模中文视频-语言数据集，发表于 arXiv 2023。[论文]
• PAXION：在视频-语言基础模型中嵌入动作知识，发表于 arXiv 2023。[论文]
• mPLUG-2：跨文本、图像和视频的模块化多模态基础模型，发表于 ICML 2023。[论文]

数据集

交通应用

• METR-LA [链接]
• PEMS-BAY [链接]
• PEMS04 [链接]
• SUTD-TrafficQA [链接]
• TaxiBJ [链接]
• BikeNYC [链接]
• TaxiNYC [链接]
• Mobility [链接]
• LargeST [链接]

医疗健康应用

• PTB-XL [链接]
• NYUTron [链接]
• UF Health临床语料库 [链接]
• i2b2-2012 [链接]
• MIMIC-III [链接]
• CirCor DigiScope [链接]

天气应用

• SEVIR [链接]
• Shifts-Weather Prediction [链接]
• AvePRE [链接]
• SurTEMP [链接]
• SurUPS [链接]
• ERA5再分析数据 [链接]
• CMIP6 [链接]

金融应用

• 金融（就业） [链接]
• StockNet [链接]
• EDT [链接]
• NASDAQ-100 [链接]

视频应用

• TGIF-QA [链接]
• MSR-VTT [链接]
• WebVid [链接]
• MSVD [链接]
• DiDeMo [链接]
• COCO [链接]

事件分析应用

• Amazon [链接]
• Taobao [链接]
• Retweet [链接]
• StackOverflow [链接]
• Taxi [链接]

其他通用应用

• ETT [链接]
• M4 [链接]
• Electricity [链接]
• Alibaba集群轨迹 [链接]
• TSSB [链接]
• UCR TS分类档案 [链接]

相关的 LLM/LM/FM 资源

调查报告

• 大型语言模型综述，发表于 arXiv 2023 年。[论文] [链接]
• 实践中利用 LLM 的力量：关于 ChatGPT 及其之后的综述，发表于 arXiv 2023 年。[论文] [链接]
• LLM-Adapters：用于大型语言模型参数高效微调的一系列适配器，发表于 arXiv 2023 年。[论文] [链接]
• 不再是一模一样：大型语言模型领域专业化综述，发表于 arXiv 2023 年。[论文]
• 健康信息学中的大型 AI 模型：应用、挑战与未来，发表于 arXiv 2023 年。[论文] [链接]
• FinGPT：开源金融大型语言模型，发表于 arXiv 2023 年。[论文] [链接]
• 地理空间人工智能基础模型的机遇与挑战，发表于 arXiv 2023 年。[论文]

Github

• 优秀的 LLM。[链接]
• 开放的 LLMs。[链接]
• 优秀的 LLMOps。[链接]
• 优秀的基础模型。[链接]
• 优秀的图 LLM。[链接]
• 优秀的多模态大型语言模型。[链接]

相关资源

时间序列相关调查

• 时间序列分析的基础模型：教程与综述，发表于 KDD 2024 年。[论文]
• 大型语言模型能为时间序列分析带来什么启示，发表于 ICML 2024 年。[论文]
• 多变量时间序列插补的深度学习：综述，发表于 arXiv 2024 年。[论文] [网站]
• 自监督学习在时间序列分析中的分类、进展与前景，发表于 TPAMI 2024 年。[论文] [网站]
• 图神经网络在时间序列中的应用：预测、分类、插补和异常检测，发表于 arXiv 2023 年。[论文] [网站]
• 时间序列中的 Transformer：综述，发表于 IJCAI 2023 年。[论文] [GitHub 仓库]
• 针对深度学习的时间序列数据增强：综述，发表于 IJCAI 2021 年。[论文]
• 使用深度学习进行时间序列预测：综述，发表于 皇家学会哲学事务 A 系列 2021 年。[论文]
• 时间序列数据中的异常检测综述，发表于 CSUR 2021 年。[论文]
• 深度学习在时间序列分类中的应用：综述，发表于 数据挖掘与知识发现 2019 年。[论文]
• 时间序列预训练模型综述，发表于 arXiv 2023 年。[论文] [链接]
• 自监督学习在时间序列分析中的分类、进展与展望，发表于 arXiv 2023 年。[论文] [网站]
• 图神经网络在时间序列中的应用：预测、分类、插补和异常检测，发表于 arXiv 2023 年。[论文] [网站]

AIOps 相关调查

• AIOps：现实世界的挑战与研究创新，发表于 ICSE 2019 年。[论文]
• 故障管理的 AIOps 方法综述，发表于 TIST 2021 年。[论文]
• 云平台上的 IT 运维人工智能（AIOps）：回顾、机遇与挑战，发表于 arXiv 2023 年。[论文]

用于 AIOps 的 LLM/LM/FM 论文

• 利用大型语言模型赋能云事件的实际根本原因分析，发表于 arXiv 2023 年。[论文]
• 使用大型语言模型推荐云事件的根本原因及缓解措施，发表于 arXiv 2023 年。[论文]
• OpsEval：面向任务的大型语言模型综合 AIOps 基准测试，发表于 arXiv 2023 年。[论文]

Awesome-TimeSeries-SpatioTemporal-LM-LLM 快速上手指南

本项目并非单一的可安装软件包，而是一个精选资源列表，汇集了用于时间序列和时空数据的大语言模型（LLM）、基础模型（FM）及相关论文、代码和数据集。本指南将指导你如何利用该列表找到适合的工具，并以列表中热门的 Time-LLM 为例演示如何快速开始使用此类模型。

环境准备

由于列表中包含多个不同的模型项目，具体依赖需参考各子项目的说明。以下是运行大多数基于 PyTorch 的时间序列大模型所需的通用环境要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python: 3.8 或更高版本
• GPU: 推荐使用 NVIDIA GPU (显存建议 16GB 以上以运行大模型)，需安装 CUDA 驱动
• 核心依赖:
  • PyTorch (建议 2.0+)
  • Transformers (Hugging Face)
  • Pandas, Numpy, Scikit-learn
  • Matplotlib (用于可视化)

建议配置国内镜像源加速下载： 在安装包前，配置 pip 使用清华或阿里镜像可显著提升速度。

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

由于本仓库是资源列表，你不需要安装"Awesome-TimeSeries..."本身。你需要根据需求选择列表中的具体模型进行安装。以下以列表中热门的 Time-LLM (ICLR 2024) 为例演示安装过程：

1. 克隆具体模型代码库 从该模型对应的官方仓库获取代码（而非本列表仓库）：

   git clone https://github.com/KimMeen/Time-LLM.git
   cd Time-LLM
   

2. 创建虚拟环境并安装依赖

   python -m venv venv
   source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate
   
   # 安装 requirements.txt 中的依赖
   pip install -r requirements.txt
   

   注：若 requirements.txt 缺失或报错，通常需手动安装核心库：

   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   pip install transformers pandas numpy scikit-learn matplotlib
   

3. 下载预训练模型权重 大多数此类模型需要加载开源的 LLM 基座（如 LLaMA, GPT-2, BERT 等）。确保你的网络能访问 Hugging Face，或使用国内镜像站下载权重文件至本地目录。

基本使用

以下展示如何使用 Time-LLM 进行简单的时间序列预测。大多数列表中的模型（如 AutoTimes, Chronos, Moment）遵循类似的“数据准备 -> 模型加载 -> 推理”流程。

1. 准备数据

确保你的时间序列数据为 CSV 格式，包含时间戳和数值列。

2. 运行预测示例

进入项目目录后，通常可以通过提供的脚本直接运行测试。以下是典型的执行命令：

# 运行主训练/预测脚本
# --is_training 0 表示仅进行测试/推理
# --model_id time_llm_test 自定义任务名称
# --model TimeLLM 指定模型架构
# --data_path custom_dataset.csv 指定你的数据路径

python run_main.py \
  --is_training 0 \
  --model_id time_llm_test \
  --model TimeLLM \
  --data custom \
  --data_path custom_dataset.csv \
  --seq_len 96 \
  --pred_len 96 \
  --batch_size 32 \
  --learning_rate 0.01

3. 代码调用示例 (Python API)

如果你希望在自己的代码中集成，参考如下结构（伪代码，具体类名需参照各模型文档）：

import torch
from models.TimeLLM import Model as TimeLLM
from data_loader import DataLoader

# 1. 加载数据
loader = DataLoader(root_path='./dataset', data_path='custom_dataset.csv')
batch_x, batch_y = loader.get_batch()

# 2. 初始化模型
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = TimeLLM(configs).to(device)

# 3. 加载预训练权重
model.load_state_dict(torch.load('./checkpoints/time_llm_checkpoint.pth'))
model.eval()

# 4. 进行预测
with torch.no_grad():
    outputs = model(batch_x.to(device))

print("预测结果形状:", outputs.shape)

提示：若要尝试列表中其他模型（如 Chronos, Moment, AutoTimes），请前往 README 中对应条目提供的 [official code] 链接，重复上述“克隆 -> 安装 -> 运行”步骤即可。