1️⃣ Time-MoE是首个将时间序列基础模型规模扩展至24亿参数，并从头开始训练的工作。

2️⃣ Time-300B是目前最大的开源时间序列数据集，涵盖超过3000亿个时间点，涉及超过9个领域。

待办事项

• 添加协变量支持
• 实现对Time-MoE的微调，以支持带有动态特征的预测任务，并支持时间序列分类

更新/新闻：

🚩 新闻（2025年2月）：Time-MoE已被ICLR 2025接收为Spotlight论文（前5.1%）！

🚩 新闻（2024年10月）：Time-MoE的中文介绍已在微信公众号发布。

🚩 新闻（2024年10月）：Time-300B数据集现已在Hugging Face上公开。

🚩 新闻（2024年10月）：Time-MoE (base)和Time-MoE (large)已在Hugging Face上发布。

🚩 新闻（2024年9月）：Time-MoE的预印本已在arXiv上发布。

简介

Time-MoE是一系列采用专家混合架构的解码器式时间序列基础模型，设计用于自回归方式运行，能够实现任意预测 horizon 和上下文长度（最长4096）的通用预测任务。

📚 训练数据

Time-300B数据集已在Hugging Face上公开。以下是一个使用该数据集的示例：

import random
from time_moe.datasets.time_moe_dataset import TimeMoEDataset

ds = TimeMoEDataset('Time-300B')
seq_idx = random.randint(0, len(ds) - 1)
seq = ds[seq_idx]

这段代码展示了如何从Time-300B数据集中加载一条随机数据序列。首先需要将数据集下载到本地的‘Time-300B’文件夹中，然后从time_moe.datasets模块中导入TimeMoEDataset类，实例化该类，并通过随机索引获取一条序列。

🚀 快速入门

安装

1. 安装Python 3.10及以上版本，然后安装依赖项：

pip install -r requirements.txt

注意：Time-MoE需要transformers==4.40.1 。

2. [可选但推荐] 安装flash-attn，以提升训练和推理速度，同时减少内存占用。

pip install flash-attn==2.6.3

或者

pip install packaging
pip install ninja
# 将“64”替换为你机器可用的CPU核心数，以加快编译速度
MAX_JOBS=64 pip install flash-attn==2.6.3 --no-build-isolation

📈 进行预测

注意：Time-MoE的max_position_embeddings在训练时已设定。这意味着Time-MoE的最大序列长度为4096。为了获得最佳预测效果，建议**context_length与prediction_length之和不超过4096**。若需支持更长的序列长度，请使用所需的更长序列长度对Time-MoE进行微调。

import torch
from transformers import AutoModelForCausalLM

context_length = 12
seqs = torch.randn(2, context_length)  # 张量形状为[batch_size, context_length]

model = AutoModelForCausalLM.from_pretrained(
    'Maple728/TimeMoE-50M',
    device_map="cpu",  # 使用“cpu”进行CPU推理，使用“cuda”进行GPU推理。
    trust_remote_code=True,
)

# 如果已安装flash-attn
# model = AutoModelForCausalLM.from_pretrained('Maple728/TimeMoE-50M', device_map="auto", attn_implementation='flash_attention_2', trust_remote_code=True)

# 对序列进行归一化
mean, std = seqs.mean(dim=-1, keepdim=True), seqs.std(dim=-1, keepdim=True)
normed_seqs = (seqs - mean) / std

# 预测
prediction_length = 6
output = model.generate(normed_seqs, max_new_tokens=prediction_length)  # 形状为[batch_size, 12 + 6]
normed_predictions = output[:, -prediction_length:]  # 形状为[batch_size, 6]

# 反归一化
predictions = normed_predictions * std + mean

• 如果序列已经归一化：

import torch
from transformers import AutoModelForCausalLM

context_length = 12
normed_seqs = torch.randn(2, context_length)  # 张量形状为[batch_size, context_length]

model = AutoModelForCausalLM.from_pretrained(
    'Maple728/TimeMoE-50M',
    device_map="cpu",  # 使用“cpu”进行CPU推理，使用“cuda”进行GPU推理。
    trust_remote_code=True,
)

# 如果已安装flash-attn
# model = AutoModelForCausalLM.from_pretrained('Maple728/TimeMoE-50M', device_map="auto", attn_implementation='flash_attention_2', trust_remote_code=True)

# 预测
prediction_length = 6
output = model.generate(normed_seqs, max_new_tokens=prediction_length)  # 形状为[batch_size, 12 + 6]
normed_predictions = output[:, -prediction_length:]  # 形状为[batch_size, 6]

评估

• 准备基准测试数据集。

你可以从[Google Drive]获取预处理好的数据集，然后将下载的内容放入./dataset目录下。

• [示例] 运行以下命令来评估ETTh1数据集。

python run_eval.py -d dataset/ETT-small/ETTh1.csv -p 96

🔥 微调Time-MoE

准备你的数据集

要开始微调Time-MoE，你的数据集应转换为jsonl格式。每行代表一个时间序列数据，以字典对象的形式存储，其中sequence字段包含一系列时间序列观测值。例如：

{"sequence": [1.0, 2.0, 3.0, ...]}
{"sequence": [11.0, 22.0, 33.0, ...]}

你可以选择将转换后的数据保存为jsonl、json或pickle格式。如果你使用的是Time-300B数据集，则无需额外的预处理即可直接使用。

在您的数据集上训练 Time-MoE

注意：如果您的数据集较小，建议将 stride 设置为 1，方法是在训练命令中添加 --stride 1。

CPU

对于使用 CPU 进行训练，请执行以下命令，并确保将 <data_path> 替换为您准备好的数据集路径：

python main.py -d <data_path>

单节点单 GPU 或多 GPU

要利用单节点上的单个或多个 GPU，请使用以下命令：

python torch_dist_run.py main.py -d <data_path>

多节点多 GPU

在多节点上进行训练时，需要进行额外的环境配置以促进节点间的通信：

export MASTER_ADDR=<master_addr>
export MASTER_PORT=<master_port>
export WORLD_SIZE=<world_size>
export RANK=<rank>

python torch_dist_run.py main.py -d <data_path>

要从头开始训练 Time-MoE，只需在命令中加入 --from_scratch 参数即可。命令示例如下：

python torch_dist_run.py main.py -d <data_path> --from_scratch

如需了解其他命令行参数及其用法，可以运行帮助命令：

python main.py --help

引用

🙋 如果您发现任何错误或有任何建议，请告知我们！

🌟 如果您认为 Time-MoE 模型对您的研究有所帮助，请考虑给本仓库点赞并引用相应的论文：

@misc{shi2024timemoe,
      title={Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts}, 
      author={Xiaoming Shi and Shiyu Wang and Yuqi Nie and Dianqi Li and Zhou Ye and Qingsong Wen and Ming Jin},
      year={2024},
      eprint={2409.16040},
      archivePrefix={arXiv},
      url={https://arxiv.org/abs/2409.16040}, 
}

相关资源

• TimeMixer++：用于通用预测分析的通用时间序列模式机器，发表于 arXiv 2024 年。论文链接 GitHub 仓库链接
• 面向时间序列基础模型的神经规模定律，发表于 arXiv 2024 年。论文链接
• 时间序列分析的基础模型：教程与综述，发表于 KDD 2024 年。论文链接 教程链接
• 大型语言模型能为我们提供哪些关于时间序列分析的信息，发表于 ICML 2024 年。论文链接
• 时间序列分析中的自监督学习：分类、进展与展望，发表于 TPAMI 2024 年。论文链接 网站链接
• 时间序列中的 Transformer：综述，发表于 IJCAI 2023 年。论文链接 GitHub 仓库链接
• 关于图神经网络在时间序列中的应用：预测、分类、插补和异常检测的综述，发表于 TPAMI 2024 年。论文链接 网站链接

致谢

我们非常感谢以下 GitHub 仓库提供的宝贵代码和努力。

• Time-LLM 仓库链接
• TimeMixer 仓库链接
• 时间序列库 仓库链接
• 面向时间序列和时空数据的大（语言）模型及基础模型（LLM、LM、FM）仓库链接

许可证

本项目采用 Apache-2.0 许可证。

Time-MoE 快速上手指南

Time-MoE 是首个参数量高达 24 亿 的时间序列基础模型，采用混合专家（MoE）架构，支持长达 4096 的上下文长度和任意预测步长的自回归预测。

1. 环境准备

• 系统要求：Linux / macOS / Windows
• Python 版本：3.10 或更高
• 核心依赖：
  • transformers==4.40.1 (必须严格匹配此版本)
  • torch (建议安装支持 CUDA 的版本以加速推理)
• 可选加速：推荐安装 flash-attn 以提升训练和推理速度并降低显存占用。

2. 安装步骤

第一步：安装基础依赖

克隆项目或直接安装依赖包：

pip install -r requirements.txt

注意：请确保安装后 transformers 版本为 4.40.1。

第二步：（推荐）安装 Flash Attention

为了获得最佳性能，建议安装 flash-attn。

pip install flash-attn==2.6.3

如果上述命令编译较慢，可使用以下命令利用多核加速编译（将 64 替换为你机器的 CPU 核心数）：

pip install packaging ninja
MAX_JOBS=64 pip install flash-attn==2.6.3 --no-build-isolation

3. 基本使用

以下示例展示如何加载预训练模型并进行时间序列预测。模型默认最大序列长度为 4096（即 context_length + prediction_length ≤ 4096）。

代码示例

import torch
from transformers import AutoModelForCausalLM

# 1. 准备数据
context_length = 12
# 生成随机测试数据 [batch_size, context_length]
seqs = torch.randn(2, context_length)

# 2. 加载模型
# 可选模型: Maple728/TimeMoE-50M (Base), Maple728/TimeMoE-200M (Large)
model = AutoModelForCausalLM.from_pretrained(
    'Maple728/TimeMoE-50M',
    device_map="auto",  # 自动选择设备 (cuda/cpu)，CPU 推理可设为 "cpu"
    trust_remote_code=True,
    # 若已安装 flash-attn，取消下面这行的注释以启用加速
    # attn_implementation='flash_attention_2', 
)

# 3. 数据标准化 (Time-MoE 建议在输入前进行归一化)
mean, std = seqs.mean(dim=-1, keepdim=True), seqs.std(dim=-1, keepdim=True)
normed_seqs = (seqs - mean) / std

# 4. 执行预测
prediction_length = 6
# generate 返回的是 [input + prediction]，需截取后半部分
output = model.generate(normed_seqs, max_new_tokens=prediction_length)
normed_predictions = output[:, -prediction_length:]

# 5. 反标准化还原结果
predictions = normed_predictions * std + mean

print(f"预测结果形状：{predictions.shape}") # [batch_size, prediction_length]

使用说明

• 模型选择：示例中使用的是 TimeMoE-50M，如需更强能力可替换为 Maple728/TimeMoE-200M。
• 输入格式：输入张量形状应为 [batch_size, context_length]。
• 长度限制：请确保输入长度与预测长度之和不超过 4096。若需处理更长序列，需要对模型进行微调。