大型语言模型是零样本时间序列预测器

本仓库包含论文 大型语言模型是零样本时间序列预测器（作者：Nate Gruver、Marc Finzi、Shikai Qiu 和 Andrew Gordon Wilson，NeurIPS 2023）的代码。 Large Language Models Are Zero Shot Time Series Forecasters

🛠 安装

运行以下命令即可在名为 llmtime 的 conda 环境中安装所有依赖项。如果你没有 CUDA 11.8，请根据实际情况修改 PyTorch 的 CUDA 版本。

source install.sh

安装完成后，激活环境：

conda activate llmtime

如果你不想使用 conda，也可以手动安装 install.sh 中列出的依赖项。

若希望通过 OpenAI 的 API 运行模型（无需 GPU），请将你的 OpenAI API 密钥添加到 ~/.bashrc 文件中：

echo "export OPENAI_API_KEY=<your key>" >> ~/.bashrc

此外，如果使用不同的 OpenAI API 基础地址，可在 ~/.bashrc 中进行如下设置：

echo "export OPENAI_API_BASE=<your base url>" >> ~/.bashrc

🚀 体验 LLMTime

想快速感受 LLMTime 的强大功能吗？运行 demo.ipynb 笔记本中的快速演示即可，完全不需要 GPU！

🤖 接入其他 LLM

目前我们支持 GPT-3、GPT-3.5、GPT-4、Mistral 和 LLaMA 2。只需在 models/llms.py 中指定如何从这些模型生成文本补全，即可轻松接入其他 LLM。

要运行 Mistral 模型，请将你的 Mistral API 密钥添加到 ~/.bashrc 文件中：

echo "export MISTRAL_KEY=<your key>" >> ~/.bashrc

💡 使用技巧

以下是使用 LLMTime 的一些小贴士：

• 模型性能对数据缩放超参数 alpha、beta 和 basic 并不敏感。推荐默认值为 alpha=0.95、beta=0.3、basic=False。对于围绕 0 对称的数据（如正弦波），建议将 basic 设置为 True，以避免数据偏移。
• 最近发布的 gpt-3.5-turbo-instruct 似乎需要比其他模型更低的温度（如 0.3），并且根据我们的有限实验，其表现往往不如 text-davinci-003。
• 根据验证似然性调整超参数（如 get_autotuned_predictions_data 所做的那样），通常能获得更好的测试似然性，但未必能得到更好的预测样本。

📊 复现论文中的实验

运行以下命令即可复现论文中的实验，结果将保存在 ./outputs/ 目录下。你可以使用 visualize.ipynb 来可视化结果。我们还在 ./precomputed_outputs/ 中提供了论文中使用的预计算结果。

Darts 数据集（第 4 节）

python -m experiments.run_darts

Monash 数据集（第 4 节）

你可以从 这里 下载预处理数据，或使用以下命令：

gdown 'https://drive.google.com/uc?id=1sKrpWbD3LvLQ_e5lWgX3wJqT50sTd1aZ'

然后解压数据（解压后的数据将位于 ./datasets/monash/）：

tar -xzvf monash.tar.gz

最后运行实验：

python -m experiments.run_monash

合成数据集（第 5 节）

python -m experiments.run_synthetic

缺失值场景（第 6 节）

python -m experiments.run_missing

记忆能力分析（附录 B）

python -m experiments.run_memorization

引用

请按以下格式引用我们的工作：

@inproceedings{gruver2023llmtime,
    title={{Large Language Models Are Zero Shot Time Series Forecasters}},
    author={Nate Gruver, Marc Finzi, Shikai Qiu and Andrew Gordon Wilson},
    booktitle={Advances in Neural Information Processing Systems},
    year={2023}
}

LLMTime 快速上手指南

LLMTime 是一个利用大型语言模型（LLM）进行零样本（Zero-Shot）时间序列预测的工具。它无需在目标数据集上进行训练，即可将数字编码为文本并通过采样生成预测结果，性能可媲美许多传统时间序列方法。

环境准备

• 操作系统：Linux / macOS (Windows 用户建议使用 WSL2)
• Python 环境：推荐安装 Conda 或 Miniconda 以管理依赖。
• **GPU **(可选)：若运行本地开源模型（如 LLaMA 2, Mistral），需要 NVIDIA GPU 及对应的 CUDA 驱动（默认脚本针对 CUDA 11.8）。若仅调用 OpenAI/Mistral API，则无需 GPU。
• **API Key **(可选)：若使用云端模型，需准备 OpenAI 或 Mistral 的 API Key。

安装步骤

1. 克隆与安装依赖

项目提供了一键安装脚本，会自动创建名为 llmtime 的 Conda 环境并安装所需依赖。

# 克隆仓库（如果尚未克隆）
git clone <repository-url>
cd <repository-directory>

# 运行安装脚本
source install.sh

注意：如果您的系统 CUDA 版本不是 11.8，请在运行上述命令前编辑 install.sh 文件，修改其中 torch 的安装命令以匹配您的 CUDA 版本。

2. 激活环境

安装完成后，激活虚拟环境：

conda activate llmtime

3. 配置 API Key (仅限使用云端模型)

如果您计划通过 API 调用 OpenAI 或 Mistral 模型（无需本地 GPU），请将密钥添加到环境变量中。

配置 OpenAI:

echo "export OPENAI_API_KEY=<your_key>" >> ~/.bashrc
# 如果有自定义 API Base URL (如国内镜像)，也可在此配置
echo "export OPENAI_API_BASE=<your_base_url>" >> ~/.bashrc
source ~/.bashrc

配置 Mistral:

echo "export MISTRAL_KEY=<your_key>" >> ~/.bashrc
source ~/.bashrc

基本使用

快速体验 (推荐)

最简单的方式是运行项目提供的 Jupyter Notebook 演示文件，无需编写额外代码即可直观感受 LLMTime 的预测能力。此过程不需要 GPU。

# 确保已激活 conda 环境
conda activate llmtime

# 启动 Jupyter Notebook
jupyter notebook demo.ipynb

在浏览器打开的 demo.ipynb 中，按顺序执行单元格即可看到时间序列数据的零样本预测结果。

扩展其他模型

目前支持 GPT-3, GPT-3.5, GPT-4, Mistral, 和 LLaMA 2。如需接入其他 LLM，只需修改 models/llms.py 文件，定义相应的文本生成逻辑即可。

参数调优建议

• 数据缩放：默认参数 alpha=0.95, beta=0.3, basic=False 适用于大多数情况。
• 对称数据：如果数据围绕 0 对称（如正弦波），建议设置 basic=True 以避免数据偏移。
• 模型选择：实验表明，经过对齐处理（如 RLHF）的模型（例如 GPT-4）在某些场景下表现可能不如基础模型（如 GPT-3）。gpt-3.5-turbo-instruct 通常需要较低的 temperature (如 0.3)。