[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-chengtan9907--OpenSTL":3,"tool-chengtan9907--OpenSTL":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",160015,2,"2026-04-18T11:30:52",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":75,"owner_twitter":72,"owner_website":78,"owner_url":79,"languages":80,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":10,"env_os":93,"env_gpu":94,"env_ram":93,"env_deps":95,"category_tags":109,"github_topics":112,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":127,"updated_at":128,"faqs":129,"releases":160},9035,"chengtan9907\u002FOpenSTL","OpenSTL","OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning","OpenSTL 是一个专注于时空预测学习的综合性开源基准平台，旨在统一和简化从合成物体轨迹到真实世界场景（如人体动作、驾驶视野、交通流及天气预测）的各类预测任务。它主要解决了该领域长期存在的代码分散、评估标准不一以及复现困难等痛点，为研究人员提供了一个模块化、可扩展且易于上手的实验框架。\n\n该平台特别适合人工智能领域的研究人员、算法工程师及高校开发者使用。无论是希望快速验证新想法的学者，还是致力于构建高性能预测模型的工程师，都能从中受益。OpenSTL 的核心亮点在于其清晰的三层架构设计（核心层、算法层、用户接口层），将复杂的时空预测算法拆解为方法、模型和模块，支持用户灵活组合训练策略与网络结构。此外，它提供了基于 PyTorch Lightning 的推荐实现版本，内置了标准化的训练与评估流程，并计划持续更新涵盖多种主流方法及 MetaFormer 架构的性能基准。通过 OpenSTL，用户可以更高效地进行模型对比、可视化分析及新算法开发，推动时空预测技术的标准化发展。","\u003Cp align=\"center\" width=\"100%\">\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_a8f029884181.png' width=\"50%\">\n\u003C\u002Fp>\n\n# OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning\n\n\u003Cp align=\"left\">\n\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.11249\" alt=\"arXiv\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2306.11249-b31b1b.svg?style=flat\" \u002F>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fblob\u002Fmaster\u002FLICENSE\" alt=\"license\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache--2.0-%23002FA7\" \u002F>\u003C\u002Fa>\n\u003C!-- \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FOpenSTL\" alt=\"Huggingface\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fhuggingface-OpenSTL-blueviolet\" \u002F>\u003C\u002Fa> -->\n\u003Ca href=\"https:\u002F\u002Fopenstl.readthedocs.io\u002Fen\u002Flatest\u002F\" alt=\"docs\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_13d664e1afd7.png\" \u002F>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\" alt=\"docs\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fissues-raw\u002Fchengtan9907\u002FSimVPv2?color=%23FF9600\" \u002F>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\" alt=\"resolution\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fissue%20resolution-1%20d-%23B7A800\" \u002F>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fchengtan9907\u002FOpenSTL\" alt=\"arXiv\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fchengtan9907\u002FOpenSTL\" \u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n[📘Documentation](https:\u002F\u002Fopenstl.readthedocs.io\u002Fen\u002Flatest\u002F) |\n[🛠️Installation](docs\u002Fen\u002Finstall.md) |\n[🚀Model Zoo](docs\u002Fen\u002Fmodel_zoos\u002Fvideo_benchmarks.md) |\n[🤗Huggingface](https:\u002F\u002Fhuggingface.co\u002FOpenSTL) |\n[👀Visualization](docs\u002Fen\u002Fvisualization\u002Fvideo_visualization.md) |\n[🆕News](docs\u002Fen\u002Fchangelog.md)\n\n## Introduction\n\nOpenSTL is a comprehensive benchmark for spatio-temporal predictive learning, encompassing a broad spectrum of methods and diverse tasks, ranging from synthetic moving object trajectories to real-world scenarios such as human motion, driving scenes, traffic flow, and weather forecasting. OpenSTL offers a modular and extensible framework, excelling in user-friendliness, organization, and comprehensiveness. The codebase is organized into three abstracted layers, namely the core layer, algorithm layer, and user interface layer, arranged from the bottom to the top. We support PyTorch Lightning implementation [OpenSTL-Lightning](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002FOpenSTL-Lightning) (recommended) and naive PyTorch version [OpenSTL](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002FOpenSTL).\n\n\u003Cp align=\"center\" width=\"100%\">\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_4fbeff68ac85.png' width=\"90%\">\n\u003C\u002Fp>\n\u003C!-- \u003Cp align=\"center\" width=\"100%\">\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_e7ffe5c928ee.png' width=\"90%\">\n\u003C\u002Fp> -->\n\n\u003Cp align=\"right\">(\u003Ca href=\"#top\">back to top\u003C\u002Fa>)\u003C\u002Fp>\n\n## Overview\n\n\u003Cdetails open>\n\u003Csummary>Major Features and Plans\u003C\u002Fsummary>\n\n- **Flexiable Code Design.**\n  OpenSTL decomposes STL algorithms into `methods` (training and prediction), `models` (network architectures), and `modules`, while providing unified experiment API. Users can develop their own STL algorithms with flexible training strategies and networks for different STL tasks.\n\n- **Standard Benchmarks.**\n  OpenSTL will support standard benchmarks of STL algorithms image with training and evaluation as many open-source projects (e.g., [MMDetection](https:\u002F\u002Fgithub.com\u002Fopen-mmlab\u002Fmmdetection) and [USB](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FSemi-supervised-learning)). We are working on training benchmarks and will update results synchronizingly.\n\n- **Plans.**\n  We plan to provide benchmarks of various STL methods and MetaFormer architectures based on SimVP in various STL application tasks, e.g., video prediction, weather prediction, traffic prediction, etc. We encourage researchers interested in STL to contribute to OpenSTL or provide valuable advice!\n\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>Code Structures\u003C\u002Fsummary>\n\n- `openstl\u002Fapi` contains an experiment runner.\n- `openstl\u002Fcore` contains core training plugins and metrics.\n- `openstl\u002Fdatasets` contains datasets and dataloaders.\n- `openstl\u002Fmethods\u002F` contains training methods for various video prediction methods.\n- `openstl\u002Fmodels\u002F` contains the main network architectures of various video prediction methods.\n- `openstl\u002Fmodules\u002F` contains network modules and layers.\n- `tools\u002F` contains the executable python files `tools\u002Ftrain.py` and `tools\u002Ftest.py` with possible arguments for training, validating, and testing pipelines.\n\n\u003C\u002Fdetails>\n\n## News and Updates\n\n[2023-12-15] [OpenSTL-Lightning](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002FOpenSTL-Lightning) (`OpenSTL` v1.0.0) is released.\n\n[2023-09-23] The OpenSTL paper has been accepted by NeurIPS 2023 Dataset and Benchmark Track! [arXiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.11249) \u002F [Zhihu](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F640271275).\n\n[2023-06-19] `OpenSTL` v0.3.0 is released and will be enhanced in [#25](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\u002F25).\n\n## Installation\n\nThis project has provided an environment setting file of conda, users can easily reproduce the environment by the following commands:\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\ncd OpenSTL\nconda env create -f environment.yml\nconda activate OpenSTL\npython setup.py develop\n```\n\n\u003Cdetails close>\n\u003Csummary>Dependencies\u003C\u002Fsummary>\n\n* argparse\n* dask\n* decord\n* fvcore\n* hickle\n* lpips\n* matplotlib\n* netcdf4\n* numpy\n* opencv-python\n* packaging\n* pandas\n* python\u003C=3.10.8\n* scikit-image\n* scikit-learn\n* torch\n* timm\n* tqdm\n* xarray==0.19.0\n\u003C\u002Fdetails>\n\nPlease refer to [install.md](docs\u002Fen\u002Finstall.md) for more detailed instructions.\n\n## Getting Started\n\nPlease see [get_started.md](docs\u002Fen\u002Fget_started.md) for the basic usage. Here is an example of single GPU non-distributed training SimVP+gSTA on Moving MNIST dataset.\n```shell\nbash tools\u002Fprepare_data\u002Fdownload_mmnist.sh\npython tools\u002Ftrain.py -d mmnist --lr 1e-3 -c configs\u002Fmmnist\u002Fsimvp\u002FSimVP_gSTA.py --ex_name mmnist_simvp_gsta\n```\n\n## Tutorial on using Custom Data\n\nFor the convenience of users, we provide a tutorial on how to train, evaluate, and visualize with OpenSTL on custom data. This tutorial enables users to quickly build their own projects using OpenSTL. For more details, please refer to the [`tutorial.ipynb`](examples\u002Ftutorial.ipynb) in the `examples\u002F` directory.\n\nWe also provide a Colab demo of this tutorial:\n\n\u003Ca href=\"https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F19uShc-1uCcySrjrRP3peXf2RUNVzCjHh?usp=sharing\" target=\"_parent\">\u003Cimg src=\"https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg\" alt=\"Open In Colab\"\u002F>\u003C\u002Fa>\n\n\u003Cp align=\"right\">(\u003Ca href=\"#top\">back to top\u003C\u002Fa>)\u003C\u002Fp>\n\n## Overview of Model Zoo and Datasets\n\nWe support various spatiotemporal prediction methods and provide [benchmarks](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002Fmaster\u002Fdocs\u002Fen\u002Fmodel_zoos) on various STL datasets. We are working on adding new methods and collecting experiment results.\n\n* Spatiotemporal Prediction Methods.\n\n    \u003Cdetails open>\n    \u003Csummary>Currently supported methods\u003C\u002Fsummary>\n\n    - [x] [ConvLSTM](https:\u002F\u002Farxiv.org\u002Fabs\u002F1506.04214) (NeurIPS'2015)\n    - [x] [PredRNN](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.5555\u002F3294771.3294855) (NeurIPS'2017)\n    - [x] [PredRNN++](https:\u002F\u002Farxiv.org\u002Fabs\u002F1804.06300) (ICML'2018)\n    - [x] [E3D-LSTM](https:\u002F\u002Fopenreview.net\u002Fforum?id=B1lKS2AqtX) (ICLR'2018)\n    - [x] [MIM](https:\u002F\u002Farxiv.org\u002Fabs\u002F1811.07490) (CVPR'2019)\n    - [x] [PhyDNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F2003.01460) (CVPR'2020)\n    - [x] [MAU](https:\u002F\u002Fopenreview.net\u002Fforum?id=qwtfY-3ibt7) (NeurIPS'2021)\n    - [x] [PredRNN.V2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2103.09504v4) (TPAMI'2022)\n    - [x] [SimVP](https:\u002F\u002Farxiv.org\u002Fabs\u002F2206.05099) (CVPR'2022)\n    - [x] [SimVP.V2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.12509) (ArXiv'2022)\n    - [x] [TAU](https:\u002F\u002Farxiv.org\u002Fabs\u002F2206.12126) (CVPR'2023)\n    - [x] [MMVP](https:\u002F\u002Farxiv.org\u002Fabs\u002F2308.16154) (ICCV'2023)\n    - [x] [SwinLSTM](https:\u002F\u002Farxiv.org\u002Fabs\u002F2308.09891) (ICCV'2023)\n    - [x] WaST (AAAI'2024)\n\n    \u003C\u002Fdetails>\n\n    \u003Cdetails open>\n    \u003Csummary>Currently supported MetaFormer models for SimVP\u003C\u002Fsummary>\n\n    - [x] [ViT (Vision Transformer)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2010.11929) (ICLR'2021)\n    - [x] [Swin-Transformer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2103.14030) (ICCV'2021)\n    - [x] [MLP-Mixer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2105.01601) (NeurIPS'2021)\n    - [x] [ConvMixer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.09792) (Openreview'2021)\n    - [x] [UniFormer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.09450) (ICLR'2022)\n    - [x] [PoolFormer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2111.11418) (CVPR'2022)\n    - [x] [ConvNeXt](https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.03545) (CVPR'2022)\n    - [x] [VAN](https:\u002F\u002Farxiv.org\u002Fabs\u002F2202.09741) (ArXiv'2022)\n    - [x] [IncepU (SimVP.V1)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2206.05099) (CVPR'2022)\n    - [x] [gSTA (SimVP.V2)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.12509) (ArXiv'2022)\n    - [x] [HorNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F2207.14284) (NeurIPS'2022)\n    - [x] [MogaNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.03295) (ArXiv'2022)\n\n    \u003C\u002Fdetails>\n\n* Spatiotemporal Predictive Learning Benchmarks ([prepare_data](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002Fmaster\u002Ftools\u002Fprepare_data) or [Baidu Cloud](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1fudsBHyrf3nbt-7d42YWWg?pwd=kjfk)).\n\n    \u003Cdetails open>\n    \u003Csummary>Currently supported datasets\u003C\u002Fsummary>\n\n    - [x] [BAIR Robot Pushing](https:\u002F\u002Farxiv.org\u002Fabs\u002F1710.05268) (CoRL'2017) [[download](https:\u002F\u002Fsites.google.com\u002Fberkeley.edu\u002Frobotic-interaction-datasets)] [[config](configs\u002Fbair)]\n    - [x] [Human3.6M](http:\u002F\u002Fvision.imar.ro\u002Fhuman3.6m\u002Fpami-h36m.pdf) (TPAMI'2014) [[download](http:\u002F\u002Fvision.imar.ro\u002Fhuman3.6m\u002Fdescription.php)] [[config](configs\u002Fhuman)]\n    - [x] [KTH Action](https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F1334462) (ICPR'2004) [[download](https:\u002F\u002Fwww.csc.kth.se\u002Fcvap\u002Factions\u002F)] [[config](configs\u002Fkth)]\n    - [x] [KittiCaltech Pedestrian](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002F10.1177\u002F0278364913491297) (IJRR'2013) [[download](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Frpwlnn6j39jjme4\u002Fkitti_data.zip)] [[config](configs\u002Fkitticaltech)]\n    - [x] [Kinetics-400](https:\u002F\u002Farxiv.org\u002Fabs\u002F1705.06950) (ArXiv'2017) [[download](https:\u002F\u002Fdeepmind.com\u002Fresearch\u002Fopen-source\u002Fkinetics)] [[config](configs\u002Fkinetics)]\n    - [x] [Moving MNIST](http:\u002F\u002Farxiv.org\u002Fabs\u002F1502.04681) (ICML'2015) [[download](http:\u002F\u002Fwww.cs.toronto.edu\u002F~nitish\u002Funsupervised_video\u002F)] [[config](configs\u002Fmmnist)]\n    - [x] [Moving FMNIST](http:\u002F\u002Farxiv.org\u002Fabs\u002F1502.04681) (ICML'2015) [[download](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1fudsBHyrf3nbt-7d42YWWg?pwd=kjfk)] [[config](configs\u002Fmfmnist)]\n    - [x] [TaxiBJ](https:\u002F\u002Farxiv.org\u002Fabs\u002F1610.00081) (AAAI'2017) [[download](https:\u002F\u002Fgithub.com\u002FTolicWang\u002FDeepST\u002Ftree\u002Fmaster\u002Fdata\u002FTaxiBJ)] [[config](configs\u002Ftaxibj)]\n    - [x] [WeatherBench](https:\u002F\u002Farxiv.org\u002Fabs\u002F2002.00469) (ArXiv'2020) [[download](https:\u002F\u002Fgithub.com\u002Fpangeo-data\u002FWeatherBench)] [[config](configs\u002Fweather)]\n\n    \u003C\u002Fdetails>\n\n\u003Cp align=\"right\">(\u003Ca href=\"#top\">back to top\u003C\u002Fa>)\u003C\u002Fp>\n\n## Visualization\n\nWe present visualization examples of ConvLSTM below. For more detailed information, please refer to the [visualization](docs\u002Fen\u002Fvisualization\u002F).\n\n- For synthetic moving object trajectory prediction and real-world video prediction, visualization examples of other approaches can be found in [visualization\u002Fvideo_visualization.md](docs\u002Fen\u002Fvisualization\u002Fvideo_visualization.md). BAIR and Kinetics are not benchmarked and only for illustration.\n\n- For traffic flow prediction, visualization examples of other approaches are shown in [visualization\u002Ftraffic_visualization.md](docs\u002Fen\u002Fvisualization\u002Ftraffic_visualization.md).\n\n- For weather forecasting, visualization examples of other approaches are shown in [visualization\u002Fweather_visualization.md](docs\u002Fen\u002Fvisualization\u002Fweather_visualization.md).\n\n\u003Cdiv align=\"center\">\n\n| Moving MNIST | Moving FMNIST | \n| :---: | :---: |\n| \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_96eb0334d3d0.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_f49743a3780f.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> |\n\n| Moving MNIST-CIFAR | KittiCaltech |\n| :---: | :---: |\n|  \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_8ae94302cb29.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_ceee78000155.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> |\n\n| KTH | Human 3.6M | \n| :---: | :---: |\n| \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_185bc6d59eae.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_25e33913b408.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> |\n\n| Traffic - in flow | Traffic - out flow |\n| :---: | :---: |\n| \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_a929a2aaa216.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_1b2193b4edc4.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> |\n\n| Weather - Temperature | Weather - Humidity |\n|  :---: |  :---: |\n| \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_3ada93576d19.gif' height=\"auto\" width=\"360\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_194bc225c202.gif' height=\"auto\" width=\"360\" >\u003C\u002Fdiv>|\n\n| Weather - Latitude Wind | Weather - Cloud Cover | \n| :---: | :---: |\n| \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_6fbfee7097be.gif' height=\"auto\" width=\"360\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_24d9cd98451b.gif' height=\"auto\" width=\"360\" >\u003C\u002Fdiv> |\n\n| BAIR Robot Pushing | Kinetics-400 | \n| :---: | :---: |\n| \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_8b3bb608b72f.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_252f3724b5ba.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> |\n\n\u003C\u002Fdiv>\n\n## License\n\nThis project is released under the [Apache 2.0 license](LICENSE). See `LICENSE` for more information.\n\n## Acknowledgement\n\nOpenSTL is an open-source project for STL algorithms created by researchers in **CAIRI AI Lab**. We encourage researchers interested in video and weather prediction to contribute to OpenSTL! We borrow the official implementations of [ConvLSTM](https:\u002F\u002Farxiv.org\u002Fabs\u002F1506.04214), [PredNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F1605.08104), [PredRNN](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.5555\u002F3294771.3294855) variants, [E3D-LSTM](https:\u002F\u002Fopenreview.net\u002Fforum?id=B1lKS2AqtX), [MAU](https:\u002F\u002Farxiv.org\u002Fabs\u002F1811.07490), [PhyDNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F2003.01460), [MMVP](https:\u002F\u002Farxiv.org\u002Fabs\u002F2308.16154), and [SwinLSTM](https:\u002F\u002Farxiv.org\u002Fabs\u002F2308.09891).\n\n## Citation\n\nIf you are interested in our repository or our paper, please cite the following paper:\n\n```\n@inproceedings{tan2023openstl,\n  title={OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning},\n  author={Tan, Cheng and Li, Siyuan and Gao, Zhangyang and Guan, Wenfei and Wang, Zedong and Liu, Zicheng and Wu, Lirong and Li, Stan Z},\n  booktitle={Conference on Neural Information Processing Systems Datasets and Benchmarks Track},\n  year={2023}\n}\n@inproceedings{gao2022simvp,\n  title={Simvp: Simpler yet better video prediction},\n  author={Gao, Zhangyang and Tan, Cheng and Wu, Lirong and Li, Stan Z},\n  booktitle={Proceedings of the IEEE\u002FCVF Conference on Computer Vision and Pattern Recognition},\n  pages={3170--3180},\n  year={2022}\n}\n@article{tan2022simvpv2,\n  title={SimVP: Towards Simple yet Powerful Spatiotemporal Predictive Learning},\n  author={Tan, Cheng and Gao, Zhangyang and Li, Siyuan and Li, Stan Z},\n  journal={arXiv preprint arXiv:2211.12509},\n  year={2022}\n}\n@inproceedings{tan2023temporal,\n  title={Temporal attention unit: Towards efficient spatiotemporal predictive learning},\n  author={Tan, Cheng and Gao, Zhangyang and Wu, Lirong and Xu, Yongjie and Xia, Jun and Li, Siyuan and Li, Stan Z},\n  booktitle={Proceedings of the IEEE\u002FCVF Conference on Computer Vision and Pattern Recognition},\n  pages={18770--18782},\n  year={2023}\n}\n```\n\n## Contribution and Contact\n\nFor adding new features, looking for helps, or reporting bugs associated with `OpenSTL`, please open a [GitHub issue](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues) and [pull request](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fpulls) with the tag \"new features\", \"help wanted\", or \"enhancement\". Feel free to contact us through email if you have any questions.\n\n- Siyuan Li (lisiyuan@westlake.edu.cn), Westlake University & Zhejiang University\n- Cheng Tan (tancheng@westlake.edu.cn), Westlake University & Zhejiang University\n- Zhangyang Gao (gaozhangyang@westlake.edu.cn), Westlake University & Zhejiang University\n\n\u003Cp align=\"right\">(\u003Ca href=\"#top\">back to top\u003C\u002Fa>)\u003C\u002Fp>\n","\u003Cp align=\"center\" width=\"100%\">\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_a8f029884181.png' width=\"50%\">\n\u003C\u002Fp>\n\n# OpenSTL：时空预测学习的全面基准\n\n\u003Cp align=\"left\">\n\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.11249\" alt=\"arXiv\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2306.11249-b31b1b.svg?style=flat\" \u002F>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fblob\u002Fmaster\u002FLICENSE\" alt=\"license\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache--2.0-%23002FA7\" \u002F>\u003C\u002Fa>\n\u003C!-- \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FOpenSTL\" alt=\"Huggingface\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fhuggingface-OpenSTL-blueviolet\" \u002F>\u003C\u002Fa> -->\n\u003Ca href=\"https:\u002F\u002Fopenstl.readthedocs.io\u002Fen\u002Flatest\u002F\" alt=\"docs\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_13d664e1afd7.png\" \u002F>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\" alt=\"docs\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fissues-raw\u002Fchengtan9907\u002FSimVPv2?color=%23FF9600\" \u002F>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\" alt=\"resolution\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fissue%20resolution-1%20d-%23B7A800\" \u002F>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fchengtan9907\u002FOpenSTL\" alt=\"arXiv\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fchengtan9907\u002FOpenSTL\" \u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n[📘文档](https:\u002F\u002Fopenstl.readthedocs.io\u002Fen\u002Flatest\u002F) |\n[🛠️安装](docs\u002Fen\u002Finstall.md) |\n[🚀模型库](docs\u002Fen\u002Fmodel_zoos\u002Fvideo_benchmarks.md) |\n[🤗Huggingface](https:\u002F\u002Fhuggingface.co\u002FOpenSTL) |\n[👀可视化](docs\u002Fen\u002Fvisualization\u002Fvideo_visualization.md) |\n[🆕新闻](docs\u002Fen\u002Fchangelog.md)\n\n## 简介\n\nOpenSTL 是一个用于时空预测学习的全面基准，涵盖了广泛的方法和多样化的任务，从合成的移动物体轨迹到真实世界场景，如人体运动、驾驶场景、交通流量和天气预报。OpenSTL 提供了一个模块化且可扩展的框架，以其用户友好性、组织性和全面性而著称。代码库被组织成三个抽象层，即核心层、算法层和用户界面层，自下而上排列。我们支持 PyTorch Lightning 实现 [OpenSTL-Lightning](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002FOpenSTL-Lightning)（推荐）以及原生 PyTorch 版本 [OpenSTL](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002FOpenSTL)。\n\n\u003Cp align=\"center\" width=\"100%\">\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_4fbeff68ac85.png' width=\"90%\">\n\u003C\u002Fp>\n\u003C!-- \u003Cp align=\"center\" width=\"100%\">\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_e7ffe5c928ee.png' width=\"90%\">\n\u003C\u002Fp> -->\n\n\u003Cp align=\"right\">(\u003Ca href=\"#top\">返回顶部\u003C\u002Fa>)\u003C\u002Fp>\n\n## 概述\n\n\u003Cdetails open>\n\u003Csummary>主要特性与计划\u003C\u002Fsummary>\n\n- **灵活的代码设计。**\n  OpenSTL 将 STL 算法分解为 `methods`（训练和预测）、`models`（网络架构）和 `modules`，同时提供统一的实验 API。用户可以开发自己的 STL 算法，采用灵活的训练策略和针对不同 STL 任务的网络。\n\n- **标准基准。**\n  OpenSTL 将支持 STL 算法的标准基准，包括训练和评估，类似于许多开源项目（例如 [MMDetection](https:\u002F\u002Fgithub.com\u002Fopen-mmlab\u002Fmmdetection) 和 [USB](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FSemi-supervised-learning)）。我们正在构建训练基准，并将同步更新结果。\n\n- **计划。**\n  我们计划在各种 STL 应用任务中，基于 SimVP 提供多种 STL 方法和 MetaFormer 架构的基准，例如视频预测、天气预测、交通预测等。我们鼓励对 STL 感兴趣的研究人员为 OpenSTL 贡献力量或提供宝贵建议！\n\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>代码结构\u003C\u002Fsummary>\n\n- `openstl\u002Fapi` 包含实验运行器。\n- `openstl\u002Fcore` 包含核心训练插件和指标。\n- `openstl\u002Fdatasets` 包含数据集和数据加载器。\n- `openstl\u002Fmethods\u002F` 包含各种视频预测方法的训练方法。\n- `openstl\u002Fmodels\u002F` 包含各种视频预测方法的主要网络架构。\n- `openstl\u002Fmodules\u002F` 包含网络模块和层。\n- `tools\u002F` 包含可执行的 Python 文件 `tools\u002Ftrain.py` 和 `tools\u002Ftest.py`，并提供用于训练、验证和测试流程的可能参数。\n\n\u003C\u002Fdetails>\n\n## 新闻与更新\n\n[2023-12-15] [OpenSTL-Lightning](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002FOpenSTL-Lightning)（`OpenSTL` v1.0.0）发布。\n\n[2023-09-23] OpenSTL 论文已被 NeurIPS 2023 数据集与基准赛道接收！[arXiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.11249) \u002F [知乎](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F640271275)。\n\n[2023-06-19] `OpenSTL` v0.3.0 发布，并将在 [#25](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\u002F25) 中进一步完善。\n\n## 安装\n\n该项目提供了一个 conda 环境配置文件，用户可以通过以下命令轻松复现环境：\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\ncd OpenSTL\nconda env create -f environment.yml\nconda activate OpenSTL\npython setup.py develop\n```\n\n\u003Cdetails close>\n\u003Csummary>依赖项\u003C\u002Fsummary>\n\n* argparse\n* dask\n* decord\n* fvcore\n* hickle\n* lpips\n* matplotlib\n* netcdf4\n* numpy\n* opencv-python\n* packaging\n* pandas\n* python\u003C=3.10.8\n* scikit-image\n* scikit-learn\n* torch\n* timm\n* tqdm\n* xarray==0.19.0\n\u003C\u002Fdetails>\n\n更多详细说明请参阅 [install.md](docs\u002Fen\u002Finstall.md)。\n\n## 开始使用\n\n请参阅 [get_started.md](docs\u002Fen\u002Fget_started.md) 了解基本用法。以下是使用单 GPU 非分布式训练 SimVP+gSTA 在 Moving MNIST 数据集上的示例。\n```shell\nbash tools\u002Fprepare_data\u002Fdownload_mmnist.sh\npython tools\u002Ftrain.py -d mmnist --lr 1e-3 -c configs\u002Fmmnist\u002Fsimvp\u002FSimVP_gSTA.py --ex_name mmnist_simvp_gsta\n```\n\n## 自定义数据使用教程\n\n为了方便用户，我们提供了使用 OpenSTL 对自定义数据进行训练、评估和可视化的操作教程。该教程使用户能够快速利用 OpenSTL 构建自己的项目。更多详情请参阅 `examples\u002F` 目录下的 [`tutorial.ipynb`](examples\u002Ftutorial.ipynb)。\n\n我们还提供该教程的 Colab 演示：\n\n\u003Ca href=\"https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F19uShc-1uCcySrjrRP3peXf2RUNVzCjHh?usp=sharing\" target=\"_parent\">\u003Cimg src=\"https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg\" alt=\"在 Colab 中打开\"\u002F>\u003C\u002Fa>\n\n\u003Cp align=\"right\">(\u003Ca href=\"#top\">返回顶部\u003C\u002Fa>)\u003C\u002Fp>\n\n## 模型 zoo 和数据集概览\n\n我们支持多种时空预测方法，并在各类 STL 数据集上提供了 [基准测试](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002Fmaster\u002Fdocs\u002Fen\u002Fmodel_zoos)。我们正在不断添加新的方法并收集实验结果。\n\n* 时空预测方法。\n\n    \u003Cdetails open>\n    \u003Csummary>当前支持的方法\u003C\u002Fsummary>\n\n    - [x] [ConvLSTM](https:\u002F\u002Farxiv.org\u002Fabs\u002F1506.04214) (NeurIPS'2015)\n    - [x] [PredRNN](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.5555\u002F3294771.3294855) (NeurIPS'2017)\n    - [x] [PredRNN++](https:\u002F\u002Farxiv.org\u002Fabs\u002F1804.06300) (ICML'2018)\n    - [x] [E3D-LSTM](https:\u002F\u002Fopenreview.net\u002Fforum?id=B1lKS2AqtX) (ICLR'2018)\n    - [x] [MIM](https:\u002F\u002Farxiv.org\u002Fabs\u002F1811.07490) (CVPR'2019)\n    - [x] [PhyDNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F2003.01460) (CVPR'2020)\n    - [x] [MAU](https:\u002F\u002Fopenreview.net\u002Fforum?id=qwtfY-3ibt7) (NeurIPS'2021)\n    - [x] [PredRNN.V2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2103.09504v4) (TPAMI'2022)\n    - [x] [SimVP](https:\u002F\u002Farxiv.org\u002Fabs\u002F2206.05099) (CVPR'2022)\n    - [x] [SimVP.V2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.12509) (ArXiv'2022)\n    - [x] [TAU](https:\u002F\u002Farxiv.org\u002Fabs\u002F2206.12126) (CVPR'2023)\n    - [x] [MMVP](https:\u002F\u002Farxiv.org\u002Fabs\u002F2308.16154) (ICCV'2023)\n    - [x] [SwinLSTM](https:\u002F\u002Farxiv.org\u002Fabs\u002F2308.09891) (ICCV'2023)\n    - [x] WaST (AAAI'2024)\n\n    \u003C\u002Fdetails>\n\n    \u003Cdetails open>\n    \u003Csummary>当前支持用于 SimVP 的 MetaFormer 模型\u003C\u002Fsummary>\n\n    - [x] [ViT (Vision Transformer)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2010.11929) (ICLR'2021)\n    - [x] [Swin-Transformer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2103.14030) (ICCV'2021)\n    - [x] [MLP-Mixer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2105.01601) (NeurIPS'2021)\n    - [x] [ConvMixer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.09792) (Openreview'2021)\n    - [x] [UniFormer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.09450) (ICLR'2022)\n    - [x] [PoolFormer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2111.11418) (CVPR'2022)\n    - [x] [ConvNeXt](https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.03545) (CVPR'2022)\n    - [x] [VAN](https:\u002F\u002Farxiv.org\u002Fabs\u002F2202.09741) (ArXiv'2022)\n    - [x] [IncepU (SimVP.V1)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2206.05099) (CVPR'2022)\n    - [x] [gSTA (SimVP.V2)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.12509) (ArXiv'2022)\n    - [x] [HorNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F2207.14284) (NeurIPS'2022)\n    - [x] [MogaNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.03295) (ArXiv'2022)\n\n    \u003C\u002Fdetails>\n\n* 时空预测学习基准（[prepare_data](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002Fmaster\u002Ftools\u002Fprepare_data) 或 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1fudsBHyrf3nbt-7d42YWWg?pwd=kjfk)）。\n\n    \u003Cdetails open>\n    \u003Csummary>当前支持的数据集\u003C\u002Fsummary>\n\n    - [x] [BAIR 机器人推动物体](https:\u002F\u002Farxiv.org\u002Fabs\u002F1710.05268) (CoRL'2017) [[下载](https:\u002F\u002Fsites.google.com\u002Fberkeley.edu\u002Frobotic-interaction-datasets)] [[配置文件](configs\u002Fbair)]\n    - [x] [Human3.6M](http:\u002F\u002Fvision.imar.ro\u002Fhuman3.6m\u002Fpami-h36m.pdf) (TPAMI'2014) [[下载](http:\u002F\u002Fvision.imar.ro\u002Fhuman3.6m\u002Fdescription.php)] [[配置文件](configs\u002Fhuman)]\n    - [x] [KTH 动作数据集](https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F1334462) (ICPR'2004) [[下载](https:\u002F\u002Fwww.csc.kth.se\u002Fcvap\u002Factions\u002F)] [[配置文件](configs\u002Fkth)]\n    - [x] [Kitti-Caltech 行人数据集](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002F10.1177\u002F0278364913491297) (IJRR'2013) [[下载](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Frpwlnn6j39jjme4\u002Fkitti_data.zip)] [[配置文件](configs\u002Fkitticaltech)]\n    - [x] [Kinetics-400](https:\u002F\u002Farxiv.org\u002Fabs\u002F1705.06950) (ArXiv'2017) [[下载](https:\u002F\u002Fdeepmind.com\u002Fresearch\u002Fopen-source\u002Fkinetics)] [[配置文件](configs\u002Fkinetics)]\n    - [x] [Moving MNIST](http:\u002F\u002Farxiv.org\u002Fabs\u002F1502.04681) (ICML'2015) [[下载](http:\u002F\u002Fwww.cs.toronto.edu\u002F~nitish\u002Funsupervised_video\u002F)] [[配置文件](configs\u002Fmmnist)]\n    - [x] [Moving FMNIST](http:\u002F\u002Farxiv.org\u002Fabs\u002F1502.04681) (ICML'2015) [[下载](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1fudsBHyrf3nbt-7d42YWWg?pwd=kjfk)] [[配置文件](configs\u002Fmfmnist)]\n    - [x] [TaxiBJ](https:\u002F\u002Farxiv.org\u002Fabs\u002F1610.00081) (AAAI'2017) [[下载](https:\u002F\u002Fgithub.com\u002FTolicWang\u002FDeepST\u002Ftree\u002Fmaster\u002Fdata\u002FTaxiBJ)] [[配置文件](configs\u002Ftaxibj)]\n    - [x] [WeatherBench](https:\u002F\u002Farxiv.org\u002Fabs\u002F2002.00469) (ArXiv'2020) [[下载](https:\u002F\u002Fgithub.com\u002Fpangeo-data\u002FWeatherBench)] [[配置文件](configs\u002Fweather)]\n\n    \u003C\u002Fdetails>\n\n\u003Cp align=\"right\">(\u003Ca href=\"#top\">返回顶部\u003C\u002Fa>)\u003C\u002Fp>\n\n## 可视化\n\n我们在此展示 ConvLSTM 的可视化示例。如需更详细的信息，请参阅 [visualization](docs\u002Fen\u002Fvisualization\u002F)。\n\n- 对于合成运动目标轨迹预测和真实世界视频预测，其他方法的可视化示例可在 [visualization\u002Fvideo_visualization.md](docs\u002Fen\u002Fvisualization\u002Fvideo_visualization.md) 中找到。BAIR 和 Kinetics 并未纳入基准测试，仅用于说明目的。\n\n- 对于交通流量预测，其他方法的可视化示例展示在 [visualization\u002Ftraffic_visualization.md](docs\u002Fen\u002Fvisualization\u002Ftraffic_visualization.md) 中。\n\n- 对于天气预报，其他方法的可视化示例展示在 [visualization\u002Fweather_visualization.md](docs\u002Fen\u002Fvisualization\u002Fweather_visualization.md) 中。\n\n\u003Cdiv align=\"center\">\n\n| 移动 MNIST | 移动 FMNIST |\n| :---: | :---: |\n| \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_96eb0334d3d0.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_f49743a3780f.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> |\n\n| 移动 MNIST-CIFAR | KittiCaltech |\n| :---: | :---: |\n|  \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_8ae94302cb29.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_ceee78000155.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> |\n\n| KTH | Human 3.6M |\n| :---: | :---: |\n| \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_185bc6d59eae.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_25e33913b408.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> |\n\n| 交通 - 进入流量 | 交通 - 离开流量 |\n| :---: | :---: |\n| \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_a929a2aaa216.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_1b2193b4edc4.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> |\n\n| 天气 - 温度 | 天气 - 湿度 |\n|  :---: |  :---: |\n| \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_3ada93576d19.gif' height=\"auto\" width=\"360\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_194bc225c202.gif' height=\"auto\" width=\"360\" >\u003C\u002Fdiv>|\n\n| 天气 - 纬度风 | 天气 - 云量 |\n| :---: | :---: |\n| \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_6fbfee7097be.gif' height=\"auto\" width=\"360\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_24d9cd98451b.gif' height=\"auto\" width=\"360\" >\u003C\u002Fdiv> |\n\n| BAIR 机器人推动物体 | Kinetics-400 |\n| :---: | :---: |\n| \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_8b3bb608b72f.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> | \u003Cdiv align=center>\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_readme_252f3724b5ba.gif' height=\"auto\" width=\"260\" >\u003C\u002Fdiv> |\n\n\u003C\u002Fdiv>\n\n## 许可证\n\n本项目采用 [Apache 2.0 许可证](LICENSE) 发布。更多信息请参阅 `LICENSE` 文件。\n\n## 致谢\n\nOpenSTL 是由 **CAIRI AI 实验室** 的研究人员创建的 STL 算法开源项目。我们鼓励对视频和天气预测感兴趣的科研人员为 OpenSTL 做出贡献！我们借鉴了 [ConvLSTM](https:\u002F\u002Farxiv.org\u002Fabs\u002F1506.04214)、[PredNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F1605.08104)、[PredRNN](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.5555\u002F3294771.3294855) 变体、[E3D-LSTM](https:\u002F\u002Fopenreview.net\u002Fforum?id=B1lKS2AqtX)、[MAU](https:\u002F\u002Farxiv.org\u002Fabs\u002F1811.07490)、[PhyDNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F2003.01460)、[MMVP](https:\u002F\u002Farxiv.org\u002Fabs\u002F2308.16154) 和 [SwinLSTM](https:\u002F\u002Farxiv.org\u002Fabs\u002F2308.09891) 的官方实现。\n\n## 引用\n\n如果您对我们的仓库或论文感兴趣，请引用以下论文：\n\n```\n@inproceedings{tan2023openstl,\n  title={OpenSTL: 时空预测学习的全面基准},\n  author={Tan, Cheng and Li, Siyuan and Gao, Zhangyang and Guan, Wenfei and Wang, Zedong and Liu, Zicheng and Wu, Lirong and Li, Stan Z},\n  booktitle={神经信息处理系统会议数据集与基准赛道},\n  year={2023}\n}\n@inproceedings{gao2022simvp,\n  title={Simvp: 更简单却更好的视频预测},\n  author={Gao, Zhangyang and Tan, Cheng and Wu, Lirong and Li, Stan Z},\n  booktitle={IEEE\u002FCVF 计算机视觉与模式识别会议论文集},\n  pages={3170--3180},\n  year={2022}\n}\n@article{tan2022simvpv2,\n  title={SimVP：迈向简单而强大的时空预测学习},\n  author={Tan, Cheng and Gao, Zhangyang and Li, Siyuan and Li, Stan Z},\n  journal={arXiv 预印本 arXiv:2211.12509},\n  year={2022}\n}\n@inproceedings{tan2023temporal,\n  title={时间注意力单元：迈向高效的时空预测学习},\n  author={Tan, Cheng and Gao, Zhangyang and Wu, Lirong and Xu, Yongjie and Xia, Jun and Li, Siyuan and Li, Stan Z},\n  booktitle={IEEE\u002FCVF 计算机视觉与模式识别会议论文集},\n  pages={18770--18782},\n  year={2023}\n}\n```\n\n## 贡献与联系\n\n如需添加新功能、寻求帮助或报告与 `OpenSTL` 相关的错误，请在 GitHub 上打开带有“new features”、“help wanted”或“enhancement”标签的 [issue](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues) 和 [pull request](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fpulls)。如有任何问题，欢迎通过电子邮件与我们联系。\n\n- 李思远 (lisiyuan@westlake.edu.cn)，西湖大学 & 浙江大学\n- 谭成 (tancheng@westlake.edu.cn)，西湖大学 & 浙江大学\n- 高张阳 (gaozhangyang@westlake.edu.cn)，西湖大学 & 浙江大学\n\n\u003Cp align=\"right\">(\u003Ca href=\"#top\">返回顶部\u003C\u002Fa>)\u003C\u002Fp>","# OpenSTL 快速上手指南\n\nOpenSTL 是一个全面的时空预测学习（Spatio-Temporal Predictive Learning）基准库，涵盖了从合成物体运动轨迹到真实场景（如人体动作、驾驶场景、交通流、天气预报）的多种任务。它提供了模块化且可扩展的框架，支持 PyTorch Lightning 版本（推荐）和原生 PyTorch 版本。\n\n## 1. 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐) 或 macOS\n*   **Python 版本**: \u003C= 3.10.8\n*   **GPU**: 支持 CUDA 的 NVIDIA GPU（用于加速训练）\n*   **包管理器**: Conda (推荐)\n\n**主要依赖库**包括：`torch`, `pytorch-lightning`, `timm`, `opencv-python`, `xarray`, `netcdf4`, `scikit-learn` 等。完整依赖列表将在安装步骤中通过配置文件自动处理。\n\n## 2. 安装步骤\n\n推荐使用 Conda 进行环境管理，以下是基于官方提供的 `environment.yml` 进行安装的步骤：\n\n```shell\n# 1. 克隆仓库\ngit clone https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\ncd OpenSTL\n\n# 2. 创建并激活 Conda 环境\n# 注意：此步骤会自动安装所有列出的依赖项\nconda env create -f environment.yml\nconda activate OpenSTL\n\n# 3. 以开发模式安装 OpenSTL\npython setup.py develop\n```\n\n> **提示**：如果下载依赖较慢，建议在运行 `conda env create` 前配置国内镜像源（如清华源或中科大源）。\n\n## 3. 基本使用\n\n以下是在单个 GPU 上，使用 **SimVP+gSTA** 模型在 **Moving MNIST** 数据集上进行非分布式训练的示例。\n\n### 第一步：准备数据\n运行脚本下载 Moving MNIST 数据集：\n\n```shell\nbash tools\u002Fprepare_data\u002Fdownload_mmnist.sh\n```\n\n### 第二步：开始训练\n使用提供的配置文件启动训练：\n\n```shell\npython tools\u002Ftrain.py -d mmnist --lr 1e-3 -c configs\u002Fmmnist\u002Fsimvp\u002FSimVP_gSTA.py --ex_name mmnist_simvp_gsta\n```\n\n**参数说明：**\n*   `-d mmnist`: 指定数据集为 Moving MNIST。\n*   `--lr 1e-3`: 设置学习率。\n*   `-c ...`: 指定模型配置文件路径（此处为 SimVP 搭配 gSTA 架构）。\n*   `--ex_name ...`: 指定实验名称，用于保存日志和模型权重。\n\n### 自定义数据\n如果您希望使用自己的数据集进行训练、评估或可视化，项目提供了详细的 Jupyter Notebook 教程。\n*   本地查看：`examples\u002Ftutorial.ipynb`\n*   在线体验：[Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F19uShc-1uCcySrjrRP3peXf2RUNVzCjHh?usp=sharing)\n\n更多模型库（Model Zoo）和支持的数据集列表，请参考官方文档中的 [Benchmarks](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002Fmaster\u002Fdocs\u002Fen\u002Fmodel_zoos) 部分。","某智慧城市交通研究院的研究团队正致力于开发高精度短时交通流预测系统，以优化红绿灯配时并缓解拥堵。\n\n### 没有 OpenSTL 时\n- **算法复现成本极高**：研究人员需从零搭建时空预测模型代码，不同论文的实现框架各异，导致复现 SimVP 等主流算法耗时数周。\n- **基准对比困难**：缺乏统一的评估标准，自研模型与现有 SOTA 方法在数据预处理、评价指标上不一致，难以公平验证性能提升。\n- **场景适配僵化**：从合成轨迹数据迁移到真实路况视频时，需大量修改底层数据加载和训练逻辑，扩展性差。\n- **实验管理混乱**：多组对照实验的配置分散在不同脚本中，缺乏模块化设计，导致超参数调整和结果追溯极其繁琐。\n\n### 使用 OpenSTL 后\n- **开箱即用的算法库**：直接调用 OpenSTL 内置的标准化 SimVP 等模型接口，将算法验证周期从数周缩短至几天。\n- **权威统一的评测基准**：利用其提供的标准 Benchmark，在相同的交通流数据集上自动完成训练与评估，确保对比结果公正可信。\n- **灵活的模块化架构**：通过解耦的“方法 - 模型 - 模块”三层设计，轻松替换网络结构或调整训练策略，快速适配真实驾驶场景数据。\n- **高效的实验迭代**：借助统一的实验 API 和 PyTorch Lightning 支持，系统化记录和管理多组实验，显著提升了研发效率。\n\nOpenSTL 通过提供标准化、模块化的时空预测学习框架，让研发团队从重复造轮子中解放出来，专注于核心算法创新与业务落地。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fchengtan9907_OpenSTL_96eb0334.png","chengtan9907","Cheng Tan","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fchengtan9907_0b6abed3.jpg",null,"Shanghai Artificial Intelligence Laboratory","Shanghai","https:\u002F\u002Fchengtan9907.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fchengtan9907",[81,85],{"name":82,"color":83,"percentage":84},"Python","#3572A5",98.1,{"name":86,"color":87,"percentage":88},"Shell","#89e051",1.9,1092,186,"2026-04-17T02:09:43","Apache-2.0","未说明","需要 NVIDIA GPU (基于 PyTorch 和 spatiotemporal 任务特性推断，文中未明确指定型号和显存)",{"notes":96,"python":97,"dependencies":98},"项目提供基于 conda 的环境配置文件 (environment.yml)，建议使用 conda 创建环境。支持两种实现版本：推荐的 OpenSTL-Lightning (基于 PyTorch Lightning) 和原生 PyTorch 版本。涉及气象数据预测时需依赖 netcdf4 和 xarray。","\u003C=3.10.8",[99,100,101,102,103,104,105,106,107,108],"torch","timm","xarray==0.19.0","opencv-python","numpy","pandas","scikit-learn","netcdf4","dask","PyTorch Lightning (可选推荐)",[35,110,14,111,15],"其他","视频",[113,114,115,116,117,118,119,120,121,122,123,124,125,126],"benchmark","deep-learning","predictive-learning","pytorch","self-supervised-learning","video-prediction","weather-forecast","awesome-list","artificial-intelligence","attention-mechanism","computer-vision","mlp","transformer","awesome-lists","2026-03-27T02:49:30.150509","2026-04-18T22:32:42.587628",[130,135,140,145,150,155],{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},40518,"使用提供的配置文件训练无法达到 Benchmark 上的指标（如 MSE 偏高），如何解决？","这是一个已知的代码 Bug。维护者已在提交记录 a6e0dd3 中修复了该问题。如果您遇到训练结果与基准不符（例如 SimVP-gSTA 在 MMNIST 上 MSE 远高于预期），请确保拉取最新的代码版本，或者手动应用该修复提交。此外，检查是否正确运行了数据生成脚本（如 generate_mmnist.py）以及数据集格式是否符合要求。","https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\u002F99",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},40519,"重新运行 Model Zoo 中的模型时，训练日志中的 Train Loss 数值与官方日志不一致（例如官方是 13.5，自己是 0.02），原因是什么？","这种差异通常源于数据处理或环境配置的不同。首先，请确认是否运行了 `generate_mmnist.py` 脚本来生成正确的 Moving MNIST 数据序列。其次，检查数据集文件（如 `mnist_test_seq.npy`）是否下载完整且路径正确。如果其他用户能复现官方结果而您不能，建议对比环境变量（CUDA 版本、PyTorch 版本）并尝试清理缓存后重新运行。官方指出在标准环境下复现结果应高度一致。","https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\u002F29",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},40520,"如何提升模型（如 TAU）在特定数据集上的预测性能？","如果确定性预测模型的性能遇到瓶颈，可以尝试结合生成式技术。维护者建议在确定性预测之后添加扩散模型（Diffusion Models）等生成式方法，以进一步改善预测结果的清晰度和准确性。此外，也可以尝试调整超参数（如隐藏层维度、dropout 率、学习率策略等）进行微调。","https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\u002F143",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},40521,"训练完成后，如何使用保存的 checkpoint (.ckpt) 文件直接进行推理预测，而不重新训练？","虽然官方教程主要涵盖训练流程，但用户可以通过加载权重的方式自行实现推理。具体步骤通常包括：实例化模型结构，使用 `torch.load` 加载 `.ckpt` 文件中的状态字典 (`state_dict`)，将其载入模型，然后将模型设置为评估模式 (`model.eval()`) 并输入新数据进行前向传播。如果有特定的调度器（如 OneCycle）导致问题，可能需要检查并移除冲突的学习率更新函数（参考 commit a6e0dd3 中删除的 `lr_scheduler_step` 函数）。","https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\u002F125",{"id":151,"question_zh":152,"answer_zh":153,"source_url":154},40522,"在没有标签的测试集上（如竞赛场景），如何使用训练好的模型进行预测？","OpenSTL 提供了测试接口，可以用于无标签数据的预测。您需要使用训练好的模型加载测试数据（无需标签），运行测试脚本或调用相应的预测函数。生成的预测结果通常会保存为 `.npy` 文件（如 `pred.npy`）。建议参考 `tutorial.ipynb` 学习具体的数据加载和预测调用流程，将测试数据整理为与训练数据相同的格式输入模型即可得到预测输出。","https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\u002F55",{"id":156,"question_zh":157,"answer_zh":158,"source_url":159},40523,"如何在自定义数据集上进行训练？数据格式有什么要求？","要在自定义数据集上训练，需要创建类似 Moving MNIST 的数据加载器。数据形状和数据结构应参考 `mnist_test_seq.npy` 的格式（通常为 [序列长度，批次大小，通道，高，宽] 或类似维度）。您需要编写自定义的 `Dataset` 类来加载数据，并确保在 `openstl\u002Fdatasets\u002Futils` 中注册或正确传递该数据加载器。如果训练损失下降但评估指标异常（如 MSE 极大），请检查数据归一化方式是否与官方预处理一致，以及输入数据的维度顺序是否正确。","https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\u002F31",[161,166,171,176,181,186,191,196,201,206,211,216,221],{"id":162,"version":163,"summary_zh":164,"released_at":165},323941,"vis-weather-5-625","我们在 Weather Bench 上提供了多种天气预报方法的可视化图表（单变量）。您可以通过 [vis_video.py](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002Fmaster\u002Ftools\u002Fvisualizations\u002Fvis_video.py) 脚本，使用已测试的结果（例如 `work_dirs\u002Fexp_name\u002Fsaved`）绘制自己的可视化图。请注意，`--vis_dirs` 参数用于可视化指定路径下的所有实验文件夹，而 `--vis_channel` 参数则可用于选择要可视化的通道。例如，可以运行以下脚本来进行绘图：\n\n```shell\npython tools\u002Fvisualizations\u002Fvis_video.py -d weather_t2m_5_625 -w work_dirs\u002Fexp_name --index 0 --save_dirs fig_w_t2m_5_625_vis\n```\n\n* 我们在 [configs\u002Fweather\u002Ft2m_5_625](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fweather\u002Ft2m_5_625\u002F) 中提供了 Weather Bench `t2m`（K，32×64 分辨率）实验的 GIF 可视化。\n* 我们在 [configs\u002Fweather\u002Fr_5_625](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fweather\u002Fr_5_625\u002F) 中提供了 Weather Bench `r`（%，32×64 分辨率）实验的 GIF 可视化。\n* 我们在 [configs\u002Fweather\u002Fuv10_5_625](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fweather\u002Fuv10_5_625\u002F) 中提供了 Weather Bench `uv10`（ms⁻¹，32×64 分辨率）实验的 GIF 可视化。\n* 我们在 [configs\u002Fweather\u002Ftcc_5_625](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fweather\u002Ftcc_5_625\u002F) 中提供了 Weather Bench `tcc`（%，32×64 分辨率）实验的 GIF 可视化。","2023-06-21T22:13:06",{"id":167,"version":168,"summary_zh":169,"released_at":170},323942,"vis-traffic","我们提供了多种交通预测方法在不同基准数据集上的可视化结果。你可以使用测试结果（例如 `work_dirs\u002Fexp_name\u002Fsaved`）通过 [vis_video.py](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002Fmaster\u002Ftools\u002Fvisualizations\u002Fvis_video.py) 脚本绘制自己的可视化图。请注意，`--vis_dirs` 参数用于可视化指定路径下的所有实验文件夹，而 `--vis_channel` 可以选择要可视化的通道。例如，使用该脚本绘制 TaxiBJ 数据集中第一个通道的可视化图：\n```shell\npython tools\u002Fvisualizations\u002Fvis_video.py -d taxibj -w work_dirs\u002Fexp_name --vis_channel 0 --index 0 --save_dirs fig_taxibj_vis\n```\n* 我们在 [configs\u002Ftaxibj](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Ftaxibj) 中为 TaxiBJ 数据集（32×32 分辨率）提供了实验的 GIF 动态可视化。","2023-06-21T22:01:29",{"id":172,"version":173,"summary_zh":174,"released_at":175},323943,"vis-video","我们在多个基准数据集上提供了各类视频预测方法的可视化结果。您可以使用测试结果目录（例如 `work_dirs\u002Fexp_name\u002Fsaved`）中的文件，通过 [vis_video.py](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002Fmaster\u002Ftools\u002Fvisualizations\u002Fvis_video.py) 脚本绘制自己的可视化图。请注意，`--vis_dirs` 参数用于可视化指定路径下的所有实验文件夹，而 `--vis_channel` 参数则可用于选择要可视化的通道。例如，可以运行以下命令来生成可视化图：\n```shell\npython tools\u002Fvisualizations\u002Fvis_video.py -d mmnist -w work_dirs\u002Fexp_name --index 0 --save_dirs fig_mmnist_vis\n```\n\n* 我们在 [configs\u002Fmmnist](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fmmnist) 中提供了 MMNIST 数据集（64×64 分辨率）实验的 GIF 动态可视化。\n* 我们在 [configs\u002Fmfmnist](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fmfmnist) 中提供了 Moving FMNIST 数据集（64×64 分辨率）实验的 GIF 动态可视化。\n* 我们在 [configs\u002Fmmnist_cifar](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fmmnist_cifar) 中提供了 MMNIST-CIFAR 数据集（64×64 分辨率）实验的 GIF 动态可视化。\n* 我们在 [configs\u002Fkitticaltech](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fkitticaltech) 中提供了 KittiCaltech 数据集（128×160 分辨率）实验的 GIF 动态可视化。\n* 我们在 [configs\u002Fkth](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fkth) 中提供了 KTH 行动数据集（128×128 分辨率）实验的 GIF 动态可视化。\n* 我们在 [configs\u002Fhuman](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fhuman) 中提供了 Human 3.6M 数据集（256×256 分辨率）实验的 GIF 动态可视化。","2023-06-21T21:56:11",{"id":177,"version":178,"summary_zh":179,"released_at":180},323944,"weather-5-625-weights","我们在流行的 [WeatherBench](https:\u002F\u002Farxiv.org\u002Fabs\u002F2002.00469) 数据集上（温度预测 `t2m`），采用 $12\\rightarrow 12$ 帧的预测设置，提供了温度预测基准结果。最佳模型在三次试验中的指标（MSE、MAE、SSIM、pSNR）均已报告。所有方法的参数量（M）、浮点运算次数（G）以及使用 V100 显卡进行推理时的帧率（s）也一并列出。所有方法均使用 Adam 优化器配合余弦退火学习率调度器进行训练（无预热阶段，最低学习率为 1e-6）。\n\n* 我们在 [configs\u002Fweather\u002Ft2m_5_625](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fweather\u002Ft2m_5_625\u002F) 中提供了 `t2m` 的配置文件，适用于 `5.625` 设置（分辨率为 $32\\times 64$）。\n* 我们在 [configs\u002Fweather\u002Fr_5_625](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fweather\u002Fr_5_625\u002F) 中提供了 `r` 的配置文件，适用于 `5.625` 设置（分辨率为 $32\\times 64$）。\n* 我们在 [configs\u002Fweather\u002Fuv10_5_625](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fweather\u002Fuv10_5_625\u002F) 中提供了 `uv10` 的配置文件，适用于 `5.625` 设置（分辨率为 $32\\times 64$）。\n* 我们在 [configs\u002Fweather\u002Ftcc_5_625](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fweather\u002Ftcc_5_625\u002F) 中提供了 `tcc` 的配置文件，适用于 `5.625` 设置（分辨率为 $32\\times 64$）。\n\n### 温度（t2m）STL 基准测试\n| 方法           |  设置 | 参数量 | 浮点运算次数 |  帧率 |  MSE  |   MAE  |  RMSE |   下载   |\n|------------------|:--------:|:------:|:-----:|:----:|:-----:|:------:|:-----:|:------------:|\n| ConvLSTM         | 50 epoch | 14.98M |  136G |   46 | 1.521 | 0.7949 | 1.233 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fweather-5-625-weights\u002Fweather_t2m_convlstm_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fweather-5-625-weights\u002Fweather_t2m_convlstm_cos_ep50.log) |\n| E3D-LSTM         | 50 epoch | 51.09M |  169G |   35 | 1.592 | 0.8059 | 1.262 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fweather-5-625-weights\u002Fweather_t2m_e3dlstm_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fweather-5-625-weights\u002Fweather_t2m_e3dlstm_cos_ep50.log) |\n| PhyDNet          | 50 epoch |  3.09M | 36.8G |  177 | 285.9 | 8.7370 | 16.91 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fweather-5-625-weights\u002Fweather_t2m_phydnet_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fweather-5-625-weights\u002Fweather_t2m_phydnet_cos_ep50.log) |\n| PredRNN          | 50 epoch | 23.57M |  278G |   22 | 1.331 | 0.7246 | 1.154 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fweather-5-625-weights\u002Fweather_t2m_predrnn_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fweather-5-625-weights\u002Fweather_t2m_predrnn_cos_ep50.log) |\n| PredRNN++        | 50 epoch | 38.31M |  413G |   15 | 1.634 | 0.7883 | 1.278 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fweather-5-625-weights\u002Fweather_t2m_predrnnpp_cos_ep50.pth) \\| [日志](https:\u002F","2023-06-20T22:08:02",{"id":182,"version":183,"summary_zh":184,"released_at":185},323945,"human-weights","我们使用$4\\rightarrow 4$帧预测设置，在[Human3.6M](http:\u002F\u002Fvision.imar.ro\u002Fhuman3.6m\u002Fpami-h36m.pdf)数据集上提供了高分辨率的基准结果。最佳模型的指标（MSE、MAE、SSIM、pSNR、LPIPS）在三次实验中均进行了报告。我们采用256×256分辨率，与[STRPM](https:\u002F\u002Fgithub.com\u002FZhengChang467\u002FSTRPM)一致。所有方法的参数量（M）、浮点运算次数（G）以及V100上的推理帧率（s）也一并列出。默认训练设置为：在**单GPU**或**4GPU**环境下，使用Adam优化器训练100个epoch，批量大小为16，并采用余弦退火学习率调度器（无预热），我们为每种方法报告了所使用的GPU配置（同样显示在配置文件中）。\n\n* 为了公平比较不同方法，我们在[configs\u002Fhuman](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fhuman)中提供了配置文件。\n* 我们还在[configs\u002Fkth\u002Fhuman](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fhuman\u002Fsimvp\u002F)中提供了配置文件。\n\n### Human 3.6M 数据集上的 STL 基准测试\n| 方法       |  设置  |  GPU数量  | 参数量 | 浮点运算次数  | FPS |  MSE  |   MAE  |  SSIM  |  PSNR |  LPIPS  |   下载   |\n|--------------|:---------:|:------:|:------:|:------:|:---:|:-----:|:------:|:------:|:-----:|:-------:|:------------:|\n| ConvLSTM-S   |  50 epoch | 1xbs16 |  15.5M |  347.0 |  52 | 125.5 | 1566.7 | 0.9813 | 33.40 | 0.03557 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fhuman-weights\u002Fhuman_convlstm_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fhuman-weights\u002Fhuman_convlstm_cos_ep50.log) |\n| E3D-LSTM     |  50 epoch |  4xbs4 |  60.9M |  542.0 |   7 | 143.3 | 1442.5 | 0.9803 | 32.52 | 0.04133 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fhuman-weights\u002Fhuman_s3dlstm_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fhuman-weights\u002Fhuman_s3dlstm_cos_ep50.log) |\n| PredNet      |  50 epoch | 1xbs16 |  12.5M |   13.7 | 176 | 261.9 | 1625.3 | 0.9786 | 31.76 | 0.03264 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fhuman-weights\u002Fhuman_prednet_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fhuman-weights\u002Fhuman_prednet_cos_ep50.log) |\n| PhyDNet      |  50 epoch | 1xbs16 |   4.2M |   19.1 |  57 | 125.7 | 1614.7 | 0.9804 | 39.84 | 0.03709 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fhuman-weights\u002Fhuman_phydnet_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fhuman-weights\u002Fhuman_phydnet_cos_ep50.log) |\n| MAU          |  50 epoch | 1xbs16 |  20.2M |  105.0 |   6 | 127.3 | 1577.0 | 0.9812 | 33.33 | 0.03561 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fhuman-weights\u002Fhuman_mau_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fhuman-weights\u002Fhuman_mau_cos_ep50.log) |\n| MIM          |  50 epoch |  4xbs4 |  47.6M | 1051.0 |  17 | 112.1 | 1467.1 | 0.9829 | 33.97 | 0.03338 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002F","2023-06-19T21:52:53",{"id":187,"version":188,"summary_zh":189,"released_at":190},323946,"taxibj-weights","我们在流行的 [TaxiBJ](https:\u002F\u002Farxiv.org\u002Fabs\u002F1610.00081) 数据集上，采用 $4\\rightarrow 4$ 帧预测设置，提供了交通基准结果。最佳模型在三次试验中的指标（MSE、MAE、SSIM、pSNR）均已报告。所有方法的参数量（M）、浮点运算次数（G）以及 V100 上的推理帧率（s）也一并列出。所有方法均使用 Adam 优化器配合余弦退火学习率调度器进行训练（预热 5 个 epoch，最低学习率为 1e-6），且仅使用 **单块 GPU**。\n* 为公平比较不同方法，我们在 [configs\u002Ftaxibj](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Ftaxibj) 中提供了配置文件。\n* 我们还在 [configs\u002Ftaxibj\u002Fsimvp](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Ftaxibj\u002Fsimvp\u002F) 中提供了配置文件。\n\n### TaxiBJ 上的 STL 基准测试\n| 方法       |  设置 | 参数量 |  浮点运算次数 |  FPS |   MSE  |  MAE  |  SSIM  |  PSNR |   下载   |\n|--------------|:--------:|:------:|:------:|:----:|:------:|:-----:|:------:|:-----:|:------------:|\n| ConvLSTM-S   | 50 epoch | 14.98M | 20.74G |  815 | 0.3358 | 15.32 | 0.9836 | 39.45 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_convlstm_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_convlstm_cos_ep50.log) |\n| E3D-LSTM\\*   | 50 epoch | 50.99M | 98.19G |   60 | 0.3427 | 14.98 | 0.9842 | 39.64 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_e3dlstm_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_e3dlstm_cos_ep50.log) |\n| PhyDNet      | 50 epoch |  3.09M |  5.60G |  982 | 0.3622 | 15.53 | 0.9828 | 39.46 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_phydnet_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_phydnet_cos_ep50.log) |\n| PredNet      | 50 epoch | 12.5M  |  0.85G | 5031 | 0.3516 | 15.91 | 0.9828 | 39.29 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_prednet_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_prednet_cos_ep50.log) |\n| PredRNN      | 50 epoch | 23.66M | 42.40G |  416 | 0.3194 | 15.31 | 0.9838 | 39.51 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_predrnn_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_predrnn_cos_ep50.log) |\n| MIM          | 50 epoch | 37.86M | 64.10G |  275 | 0.3110 | 14.96 | 0.9847 | 39.65 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_mim_cos_ep50.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_mim_cos_ep50.log) |\n| MAU          | 50 epoch |  4.41M |  6.02G |  540 | 0.3268 | 15.26 | 0.9834 | 39.52 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Ftaxibj-weights\u002Ftaxibj_mau_cos_","2023-06-18T23:50:04",{"id":192,"version":193,"summary_zh":194,"released_at":195},323947,"kth20-weights","我们使用$10\\rightarrow 20$帧预测设置，在[KTH Action](https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F1334462)数据集上提供了长期预测的基准结果。最佳模型在三次试验中的各项指标（MSE、MAE、SSIM、pSNR、LPIPS）均已报告。所有方法的参数量（M）、浮点运算次数（G）以及V100上的推理帧率（s）也一并列出。默认训练配置采用Adam优化器，训练100个epoch，批量大小为16，并使用Onecycle调度器，分别在**单GPU**或**4GPU**环境下进行。我们为每种方法报告了所使用的GPU配置（同样显示在配置文件中）。\n\n* 为了公平比较不同方法，我们在[configs\u002Fkth](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fkth)中提供了配置文件。请注意，`4xbs4`表示在每张GPU上使用4的批量大小进行4张GPU的DDP训练。\n* 我们还在[configs\u002Fkth\u002Fsimvp](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fkth\u002Fsimvp\u002F)中提供了配置文件。\n\n### KTH数据集上的STL基准测试\n| 方法       |  GPU数  | 参数量 |  浮点运算次数  | FPS |  MSE   |  MAE  |  SSIM  |  PSNR |  LPIPS  |   下载   |\n|--------------|:------:|:------:|:-------:|:---:|:------:|:-----:|:------:|:-----:|:-------:|:------------:|\n| ConvLSTM     | 1xbs16 |  14.9M | 1368.0G |  16 |  47.65 | 445.5 | 0.8977 | 26.99 | 0.26686 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkth20-weights\u002Fkth20_convlstm_one_ep100.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkth20-weights\u002Fkth20_convlstm_one_ep100.log) |\n| E3D-LSTM     |  2xbs8 |  53.5M |  217.0G |  17 | 136.40 | 892.7 | 0.8153 | 21.78 | 0.48358 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkth20-weights\u002Fkth20_e3dlstm_one_ep100.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkth20-weights\u002Fkth20_e3dlstm_one_ep100.log) |\n| PredNet      | 1xbs16 |  12.5M |    3.4G | 399 | 152.11 | 783.1 | 0.8094 | 22.45 | 0.32159 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkth20-weights\u002Fkth20_prednet_one_ep100.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkth20-weights\u002Fkth20_prednet_one_ep100.log) |\n| PhyDNet      | 1xbs16 |   3.1M |   93.6G |  58 |  91.12 | 765.6 | 0.8322 | 23.41 | 0.50155 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkth20-weights\u002Fkth20_phydnet_one_ep100.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkth20-weights\u002Fkth20_phydnet_one_ep100.log) |\n| MAU          | 1xbs16 |  20.1M |  399.0G |   8 |  51.02 | 471.2 | 0.8945 | 26.73 | 0.25442 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkth20-weights\u002Fkth20_mau_one_ep100.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkth20-weights\u002Fkth20_mau_one_ep100.log) |\n| MIM          | 1xbs16 |  39.8M | 1099.0G |  17 |  40.73 | 380.8 | 0.9025 | 27.78 | 0.18808 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkth20-weights\u002Fkth20_mim_one_ep100.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fd","2023-06-18T23:28:51",{"id":197,"version":198,"summary_zh":199,"released_at":200},323948,"kitti-weights","我们基于[KittiCaltech行人](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002F10.1177\u002F0278364913491297)数据集，在遵循[PredNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F1605.08104)的$10\\rightarrow 1$帧预测设置下，提供了基准结果。最佳模型在三次试验中的各项指标（MSE、MAE、SSIM、pSNR、LPIPS）均已报告。此外，所有方法的参数量（M）、浮点运算次数（G）以及V100上的推理帧率（s）也一并列出。默认训练设置是在**单GPU**上使用Adam优化器和Onecycle调度器训练100个epoch；而部分计算开销较大的方法（以\\*标注）则使用**4GPU**进行训练。\n* 为公平比较不同方法，我们在[configs\u002Fkitticaltech](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fkitticaltech)中提供了配置文件。\n* 我们还在[configs\u002Fkitticaltech\u002Fsimvp](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fkitticaltech\u002Fsimvp\u002F)中提供了配置文件。\n\n### KittiCaltech上的STL基准测试\n| 方法       | 设置  | 参数量 | 浮点运算次数 | 帧率 | MSE  | MAE  | SSIM  | PSNR | LPIPS  | 下载   |\n|--------------|:---------:|:------:|:------:|:---:|:-----:|:------:|:------:|:-----:|:-------:|:------------:|\n| ConvLSTM-S   | 100 epoch |  15.0M | 595.0G |  33 | 139.6 | 1583.3 | 0.9345 | 27.46 | 0.08575 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkitti-weights\u002Fkitticaltech_convlstm_one_ep100.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkitti-weights\u002Fkitticaltech_convlstm_one_ep100.log) |\n| E3D-LSTM\\*   | 100 epoch |  54.9M |  1004G |  10 | 200.6 | 1946.2 | 0.9047 | 25.45 | 0.12602 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkitti-weights\u002Fkitticaltech_e3dlstm_one_ep100.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkitti-weights\u002Fkitticaltech_e3dlstm_one_ep100.log) |\n| PredNet      | 100 epoch |  12.5M |  42.8G |  94 | 159.8 | 1568.9 | 0.9286 | 27.21 | 0.11289 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkitti-weights\u002Fkitticaltech_prednet_one_ep100.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkitti-weights\u002Fkitticaltech_prednet_one_ep100.log) |\n| PhyDNet      | 100 epoch |   3.1M |  40.4G | 117 | 312.2 | 2754.8 | 0.8615 | 23.26 | 0.32194 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkitti-weights\u002Fkitticaltech_phydnet_one_ep100.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkitti-weights\u002Fkitticaltech_phydnet_one_ep100.log) |\n| MAU          | 100 epoch |  24.3M | 172.0G |  16 | 177.8 | 1800.4 | 0.9176 | 26.14 | 0.09673 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkitti-weights\u002Fkitticaltech_mau_one_ep100.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkitti-weights\u002Fkitticaltech_mau_one_ep100.log) |\n| MIM          | 100 epoch |  49.2M |  1858G |  39 | 125.1 | 1464.0 | 0.9409 | 28.10 | 0.06353 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fkitti-weights\u002Fkitticaltech_mim_one_ep100.p","2023-06-18T23:18:26",{"id":202,"version":203,"summary_zh":204,"released_at":205},323949,"mmnist-cifar-weights","与[Moving MNIST](http:\u002F\u002Farxiv.org\u002Fabs\u002F1502.04681)类似，我们进一步设计了基于CIFAR-10复杂背景的MNIST高级版本，即MMNIST-CIFAR基准，并采用与[PredRNN](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.5555\u002F3294771.3294855)一致的$10\\rightarrow 10$帧预测设置。最佳模型在三次试验中的各项指标（MSE、MAE、SSIM、pSNR）均已报告。同时，所有方法的参数量（M）、浮点运算次数（G）以及V100显卡上的推理帧率（s）也一并列出。所有方法均使用Adam优化器配合Onecycle调度器进行训练，且仅使用**单块GPU**。\n* 为公平比较不同方法，我们在[configs\u002Fmmnist_cifar](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fmmnist_cifar)中提供了配置文件。\n* 我们还在[configs\u002Fmmnist_cifar\u002Fsimvp](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fmmnist_cifar\u002Fsimvp\u002F)中提供了相关配置文件。\n\n### MMNIST-CIFAR上的STL基准测试\n| 方法       |   设置  | 参数量 |  浮点运算次数 | 帧率 |  MSE   |   MAE  |  SSIM  |  PSNR |   下载   |\n|--------------|:----------:|:------:|:------:|:---:|:------:|:------:|:------:|:-----:|:------------:|\n| ConvLSTM-S   |  200轮次 |  15.5M |  58.8G | 113 |  73.31 | 338.56 | 0.9204 | 23.09 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-cifar-weights\u002Fmmnist_cifar_convlstm_one_ep200.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-cifar-weights\u002Fmmnist_cifar_convlstm_one_ep200.log) |\n| ConvLSTM-L   |  200轮次 |  34.4M | 130.0G |  50 |  62.86 | 291.05 | 0.9337 | 23.83 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-cifar-weights\u002Fmmnist_cifar_convlstm_l_one_ep200.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-cifar-weights\u002Fmmnist_cifar_convlstm_l_one_ep200.log) |\n| PredNet      |  200轮次 |  12.5M |   8.6G | 945 | 286.70 | 514.14 | 0.8139 | 17.49 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-cifar-weights\u002Fmmnist_cifar_prednet_one_ep200.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-cifar-weights\u002Fmmnist_cifar_prednet_one_ep200.log) |\n| PhyDNet      |  200轮次 |   3.1M |  15.3G | 182 | 142.54 | 700.37 | 0.8276 | 19.92 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-cifar-weights\u002Fmmnist_cifar_phydnet_one_ep200.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-cifar-weights\u002Fmmnist_cifar_phydnet_one_ep200.log) |\n| PredRNN      |  200轮次 |  23.8M | 116.0G |  54 |  50.09 | 225.04 | 0.9499 | 24.90 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-cifar-weights\u002Fmmnist_cifar_predrnn_one_ep200.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-cifar-weights\u002Fmmnist_cifar_predrnn_one_ep200.log) |\n| PredRNN++    |  200轮次 |  38.6M | 171.7G |  38 |  44.19 | 198.27 | 0.9567 | 25.60 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-cifar-weights\u002Fmmnist_cifar_predrnnp","2023-06-18T23:08:48",{"id":207,"version":208,"summary_zh":209,"released_at":210},323950,"mfmnist-weights","与[Moving MNIST](http:\u002F\u002Farxiv.org\u002Fabs\u002F1502.04681)类似，我们还提供了MNIST的进阶版本——MFMNIST基准测试结果，采用遵循[PredRNN](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.5555\u002F3294771.3294855)的$10\\rightarrow 10$帧预测设置。最佳模型在三次试验中的各项指标（MSE、MAE、SSIM、pSNR）均已报告。所有方法的参数量（M）、浮点运算次数（G）以及V100上的推理帧率（s）也一并列出。所有方法均使用Adam优化器配合Onecycle调度器进行训练，且仅使用**单块GPU**。\n* 为公平比较不同方法，我们在[configs\u002Fmfmnist](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fmfmnist)中提供了配置文件。\n* 我们还在SimVP上对流行的Metaformer架构进行了基准测试，训练时长为200个epoch。相关配置文件位于[configs\u002Fmfmnist\u002Fsimvp](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fmfmnist\u002Fsimvp\u002F)。\n\n### MFMNIST上的STL基准测试\n| 方法       |   设置  | 参数量 |  浮点运算次数 | 帧率  |  MSE   |   MAE  |  SSIM  |  PSNR |   下载   |\n|--------------|:----------:|:------:|:------:|:----:|:------:|:------:|:------:|:-----:|:------------:|\n| ConvLSTM-S   |  200 epoch |  15.0M |  56.8G |  113 |  28.87 | 113.20 | 0.8793 | 22.07 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmfmnist-weights\u002Ffmnist_convlstm_one_ep200.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmfmnist-weights\u002Fmfmnist_convlstm_one_ep200.log) |\n| ConvLSTM-L   |  200 epoch |  33.8M | 127.0G |   50 |  25.51 | 104.85 | 0.8928 | 22.67 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmfmnist-weights\u002Ffmnist_convlstm_l_one_ep200.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmfmnist-weights\u002Fmfmnist_convlstm_l_one_ep200.log) |\n| PredNet      |  200 epoch |  12.5M |   8.6G |  659 | 185.94 | 318.30 | 0.6713 | 14.83 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmfmnist-weights\u002Ffmnist_prednet_one_ep200.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmfmnist-weights\u002Fmfmnist_prednet_one_ep200.log) |\n| PhyDNet      |  200 epoch |  3.1M  |  15.3G |  182 |  34.75 | 125.66 | 0.8567 | 22.03 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmfmnist-weights\u002Ffmnist_phydnet_one_ep200.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmfmnist-weights\u002Fmfmnist_phydnet_one_ep200.log) |\n| PredRNN      |  200 epoch |  23.8M | 116.0G |   54 |  22.01 |  91.74 | 0.9091 | 23.42 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmfmnist-weights\u002Ffmnist_predrnn_one_ep200.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmfmnist-weights\u002Fmfmnist_predrnn_one_ep200.log) |\n| PredRNN++    |  200 epoch |  38.6M | 171.7G |   38 |  21.71 |  91.97 | 0.9097 | 23.45 | [模型](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmfmnist-weights\u002Ffmnist_predrnnpp_one_ep200.pth) \\| [日志](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownlo","2023-06-18T22:57:44",{"id":212,"version":213,"summary_zh":214,"released_at":215},323951,"mmnist-weights","We provide benchmark results on the popular [Moving MNIST](http:\u002F\u002Farxiv.org\u002Fabs\u002F1502.04681) dataset using $10\\rightarrow 10$ frames prediction setting following [PredRNN](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.5555\u002F3294771.3294855). Metrics (MSE, MAE, SSIM, pSNR) of the best models are reported in three trials. Parameters (M), FLOPs (G), and V100 inference FPS (s) are also reported for all methods. All methods are trained by Adam optimizer with Onecycle scheduler and **single GPU**.\r\n* For a fair comparison of different methods, we provide config files in [configs\u002Fmmnist](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fmmnist).\r\n* We also benchmark popular Metaformer architectures on SimVP with training times of 200-epoch and 2000-epoch. We provide config files in [configs\u002Fmmnist\u002Fsimvp](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fconfigs\u002Fmmnist\u002Fsimvp\u002F).\r\n\r\n### STL Benchmarks on MMNIST\r\n| Method       |   Setting  | Params |  FLOPs |  FPS |   MSE  |   MAE  |  SSIM  |  PSNR |   Download   |\r\n|--------------|:----------:|:------:|:------:|:----:|:------:|:------:|:------:|:-----:|:------------:|\r\n| ConvLSTM-S   |  200 epoch |  15.0M |  56.8G |  113 |  29.80 |  90.64 | 0.9288 | 22.10 | [model](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_convlstm_one_ep200.pth) \\| [log](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_convlstm_one_ep200.log) |\r\n| ConvLSTM-L   |  200 epoch |  33.8M | 127.0G |   50 |  27.78 |  86.14 | 0.9343 | 22.44 | [model](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_convlstm_l_one_ep200.pth) \\| [log](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_convlstm_l_one_ep200.log) |\r\n| PredNet      |  200 epoch |  12.5M |   8.6G |  659 | 161.38 | 201.16 | 0.7783 | 14.33 | [model](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_prednet_one_ep200.pth) \\| [log](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_prednet_one_ep200.log) |\r\n| PhyDNet      |  200 epoch |   3.1M |  15.3G |  182 |  28.19 |  78.64 | 0.9374 | 22.62 | [model](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_phydnet_one_ep200.pth) \\| [log](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_phydnet_one_ep200.log) |\r\n| PredRNN      |  200 epoch |  23.8M | 116.0G |   54 |  23.97 |  72.82 | 0.9462 | 23.28 | [model](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_predrnn_one_ep200.pth) \\| [log](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_predrnn_one_ep200.log) |\r\n| PredRNN++    |  200 epoch |  38.6M | 171.7G |   38 |  22.06 |  69.58 | 0.9509 | 23.65 | [model](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_predrnnpp_one_ep200.pth) \\| [log](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_predrnnpp_one_ep200.log) |\r\n| MIM          |  200 epoch |  38.0M | 179.2G |   37 |  22.55 |  69.97 | 0.9498 | 23.56 | [model](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_mim_one_ep200.pth) \\| [log](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_mim_one_ep200.log) |\r\n| MAU          |  200 epoch |   4.5M |  17.8G |  201 |  26.86 |  78.22 | 0.9398 | 22.76 | [model](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_mau_one_ep200.pth) \\| [log](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_mau_one_ep200.log) |\r\n| E3D-LSTM     |  200 epoch |  51.0M | 298.9G |   18 |  35.97 |  78.28 | 0.9320 | 21.11 | [model](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_e3dlstm_one_ep200.pth) \\| [log](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_e3dlstm_one_ep200.log) |\r\n| CrevNet      |  200 epoch |   5.0M | 270.7G |   10 |  30.15 |  86.28 | 0.9350 |       | [model](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_crevnet_one_ep200.pth) \\| [log](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_crevnet_one_ep200.log) |\r\n| PredRNN.V2   |  200 epoch |  23.9M | 116.6G |   52 |  24.13 |  73.73 | 0.9453 | 23.21 | [model](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_predrnnv2_one_ep200.pth) \\| [log](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_predrnnv2_one_ep200.log) |\r\n| DMVFN        |  200 epoch |   3.5M |   0.2G | 1145 | 123.67 | 179.96 | 0.8140 | 16.15 | [model](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_dmvfn_one_ep200.pth) \\| [log](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Freleases\u002Fdownload\u002Fmmnist-weights\u002Fmmnist_dmvfn_one_ep200.log) |\r\n| SimVP+IncepU |  200 epoch |  58.0M |  19.4G |  209 |  32.15 |  89.05 | 0.9268 | 37.97 | [model](https:\u002F\u002Fgithub.c","2023-06-18T22:24:51",{"id":217,"version":218,"summary_zh":219,"released_at":220},323952,"v0.2.0","Release version to OpenSTL V0.2.0 as [#20](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fissues\u002F20).\r\n\r\n#### Code Refactoring\r\n\r\n* Rename the project to `OpenSTL` instead of `SimVPv2` with module name refactoring.\r\n* Refactor the code structure thoroughly to support non-distributed and distributed (DDP) training & testing with `tools\u002Ftrain.py` and `tools\u002Ftest.py`.\r\n* Refactor `_dist_forward_collect` and `_non_dist_forward_collect` to support collection of metrics.\r\n\r\n#### New Features\r\n\r\n* Update the Weather Bench dataloader with `5.625deg`, `2.8125deg`, and `1.40625deg` settings. Add Human3.6M dataloader (supporting augmentations) and config files. Add Moving FMNIST and MMNIST_CIFAR as two advanced variants of MMNIST datasets.\r\n* Update tools for dataset preparation of Human3.6M, Weather Bench, and Moving FMNIST.\r\n* Support [PredNet](https:\u002F\u002Fopenreview.net\u002Fforum?id=B1ewdt9xe), [TAU](https:\u002F\u002Farxiv.org\u002Fabs\u002F2206.12126), and [DMVFN](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.09875) with configs and benchmark results. And fix bugs in these new STL methods.\r\n* Support multi-variant versions of Weather Bench with dataloader and metrics.\r\n* Support [lpips](https:\u002F\u002Fgithub.com\u002Frichzhang\u002FPerceptualSimilarity\u002Ftree\u002Fmaster) metric for video prediction benchmarks.\r\n* Support STL results visualization by [vis_video](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Ftree\u002Fmaster\u002Ftools\u002Fvisualizations\u002Fvis_video.py) for video prediction, traffic prediction, weather prediction tasks.\r\n* Support visualization of STL methods on various datasets (on updating).\r\n\r\n#### Update Documents\r\n\r\n* Update documents of video prediction, traffic prediction, and weather prediction benchmarks with benchmark results and specific GPU settings (e.g., **single GPU**). Provide config files for supported STL methods.\r\n* Update `docs\u002Fen` documents for the basic usages and new features of V0.2.0. Adding detailed steps of installation and preparation datasets.\r\n* Clean-up STL benchmarks and update to the latest results with config files provided.\r\n\r\n#### Fix Bugs\r\n\r\n* Fix bugs in training loops and validation loops to save GPU memory.\r\n* There might be some bugs in not using all parameters for calculating losses in ConvLSTM CrevNet, which should use `--find_unused_parameters` for DDP training.\r\n* Fig bugs of building distributed dataloaders and preparation of DDP training.\r\n* Fix bugs of some STL methods (CrevNet, DMVFN, PreDNet, and TAU).\r\n* Fix bugs in datasets: fixing Caltech dataset for evaluation (28\u002F05\u002F2023 updating [Baidu Cloud](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1fudsBHyrf3nbt-7d42YWWg?pwd=kjfk)).\r\n* Fix the bug of `PSNR` (changing the implementation from E3D-LSTM to the current version) and update results in the benchmarks.","2023-06-18T21:51:48",{"id":222,"version":223,"summary_zh":224,"released_at":225},323953,"v0.1.0","Release version to SimVPv2 V0.1.0. This version is also known as OpenSTL V0.1.0. We have separated a branch for `SimVPv2` since we plan to refactor this project with advanced features.\r\n\r\n[2023-05-06] We add some meta files in this release to facilitate downloading.\r\n[2023-06-04] We release the test sets of MMNIST datasets. Please refer to [install.md](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FOpenSTL\u002Fblob\u002Fmaster\u002Fdocs\u002Fen\u002Finstall.md) for `dataset preparation` in OpenSTL.\r\n[2023-06-26] We add `kth_action.zip` in the image format (`.jpg`) for the kth dataloader.\r\n\r\n## Features\r\n\r\n* Refactor code structures as `simvp\u002Fapi`, `simvp\u002Fcore`, `simvp\u002Fdatasets`, `simvp\u002Fmethods`, `simvp\u002Fmodels`, `simvp\u002Fmodules`. We support non-distributed training and evaluation by the executable python file `tools\u002Fnon_dist_train.py`. Refactor config files for SimVP models.\r\n* Fix bugs in tools\u002Fnondist_train.py, simvp\u002Futils, environment.yml, and .gitignore, etc.\r\n* Support Timm optimizers and schedulers.\r\n* Update popular Metaformer models as the hidden Translator $h$ in SimVP, supporting [ViT](https:\u002F\u002Farxiv.org\u002Fabs\u002F2010.11929), [Swin-Transformer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2103.14030), [MLP-Mixer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2105.01601), [ConvMixer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.09792), [UniFormer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.09450), [PoolFormer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2111.11418), [ConvNeXt](https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.03545), [VAN](https:\u002F\u002Farxiv.org\u002Fabs\u002F2202.09741), [HorNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F2207.14284), and [MogaNet](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.03295).\r\n* Update implementations of dataset and dataloader, supporting [KTH Action](https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F1334462), [KittiCaltech Pedestrian](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002F10.1177\u002F0278364913491297), [Moving MNIST](http:\u002F\u002Farxiv.org\u002Fabs\u002F1502.04681), [TaxiBJ](https:\u002F\u002Farxiv.org\u002Fabs\u002F1610.00081), and [WeatherBench](https:\u002F\u002Farxiv.org\u002Fabs\u002F2002.00469).\r\n\r\n## Documents\r\n\r\n* Upload `readthedocs` documents. Summarize video prediction benchmark results on MMNIST in [video_benchmarks.md](https:\u002F\u002Fgithub.com\u002Fchengtan9907\u002FSimVPv2\u002Fdocs\u002Fen\u002Fmodel_zoos\u002Fvideo_benchmarks.md).\r\n* Update benchmark results of video prediction baselines and MetaFormer architectures based on SimVP on MMNIST, TaxiBJ, and WeatherBench datasets.\r\n* Update README and add a license.\r\n","2023-04-18T17:38:54"]