TNT-Trajectory-Prediction
TNT-Trajectory-Prediction 是一个基于 PyTorch 开发的开源项目，旨在复现并优化"Target-driveN Trajectory Prediction"（TNT）及 VectorNet 算法。它主要解决自动驾驶领域中复杂的轨迹预测难题，即如何根据车辆历史状态和高精地图信息，准确推断其未来的行驶路径。
该工具的核心亮点在于采用了“目标驱动”的三阶段预测机制：首先预测潜在的目标终点，再规划到达该终点的具体轨迹，最后评估各轨迹的可能性。这种分步策略显著提升了长时域运动预测的准确性。项目在 Argoverse 等权威数据集上进行了验证，部分指标表现优异，甚至超越了原始论文报告的基线水平，为学术界提供了可靠的复现参考。
需要注意的是，当前版本在训练时对内存要求较高（建议 128GB 以上），适合拥有高性能计算资源的环境。TNT-Trajectory-Prediction 非常适合自动驾驶算法研究人员、计算机视觉开发者以及相关领域的学生使用。通过提供预训练权重和详细的数据准备指南，它帮助用户快速搭建实验环境，深入探索基于矢量化表示的运动预测技术，推动自动驾驶感知系统的研发进程。
使用场景
某自动驾驶初创公司的感知算法团队正在基于 Argoverse 数据集开发城市道路预测模块，旨在提升车辆对周围动态障碍物未来轨迹的判断能力。
没有 TNT-Trajectory-Prediction 时
- 预测意图模糊：传统模型仅依赖历史运动状态进行外推，难以识别车辆变道或转弯等特定目标意图，导致在复杂路口预测轨迹偏离实际路径。
- 长时预测误差大：随着预测时间步长增加，累积误差迅速放大，minFDE（最终位移误差）指标居高不下，系统无法准确判断 3 秒后车辆的确切位置。
- 多模态覆盖不足：面对具有多种可能行驶路径的场景（如岔路口），模型输出的单一轨迹缺乏多样性，Miss Rate（漏检率）较高，存在严重的安全隐患。
- 地图信息利用低效：难以将高精地图的车道拓扑结构与代理动力学特征有效融合，导致预测结果有时违反交通规则（如预测车辆穿越隔离带）。
使用 TNT-Trajectory-Prediction 后
- 目标驱动精准定位：利用 TNT 的目标驱动机制，先预测潜在终点再生成轨迹，显著提升了模型对变道、转向等意图的理解，轨迹贴合度大幅提高。
- 长时精度显著优化：借助 VectorNet 对矢量化高精地图的编码能力，有效约束了长时预测的发散问题，minFDE 指标从基准线的 3.67 米降至 3.15 米甚至更低。
- 多模态分布更真实：通过生成多样化的候选轨迹集（K=6），覆盖了行人或车辆可能的多种去向，将 2 米范围内的漏检率（MR）控制在极低水平。
- 规则约束自然融入：模型天然融合了车道中心线与交通约束，生成的轨迹序列严格遵循道路拓扑结构，彻底消除了“穿墙”或违规变道等不合理预测。
TNT-Trajectory-Prediction 通过引入目标驱动机制与矢量化地图编码，从根本上解决了复杂场景下长时轨迹预测不准与多模态缺失的难题，为自动驾驶规划决策提供了高可靠性的感知输入。
运行环境要求
- Linux (Ubuntu 18.04)
必需 NVIDIA GPU，支持 CUDA（具体版本未说明，需配合 PyTorch 1.8.1），支持多卡分布式训练（需安装 nvidia-apex）
推荐 128GB+（训练时因使用内存数据加载器消耗巨大）
快速开始
TNT-轨迹-прогнозирование
Реализация на Python и PyTorch алгоритмов TNT: Target-driveN Trajectory Prediction и VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation.
ВНИМАНИЕ: В настоящее время обучение требует большого объема памяти (128 ГБ+), так как используется загрузчик данных, хранящий все данные в оперативной памяти. В ближайшем будущем мы предоставим новый загрузчик данных, который будет загружать только обучающие партии с диска для каждого шага.
Достигнутые лучшие результаты
Лучшие результаты, достигнутые нашей реализацией и представленные в статьях на тестовом наборе данных.
| Алгоритм | minADE(K=1) | minFDE(K=1) | MR(2.0m) | minADE(K=6) | minFDE(K=6) | MR(2.0m) |
|---|---|---|---|---|---|---|
| VectorNet (Оригинал) | 1.66 | 3.67 | - | - | - | - |
| VectorNet (Наша реализация) | 1.46 | 3.15 | 0.548 | - | - | - |
| TNT (Оригинал) | - | - | - | 0.728 | 1.292 | 0.093 |
| TNT (Наша реализация) | - | - | - | 0.928 | 1.686 | 0.195 |
Лучшие результаты, достигнутые нашей реализацией и представленные в статьях на тестовом наборе данных на Argoverse Leaderboard.
| Алгоритм | minADE(K=6) | minFDE(K=6) | MR(2.0m) |
|---|---|---|---|
| TNT - CoRL20 | 0.9097 | 1.4457 | 0.1656 |
| CUHK RPAI (TNT_20220819) | 1.1518 | 2.1322 | 0.2585 |
Настройка
Необходимые условия
Данная реализация была протестирована на Ubuntu 18.04 и имеет следующие требования:
python == 3.8.8
pytorch == 1.8.1
torch-geometric == 1.7.2 (Список связанных библиотек приведен ниже.)
- pytorch-cluster == 1.5.9
- pytorch-geometric == 1.7.2
- pytorch-scatter == 2.0.7
- pytorch-sparse == 0.6.10
- pytorch-spline-conv == 1.2.1
pandas == 1.4.4
tqdm == 4.60.0
tensorboard
(Опционально) nvidia-apex == 1.0
Вы также можете установить зависимости с помощью pip.
pip install -r requirements.txt
Подготовка данных
Пожалуйста, скачайте Argoverse Motion Forecasting v1.1 и извлеките сжатые данные в папку "raw_datas" согласно следующей структуре каталогов:
├── TNT-Trajectory-Prediction
│ ├── dataset
│ │ ├── raw_data
│ │ │ ├── train
│ │ │ │ ├── *.csv
│ │ │ ├── val
│ │ │ │ ├── *.csv
│ │ │ ├── test_obs
│ │ │ │ ├── *.csv
│ │ ├── interm_data
Затем перейдите в корневую директорию этого проекта в терминале (/path_you_place_this_folder/TNT-Trajectory-Prediction) и выполните команду:
./scripts/preprocessing.sh
Если вы храните исходные данные в другом месте, вы можете изменить относительный путь в bash-скрипте на ваш путь.
ВНИМАНИЕ: Если вы не знакомы с bash-скриптами и путями, просто следуйте указанной структуре каталогов.
Напоминание: Перед первым запуском скрипта измените права доступа к файлу с помощью команды "chmod +x scripts/preprocessing.sh".
Пример обработанного небольшого набора данных доступен здесь. Скачайте его, чтобы проверить, правильно ли настроена ваша среда.
Использование
Обучение
Для обучения модели VectorNet с использованием NVIDIA GPU и CUDA:
python train_vectornet.py --data_root dataset/interm_data --output_dir run/tnt/ \ --aux_loss --batch_size 64 --with_cuda --cuda_device 0 \ --lr 0.0010 --warmup_epoch 30 --lr_update_freq 10 --lr_decay_rate 0.1или запустите bash-скрипт:
./scripts/train_vectornet.sh.Напоминание: Перед первым запуском скрипта измените права доступа к файлу с помощью команды "chmod +x scripts/train_vectornet.sh".
Для обучения модели TNT с использованием NVIDIA GPU и CUDA:
python train_tnt.py --data_root dataset/interm_data --output_dir run/tnt/ \ --aux_loss --batch_size 64 --with_cuda --cuda_device 0 \ --lr 0.0010 --warmup_epoch 30 --lr_update_freq 10 --lr_decay_rate 0.1или запустите bash-скрипт:
./scripts/train_tnt.sh.Напоминание: Перед первым запуском скрипта измените права доступа к файлу с помощью команды "chmod +x scripts/train_vectornet.sh".
Для более подробных настроек, пожалуйста, обратитесь к парсерам в файлах
train_tnt.pyиtrain_vectornet.py.Для пользователей с несколькими GPU данная реализация использует библиотеку NVIDIA Apex для распределенного параллельного обучения. Чтобы включить многопроцессорное обучение:
python -m torch.distributed.launch --nproc_per_node=2 train_tnt.py ...или активируйте соответствующую команду в bash-скриптах для обучения.
Инференс
Для инференса модели TNT предоставляется скрипт "test_tnt.py". Он может делать предсказания на тестовом наборе данных и генерировать .h5-файлы, необходимые для оценки Argoverse. Вам необходимо указать путь к вашей обученной модели или чекпоинту. Поскольку модель обучена в относительной системе координат, предусмотрен механизм преобразования координат, чтобы восстановить мировые координаты предсказанных траекторий.
Напоминание: Укажите либо путь к чекпоинту, либо к обученной модели. Также укажите путь к вашему набору данных, если вы используете другую структуру каталогов.
Результат предсказания можно получить с помощью команды:
python test_tnt.py -rm Path_to_Your_Model_File
Разное
ТБД
待办事项
- 数据相关：
- 测试集预处理；
- 模型相关：
- 创建模型基类；
- 训练相关：
- 启用多GPU训练；（使用Nvidia APEX库，后续将合并到主分支...）
- 启用从硬盘加载数据的功能。
- 推理相关：
- 提供推理函数，用于可视化输入序列及对应结果。
引用
如果您觉得这段代码有用，请考虑引用我们的论文：
Liu, J., Mao, X., Fang, Y., Zhu, D., & Meng, M. Q. H. (2021). 自动驾驶中基于深度学习的车辆轨迹预测方法综述. arXiv预印本 arXiv:2110.10436.
问题
常见问题
相似工具推荐
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
funNLP
funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。 面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。 无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。
cs-video-courses
cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。 面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。 这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。
PaddleOCR
PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。 面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。
awesome-machine-learning
awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。 它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。 其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。