[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-mileyan--Pseudo_Lidar_V2":3,"similar-mileyan--Pseudo_Lidar_V2":81},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":19,"owner_email":20,"owner_twitter":17,"owner_website":21,"owner_url":22,"languages":23,"stars":28,"forks":29,"last_commit_at":30,"license":31,"difficulty_score":32,"env_os":33,"env_gpu":34,"env_ram":35,"env_deps":36,"category_tags":42,"github_topics":17,"view_count":45,"oss_zip_url":17,"oss_zip_packed_at":17,"status":46,"created_at":47,"updated_at":48,"faqs":49,"releases":80},2389,"mileyan\u002FPseudo_Lidar_V2","Pseudo_Lidar_V2","(ICLR) Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving","Pseudo_LiDAR_V2 是一款专为自动驾驶领域设计的开源算法，旨在通过低成本的双目摄像头实现高精度的 3D 物体检测。传统方案往往依赖昂贵的激光雷达（LiDAR）来获取精确深度信息，而早期的“伪激光雷达”技术虽能利用立体图像降低成本，但在远距离物体的深度估算上存在明显短板。\n\nPseudo_LiDAR_V2 重点解决了这一痛点。它通过改进立体网络的架构与损失函数，显著提升了对远处车辆的深度感知能力。其独特之处在于提出了一种创新的深度传播算法：即使只配备极其稀疏的低成本激光雷达传感器，也能将少量的精确测量点扩散至整张深度图，从而有效校正偏差。在权威的 KITTI 基准测试中，该方法在远距离物体检测精度上超越了此前最先进技术达 40%。\n\n这款工具非常适合自动驾驶领域的研究人员、算法工程师及相关专业的开发者使用。对于希望在不依赖高昂硬件前提下，探索基于视觉的 3D 感知方案，或研究多传感器融合（如稀疏激光雷达辅助视觉）的团队，Pseudo_LiDAR_V2 提供了极具价值的参考实现与技术基础。","# Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving\nThis paper has been accpeted by International Conference on Learning Representations ([ICLR](https:\u002F\u002Ficlr.cc\u002F)) 2020.\n\n[Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving](https:\u002F\u002Fopenreview.net\u002Fforum?id=BJedHRVtPB)\n\nby [Yurong You*](http:\u002F\u002Fyurongyou.com\u002F), [Yan Wang*](https:\u002F\u002Fwww.cs.cornell.edu\u002F~yanwang\u002F) [Wei-Lun Chao*](http:\u002F\u002Fwww-scf.usc.edu\u002F~weilunc\u002F), [Divyansh Garg](http:\u002F\u002Fdivyanshgarg.com\u002F), [Bharath Hariharan](http:\u002F\u002Fhome.bharathh.info\u002F), [Mark Campbell](https:\u002F\u002Fcampbell.mae.cornell.edu\u002F) and [Kilian Q. Weinberger](http:\u002F\u002Fkilian.cs.cornell.edu\u002F)\n\n![Figure](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmileyan_Pseudo_Lidar_V2_readme_6d970ee8c964.png)\n### Citation\n```\n@inproceedings{you2020pseudo,\n  title={Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving},\n  author={You, Yurong and Wang, Yan and Chao, Wei-Lun and Garg, Divyansh and Pleiss, Geoff and Hariharan, Bharath and Campbell, Mark and Weinberger, Kilian Q},\n  booktitle={ICLR},\n  year={2020}\n}\n```\n\n### Abstract\nDetecting objects such as cars and pedestrians in 3D plays an indispensable role in autonomous driving. Existing approaches largely rely on expensive LiDAR sensors for accurate depth information. While recently pseudo-LiDAR has been introduced as a promising alternative, at a much lower cost based solely on stereo images, there is still a notable performance gap. In this paper we provide substantial advances to the pseudo-LiDAR framework through improvements in stereo depth estimation. Concretely, we adapt the stereo network architecture and loss function to be more aligned with accurate depth estimation of faraway objects --- currently the primary weakness of pseudo-LiDAR. Further, we explore the idea to leverage cheaper but extremely sparse LiDAR sensors, which alone provide insufficient information for 3D detection, to de-bias our depth estimation. We propose a depth-propagation algorithm, guided by the initial depth estimates, to diffuse these few exact measurements across the entire depth map. We show on the KITTI object detection benchmark that our combined approach yields substantial improvements in depth estimation and stereo-based 3D object detection --- outperforming the previous state-of-the-art detection accuracy for faraway objects by 40%.\n\n## Contents\n\n- [Requirments](#requirements)\n- [Pretrained Models](#pretrained-models)\n- [Training and Inference](#training-and-inference)\n\n\n\n## Requirements\n1. Python 3.7\n2. Pytorch 1.0.0\n3. CUDA\n4. `pip install -r .\u002Frequirements.txt`\n5. [SceneFlow](https:\u002F\u002Flmb.informatik.uni-freiburg.de\u002Fresources\u002Fdatasets\u002FSceneFlowDatasets.en.html)\n5. [KITTI](http:\u002F\u002Fwww.cvlibs.net\u002Fdatasets\u002Fkitti\u002Feval_object.php?obj_benchmark=3d)\n\n## Pretrained Models\n* Trained on SceneFlow [sdn_sceneflow.pth](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1KtENGGDA8raKe5rl-eaLDAKgMneZk-KC\u002Fview?usp=sharing).\n* Trained on KITTI Object Detection training set [sdn_kitti_object.pth](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1texWU57M7gCih5EBWX99nLeM33F1Y8y3\u002Fview?usp=sharing).\n* Trained on KITTI Object Detection training+validation sets [sdn_kitti_object_trainval.pth](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F10Kbc-lOC6L0hGxFQoGL3BAl6jRPAyN3x\u002Fview?usp=sharing).\n\n## Datasets\nYou have to download the [SceneFlow](https:\u002F\u002Flmb.informatik.uni-freiburg.de\u002Fresources\u002Fdatasets\u002FSceneFlowDatasets.en.html) and [KITTI](http:\u002F\u002Fwww.cvlibs.net\u002Fdatasets\u002Fkitti\u002Feval_object.php?obj_benchmark=3d) datasets. The structures of the datasets are shown in below. \n#### SceneFlow Dataset Structure\n```\nSceneFlow\n    | monkaa\n        | frames_cleanpass\n        | disparity\n    | driving\n        | frames_cleanpass\n        | disparity\n    | flyingthings3d\n        | frames_cleanpass \n        | disparity\n```\n#### KITTI Object Detection Dataset Structure\n```\nKITTI\n    | training\n        | calib\n        | image_2\n        | image_3\n        | velodyne\n    | testing\n        | calib\n        | image_2\n        | image_3\n```\nGenerate soft-links of SceneFlow Datasets. The results will be saved in `.\u002Fsceneflow` folder. Please change to fakepath `path-to-SceneFlow` to the SceneFlow dataset location before running the script.\n```bash\npython scneflow.py --path path-to-SceneFlow --force\n```\nConvert the KITTI velodyne ground truths to depth maps. Please change to fakepath `path-to-KITTI` to the SceneFlow dataset location before running the script.\n```bash\npython .\u002Fsrc\u002Fpreprocess\u002Fgenerate_depth_map.py --data_path path-to-KITTI\u002F --split_file .\u002Fsplit\u002Ftrainval.txt\n```\n## Training and Inference\n- [1 Train SDNet from Scratch on SceneFlow Dataset](#1-train-sDNet-from-scratch-on-sceneflow-dataset)\n- [2 Train SDNet on KITTI Dataset](#2-train-sdnet-on-kitti-dataset)\n- [3 Generate Predictions](#3-generate-predictions)\n- [4 Convert predictions to Pseudo-LiDAR and Planes](#4-convert-predictions-to-pseudo-lidar-and-planes)\n- [5 Sparsify Pseudo-LiDAR](#5-sparsify-pseudo-lidar)\n- [6 Graph-based Depth Correction](#6-graph-based-depth-correction)\n- [7 Train 3D Detection with Pseudo-LiDAR](#7-train-3d-detection-with-pseudo-lidar)\n\nWe have provided all pretrained models [Pretrained Models](#pretrained-models). If you only want to generate the predictions, you can directly go to step [3](#3-generate-predictions). \n\nThe default setting requires four gpus to train. You can use smaller batch sizes which are `btrain` and `bval`, if you don't have enough gpus. \n#### 1 Train SDNet from Scratch on SceneFlow Dataset\n```bash\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_sceneflow.config\n```\nThe checkpoints are saved in `.\u002Fresults\u002Fsdn_sceneflow\u002F`.\n#### 2 Train SDNet on KITTI Dataset\n```bash\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_kitti_train.config \\\n    --pretrain .\u002Fresults\u002Fsdn_sceneflow\u002Fcheckpoint.pth.tar --dataset  path-to-KITTI\u002Ftraining\u002F\n```\nBefore running, please change the fakepath `path-to-KITTI\u002F` to the correct one. `--pretrain` is the path to the  pretrained model on SceneFlow. The training results are saved in `.\u002Fresults\u002Fsdn_kitti_train_set`.\n\nIf you are working on evaluating SDNet on KITTI testing set, you might want to train SDNet on *training+validation* sets. The training results will be saved in `.\u002Fresults\u002Fsdn_kitti_trainval_set`.\n```bash\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_kitti_train.config \\\n    --pretrain .\u002Fresults\u002Fsdn_sceneflow\u002Fcheckpoint.pth.tar \\\n    --dataset  path-to-KITTI\u002Ftraining\u002F --split_train .\u002Fsplit\u002Ftrainval.txt \\\n    --save_path .\u002Fresults\u002Fsdn_kitti_trainval_set\n``` \n#### 3 Generate Predictions\nPlease change the fakepath `path-to-KITTI`. Moreover, if you use the our provided checkpoint, please modify the value of `--resume` to the checkpoint location. \n\n* a. Using the model trained on KITTI training set, and generating predictions on training + validation sets.\n```bash\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_kitti_train.config \\\n    --resume .\u002Fresults\u002Fsdn_kitti_train_set\u002Fcheckpoint.pth.tar --datapath  path-to-KITTI\u002Ftraining\u002F \\\n    --data_list .\u002Fsplit\u002Ftrainval.txt --generate_depth_map --data_tag trainval\n``` \nThe results will be saved in `.\u002Fresults\u002Fsdn_kitti_train_set\u002Fdepth_maps_trainval\u002F`.\n\n* b. Using the model trained on KITTI training + validation set, and generating predictions on training + validation and testing sets. You will use them when you want to submit your results to the leaderboard.\n```bash\n# training + validation sets\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_kitti_train.config \\\n    --resume .\u002Fresults\u002Fsdn_kitti_trainval_set\u002Fcheckpoint.pth.tar --datapath  path-to-KITTI\u002Ftraining\u002F \\\n    --data_list=.\u002Fsplit\u002Ftrainval.txt --generate_depth_map --data_tag trainval\n``` \nThe results will be saved in `.\u002Fresults\u002Fsdn_kitti_trainval_set\u002Fdepth_maps_trainval\u002F`.\n```bash\n# testing sets\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_kitti_train.config \\\n    --resume .\u002Fresults\u002Fsdn_kitti_trainval_set\u002Fcheckpoint.pth.tar --datapath  path-to-KITTI\u002Ftesting\u002F \\\n    --data_list=.\u002Fsplit\u002Ftest.txt --generate_depth_map --data_tag test\n``` \nThe results will be saved in `.\u002Fresults\u002Fsdn_kitti_trainval_set\u002Fdepth_maps_test\u002F`.\n#### 4 Convert predictions to Pseudo-LiDAR and Planes\nHere, I provide an example. You have to change the paths accordingly. In this example, it will load calibrations from `calib_dir`, and load depth maps from `depth_dir`. The results will be saved in `save_dir`.\n```bash\n# Convert depth maps to Pseudo-Lidar Point Clouds\npython .\u002Fsrc\u002Fpreprocess\u002Fgenerate_lidar_from_depth.py --calib_dir  path-to-KITTI\u002Ftraining\u002Fcalib \\\n    --depth_dir .\u002Fresults\u002Fsdn_kitti_train_set\u002Fdepth_maps\u002Ftrainval\u002F  \\\n    --save_dir  .\u002Fresults\u002Fsdn_kitti_train_set\u002Fpseudo_lidar_trainval\u002F\n``` \n```bash\n# Predict Ground Planes\npython .\u002Fsrc\u002Fpreprocess\u002Fkitti_process_RANSAC.py --calib_dir  path-to-KITTI\u002Ftraining\u002Fcalib \\\n    --lidar_dir .\u002Fresults\u002Fssdn_kitti_train_set\u002Fpseudo_lidar_trainval\u002F  \\\n    --planes_dir  .\u002Fresults\u002Fsdn_kitti_train_set\u002Fpseudo_lidar_trainval_planes\u002F\n``` \n#### 5 Sparsify Pseudo-LiDAR\nSome 3D Object Detection models, such as PointRCNN, requires sparse point clouds. We provide an script to downsample the dense Pseudo-LiDAR clouds.\n```bash\n# Sparsify Pseudo-LiDAR\npython .\u002Fsrc\u002Fpreprocess\u002Fkitti_sparsify.py --pl_path  .\u002Fresults\u002Fssdn_kitti_train_set\u002Fpseudo_lidar_trainval\u002F  \\\n    --sparse_pl_path  .\u002Fresults\u002Fsdn_kitti_train_set\u002Fpseudo_lidar_trainval_sparse\u002F\n``` \n#### 6 Graph-based Depth Correction \nPlease check the code and [README.md](gdc\u002FREADME.md) in [.\u002Fgdc](gdc) for more details.\n#### 7 Train 3D Detection with Pseudo-LiDAR\nPlease check the Pseudo-LiDAR repo for more details https:\u002F\u002Fgithub.com\u002Fmileyan\u002Fpseudo_lidar.\n\n## Results\nWe have uploaded the Pseudo-LiDAR clouds trained on only KITTI training set (not validation data). You can download them from google drive.\n- [sdn_kitti_train_set](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1_G7f8GdzMGkVw95_pAsXZJnYbWtekAPh?usp=sharing): Point Clouds of the SDNet model trained on KITTI training set \n- [sdn_kitti_train_set_sparse](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1qloBZszzKcuILJc5DxwR2ylFNdilCDbm\u002Fview?usp=sharing): Sparse Point Clouds of the SDNet model trained on KITTI training set \n- [sdn_kitti_train_set_planes](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1gd-p2o7UwDmVEy2o0QDJjs4ZdaoyXSQ1\u002Fview?usp=sharing): Planes of the SDNet model trained on KITTI training set \n- [sdn_kitti_train_val_set](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1AJ3bVc8k-5zMYWw2ZEj631-SczIa808T?usp=sharing): Point Clouds of the SDNet model trained on KITTI training+validation sets\n- [sdn_kitti_train_val_set_sparse](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1B2gP0GGTOARdiA8xoriXa1g9Fy0FTiXY\u002Fview?usp=sharing): Sparse Point Clouds of the SDNet model trained on KITTI training+validation sets\n- [sdn_kitti_train_val_set_planes](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1baNwJkZbVS8w15aOmX3Fx20OuUJBEtB5\u002Fview?usp=sharing): Planes of the SDNet model trained on KITTI training+validation sets\n\n## Questions\nPlease feel free email us if you have any questions. \n\nYan Wang [yw763@cornell.edu](mailto:yw763@cornell.edu?subject=[GitHub]%20Pseudo-Lidar_Plus_Plus)\nYurong You [yy785@cornell.edu](mailto:yy785@cornell.edu?subject=[GitHub]%20Pseudo-Lidar_Plus_Plus)\nWei-Lun Chao [weilunchao760414@gmail.com](mailto:weilunchao760414@gmail.com?subject=[GitHub]%20Pseudo-Lidar_Plus_Plus)\n","# 伪LiDAR++：用于自动驾驶中3D目标检测的精确深度\n本文已被2020年国际学习表征会议（[ICLR](https:\u002F\u002Ficlr.cc\u002F)）接收。\n\n[Pseudo-LiDAR++: 用于自动驾驶中3D目标检测的精确深度](https:\u002F\u002Fopenreview.net\u002Fforum?id=BJedHRVtPB)\n\n作者：[Yurong You*](http:\u002F\u002Fyurongyou.com\u002F)、[Yan Wang*](https:\u002F\u002Fwww.cs.cornell.edu\u002F~yanwang\u002F)、[Wei-Lun Chao*](http:\u002F\u002Fwww-scf.usc.edu\u002F~weilunc\u002F)、[Divyansh Garg](http:\u002F\u002Fdivyanshgarg.com\u002F)、[Bharath Hariharan](http:\u002F\u002Fhome.bharathh.info\u002F)、[Mark Campbell](https:\u002F\u002Fcampbell.mae.cornell.edu\u002F) 和 [Kilian Q. Weinberger](http:\u002F\u002Fkilian.cs.cornell.edu\u002F)\n\n![图示](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmileyan_Pseudo_Lidar_V2_readme_6d970ee8c964.png)\n### 引用\n```\n@inproceedings{you2020pseudo,\n  title={Pseudo-LiDAR++: 用于自动驾驶中3D目标检测的精确深度},\n  author={You, Yurong and Wang, Yan and Chao, Wei-Lun and Garg, Divyansh and Pleiss, Geoff and Hariharan, Bharath and Campbell, Mark and Weinberger, Kilian Q},\n  booktitle={ICLR},\n  year={2020}\n}\n```\n\n### 摘要\n在自动驾驶中，对车辆和行人等物体进行3D检测起着不可或缺的作用。现有的方法大多依赖昂贵的LiDAR传感器来获取精确的深度信息。虽然最近提出的伪LiDAR作为一种有前景的替代方案，仅基于立体图像即可实现，成本也低得多，但其性能仍存在显著差距。本文通过改进立体深度估计技术，对伪LiDAR框架进行了重大提升。具体而言，我们调整了立体网络架构和损失函数，使其更符合远距离物体的精确深度估计——这正是当前伪LiDAR的主要弱点。此外，我们还探索了利用廉价但极其稀疏的LiDAR传感器来辅助深度估计的想法。这些传感器单独使用时无法提供足够的3D检测信息，但我们提出了一种基于初始深度估计的深度传播算法，将这些少量精确测量值扩散到整个深度图上。我们在KITTI目标检测基准测试中表明，我们的综合方法显著提升了深度估计和基于立体视觉的3D目标检测性能，其中远距离物体的检测精度比现有最先进水平提高了40%。\n\n## 目录\n\n- [要求](#requirements)\n- [预训练模型](#pretrained-models)\n- [训练与推理](#training-and-inference)\n\n\n\n## 要求\n1. Python 3.7\n2. PyTorch 1.0.0\n3. CUDA\n4. `pip install -r .\u002Frequirements.txt`\n5. [SceneFlow](https:\u002F\u002Flmb.informatik.uni-freiburg.de\u002Fresources\u002Fdatasets\u002FSceneFlowDatasets.en.html)\n5. [KITTI](http:\u002F\u002Fwww.cvlibs.net\u002Fdatasets\u002Fkitti\u002Feval_object.php?obj_benchmark=3d)\n\n## 预训练模型\n* 在SceneFlow数据集上训练得到的模型 [sdn_sceneflow.pth](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1KtENGGDA8raKe5rl-eaLDAKgMneZk-KC\u002Fview?usp=sharing)。\n* 在KITTI目标检测训练集上训练得到的模型 [sdn_kitti_object.pth](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1texWU57M7gCih5EBWX99nLeM33F1Y8y3\u002Fview?usp=sharing)。\n* 在KITTI目标检测训练+验证集上训练得到的模型 [sdn_kitti_object_trainval.pth](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F10Kbc-lOC6L0hGxFQoGL3BAl6jRPAyN3x\u002Fview?usp=sharing)。\n\n## 数据集\n您需要下载[SceneFlow](https:\u002F\u002Flmb.informatik.uni-freiburg.de\u002Fresources\u002Fdatasets\u002FSceneFlowDatasets.en.html)和[KITTI](http:\u002F\u002Fwww.cvlibs.net\u002Fdatasets\u002Fkitti\u002Feval_object.php?obj_benchmark=3d)数据集。数据集的结构如下所示。\n#### SceneFlow数据集结构\n```\nSceneFlow\n    | monkaa\n        | frames_cleanpass\n        | disparity\n    | driving\n        | frames_cleanpass\n        | disparity\n    | flyingthings3d\n        | frames_cleanpass \n        | disparity\n```\n#### KITTI目标检测数据集结构\n```\nKITTI\n    | training\n        | calib\n        | image_2\n        | image_3\n        | velodyne\n    | testing\n        | calib\n        | image_2\n        | image_3\n```\n生成SceneFlow数据集的软链接。结果将保存在`.\u002Fsceneflow`文件夹中。请在运行脚本前将假路径`path-to-SceneFlow`替换为SceneFlow数据集的实际位置。\n```bash\npython scneflow.py --path path-to-SceneFlow --force\n```\n将KITTI的velodyne地面真值转换为深度图。请在运行脚本前将假路径`path-to-KITTI`替换为KITTI数据集的实际位置。\n```bash\npython .\u002Fsrc\u002Fpreprocess\u002Fgenerate_depth_map.py --data_path path-to-KITTI\u002F --split_file .\u002Fsplit\u002Ftrainval.txt\n```\n\n## 训练与推理\n- [1 在 SceneFlow 数据集上从头训练 SDNet](#1-train-sDNet-from-scratch-on-sceneflow-dataset)\n- [2 在 KITTI 数据集上训练 SDNet](#2-train-sdnet-on-kitti-dataset)\n- [3 生成预测结果](#3-generate-predictions)\n- [4 将预测结果转换为伪 LiDAR 和平面信息](#4-convert-predictions-to-pseudo-lidar-and-planes)\n- [5 对伪 LiDAR 进行稀疏化](#5-sparsify-pseudo-lidar)\n- [6 基于图的深度校正](#6-graph-based-depth-correction)\n- [7 使用伪 LiDAR 训练 3D 目标检测模型](#7-train-3d-detection-with-pseudo-lidar)\n\n我们提供了所有预训练模型 [预训练模型](#pretrained-models)。如果您只想生成预测结果，可以直接跳到步骤 [3](#3-generate-predictions)。\n\n默认设置需要四张 GPU 来进行训练。如果您没有足够的 GPU，可以使用较小的批量大小 `btrain` 和 `bval`。\n\n#### 1 在 SceneFlow 数据集上从头训练 SDNet\n```bash\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_sceneflow.config\n```\n检查点将保存在 `.\u002Fresults\u002Fsdn_sceneflow\u002F` 目录下。\n\n#### 2 在 KITTI 数据集上训练 SDNet\n```bash\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_kitti_train.config \\\n    --pretrain .\u002Fresults\u002Fsdn_sceneflow\u002Fcheckpoint.pth.tar --dataset path-to-KITTI\u002Ftraining\u002F\n```\n在运行之前，请将假路径 `path-to-KITTI\u002F` 替换为正确的路径。`--pretrain` 是 SceneFlow 数据集上预训练模型的路径。训练结果将保存在 `.\u002Fresults\u002Fsdn_kitti_train_set` 目录下。\n\n如果您打算在 KITTI 测试集上评估 SDNet，建议您在 *训练+验证* 数据集上进行训练。训练结果将保存在 `.\u002Fresults\u002Fsdn_kitti_trainval_set` 目录下。\n```bash\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_kitti_train.config \\\n    --pretrain .\u002Fresults\u002Fsdn_sceneflow\u002Fcheckpoint.pth.tar \\\n    --dataset path-to-KITTI\u002Ftraining\u002F --split_train .\u002Fsplit\u002Ftrainval.txt \\\n    --save_path .\u002Fresults\u002Fsdn_kitti_trainval_set\n```\n\n#### 3 生成预测结果\n请将假路径 `path-to-KITTI` 替换为实际路径。此外，如果您使用我们提供的检查点，请将 `--resume` 的值修改为该检查点的路径。\n\n* a. 使用在 KITTI 训练集上训练的模型，并在训练+验证集上生成预测结果。\n```bash\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_kitti_train.config \\\n    --resume .\u002Fresults\u002Fsdn_kitti_train_set\u002Fcheckpoint.pth.tar --datapath path-to-KITTI\u002Ftraining\u002F \\\n    --data_list .\u002Fsplit\u002Ftrainval.txt --generate_depth_map --data_tag trainval\n```\n结果将保存在 `.\u002Fresults\u002Fsdn_kitti_train_set\u002Fdepth_maps_trainval\u002F` 目录下。\n\n* b. 使用在 KITTI 训练+验证集上训练的模型，在训练+验证和测试集上生成预测结果。这些结果将在您提交成绩到排行榜时使用。\n```bash\n# 训练+验证集\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_kitti_train.config \\\n    --resume .\u002Fresults\u002Fsdn_kitti_trainval_set\u002Fcheckpoint.pth.tar --datapath path-to-KITTI\u002Ftraining\u002F \\\n    --data_list=.\u002Fsplit\u002Ftrainval.txt --generate_depth_map --data_tag trainval\n```\n结果将保存在 `.\u002Fresults\u002Fsdn_kitti_trainval_set\u002Fdepth_maps_trainval\u002F` 目录下。\n\n```bash\n# 测试集\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_kitti_train.config \\\n    --resume .\u002Fresults\u002Fsdn_kitti_trainval_set\u002Fcheckpoint.pth.tar --datapath path-to-KITTI\u002Ftesting\u002F \\\n    --data_list=.\u002Fsplit\u002Ftest.txt --generate_depth_map --data_tag test\n```\n结果将保存在 `.\u002Fresults\u002Fsdn_kitti_trainval_set\u002Fdepth_maps_test\u002F` 目录下。\n\n#### 4 将预测结果转换为伪 LiDAR 和平面信息\n以下提供一个示例。您需要相应地更改路径。在这个示例中，脚本会从 `calib_dir` 加载标定参数，并从 `depth_dir` 加载深度图。结果将保存在 `save_dir` 目录下。\n```bash\n# 将深度图转换为伪 LiDAR 点云\npython .\u002Fsrc\u002Fpreprocess\u002Fgenerate_lidar_from_depth.py --calib_dir path-to-KITTI\u002Ftraining\u002Fcalib \\\n    --depth_dir .\u002Fresults\u002Fsdn_kitti_train_set\u002Fdepth_maps\u002Ftrainval\u002F  \\\n    --save_dir .\u002Fresults\u002Fsdn_kitti_train_set\u002Fpseudo_lidar_trainval\u002F\n```\n\n```bash\n# 预测地面平面\npython .\u002Fsrc\u002Fpreprocess\u002Fkitti_process_RANSAC.py --calib_dir path-to-KITTI\u002Ftraining\u002Fcalib \\\n    --lidar_dir .\u002Fresults\u002Fsdn_kitti_train_set\u002Fpseudo_lidar_trainval\u002F  \\\n    --planes_dir .\u002Fresults\u002Fsdn_kitti_train_set\u002Fpseudo_lidar_trainval_planes\u002F\n```\n\n#### 5 对伪 LiDAR 进行稀疏化\n一些 3D 目标检测模型，例如 PointRCNN，需要稀疏点云。我们提供了一个脚本来对稠密的伪 LiDAR 点云进行下采样。\n```bash\n# 对伪 LiDAR 进行稀疏化\npython .\u002Fsrc\u002Fpreprocess\u002Fkitti_sparsify.py --pl_path .\u002Fresults\u002Fsdn_kitti_train_set\u002Fpseudo_lidar_trainval\u002F  \\\n    --sparse_pl_path .\u002Fresults\u002Fsdn_kitti_train_set\u002Fpseudo_lidar_trainval_sparse\u002F\n```\n\n#### 6 基于图的深度校正\n请查看代码以及 [.\u002Fgdc](gdc) 中的 [README.md](gdc\u002FREADME.md)，以获取更多详细信息。\n\n#### 7 使用伪 LiDAR 训练 3D 目标检测模型\n请参阅伪 LiDAR 仓库以获取更多详情：https:\u002F\u002Fgithub.com\u002Fmileyan\u002Fpseudo_lidar。\n\n## 结果\n我们已上传仅在 KITTI 训练集（未使用验证数据）上训练的伪 LiDAR 点云。您可以从 Google Drive 下载：\n- [sdn_kitti_train_set](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1_G7f8GdzMGkVw95_pAsXZJnYbWtekAPh?usp=sharing)：在 KITTI 训练集上训练的 SDNet 模型生成的点云\n- [sdn_kitti_train_set_sparse](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1qloBZszzKcuILJc5DxwR2ylFNdilCDbm\u002Fview?usp=sharing)：在 KITTI 训练集上训练的 SDNet 模型生成的稀疏点云\n- [sdn_kitti_train_set_planes](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1gd-p2o7UwDmVEy2o0QDJjs4ZdaoyXSQ1\u002Fview?usp=sharing)：在 KITTI 训练集上训练的 SDNet 模型生成的平面信息\n- [sdn_kitti_train_val_set](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1AJ3bVc8k-5zMYWw2ZEj631-SczIa808T?usp=sharing)：在 KITTI 训练+验证集上训练的 SDNet 模型生成的点云\n- [sdn_kitti_train_val_set_sparse](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1B2gP0GGTOARdiA8xoriXa1g9Fy0FTiXY\u002Fview?usp=sharing)：在 KITTI 训练+验证集上训练的 SDNet 模型生成的稀疏点云\n- [sdn_kitti_train_val_set_planes](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1baNwJkZbVS8w15aOmX3Fx20OuUJBEtB5\u002Fview?usp=sharing)：在 KITTI 训练+验证集上训练的 SDNet 模型生成的平面信息\n\n## 问题\n如果您有任何问题，请随时发送邮件给我们。\n\nYan Wang [yw763@cornell.edu](mailto:yw763@cornell.edu?subject=[GitHub]%20Pseudo-Lidar_Plus_Plus)  \nYurong You [yy785@cornell.edu](mailto:yy785@cornell.edu?subject=[GitHub]%20Pseudo-Lidar_Plus_Plus)  \nWei-Lun Chao [weilunchao760414@gmail.com](mailto:weilunchao760414@gmail.com?subject=[GitHub]%20Pseudo-Lidar_Plus_Plus)","# Pseudo-LiDAR++ 快速上手指南\n\nPseudo-LiDAR++ 是一种基于立体图像生成高精度深度图，进而转换为伪激光雷达点云的技术，旨在以低成本实现自动驾驶中的 3D 物体检测。本指南将帮助您快速搭建环境并运行预训练模型。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **Python**: 3.7\n*   **深度学习框架**: PyTorch 1.0.0\n*   **GPU**: 支持 CUDA 的 NVIDIA 显卡（默认训练配置需要 4 张 GPU，推理可单卡）\n*   **数据集**:\n    *   [SceneFlow](https:\u002F\u002Flmb.informatik.uni-freiburg.de\u002Fresources\u002Fdatasets\u002FSceneFlowDatasets.en.html) (用于预训练)\n    *   [KITTI 3D Object Detection](http:\u002F\u002Fwww.cvlibs.net\u002Fdatasets\u002Fkitti\u002Feval_object.php?obj_benchmark=3d) (用于微调与测试)\n\n> **提示**: 国内用户下载数据集较慢时，可尝试寻找高校镜像站或使用代理加速。\n\n## 安装步骤\n\n1.  **克隆代码库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fmileyan\u002FPseudo_Lidar_V2.git\n    cd Pseudo_Lidar_V2\n    ```\n\n2.  **安装 Python 依赖**\n    ```bash\n    pip install -r requirements.txt\n    ```\n    > **注意**: 由于项目基于较旧的 PyTorch 1.0.0，若您的环境较新，可能需要手动调整 `requirements.txt` 或创建独立的 Python 3.7 虚拟环境以避免兼容性问题。\n\n3.  **准备数据集目录结构**\n    请下载 SceneFlow 和 KITTI 数据集，并按照以下结构组织（路径可根据实际情况调整）：\n\n    **SceneFlow 结构:**\n    ```text\n    SceneFlow\n        | monkaa\u002Fdriving\u002Fflyingthings3d\n            | frames_cleanpass\n            | disparity\n    ```\n\n    **KITTI 结构:**\n    ```text\n    KITTI\n        | training\n            | calib, image_2, image_3, velodyne\n        | testing\n            | calib, image_2, image_3\n    ```\n\n4.  **数据预处理**\n    生成数据集的软链接并将 KITTI 的激光雷达真值转换为深度图。请将命令中的 `path-to-...` 替换为您本地的实际路径。\n\n    ```bash\n    # 生成 SceneFlow 软链接\n    python scneflow.py --path path-to-SceneFlow --force\n\n    # 转换 KITTI Velodyne 真值为深度图\n    python .\u002Fsrc\u002Fpreprocess\u002Fgenerate_depth_map.py --data_path path-to-KITTI\u002F --split_file .\u002Fsplit\u002Ftrainval.txt\n    ```\n\n## 基本使用\n\n如果您仅想体验效果或进行推理，可以直接下载预训练模型并生成预测结果，无需从头训练。\n\n### 1. 下载预训练模型\n从 Google Drive 下载在 KITTI 训练集上微调过的模型 (`sdn_kitti_object.pth`)，并将其放置于项目目录或指定路径。\n*   下载地址: [sdn_kitti_object.pth](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1texWU57M7gCih5EBWX99nLeM33F1Y8y3\u002Fview?usp=sharing)\n\n### 2. 生成立体深度图 (Depth Maps)\n使用预训练模型对 KITTI 数据集进行推理，生成深度图。请修改 `--resume` 为模型实际路径，`--datapath` 为数据集路径。\n\n```bash\npython .\u002Fsrc\u002Fmain.py -c src\u002Fconfigs\u002Fsdn_kitti_train.config \\\n    --resume .\u002Fresults\u002Fsdn_kitti_train_set\u002Fcheckpoint.pth.tar \\\n    --datapath path-to-KITTI\u002Ftraining\u002F \\\n    --data_list .\u002Fsplit\u002Ftrainval.txt \\\n    --generate_depth_map --data_tag trainval\n```\n*输出结果将保存在:* `.\u002Fresults\u002Fsdn_kitti_train_set\u002Fdepth_maps_trainval\u002F`\n\n### 3. 转换为伪激光雷达点云 (Pseudo-LiDAR)\n将生成的深度图结合相机标定文件，转换为点云格式。\n\n```bash\npython .\u002Fsrc\u002Fpreprocess\u002Fgenerate_lidar_from_depth.py \\\n    --calib_dir path-to-KITTI\u002Ftraining\u002Fcalib \\\n    --depth_dir .\u002Fresults\u002Fsdn_kitti_train_set\u002Fdepth_maps_trainval\u002F \\\n    --save_dir .\u002Fresults\u002Fsdn_kitti_train_set\u002Fpseudo_lidar_trainval\u002F\n```\n\n### 4. (可选) 稀疏化点云\n如果您计划使用如 PointRCNN 等需要稀疏点云的 3D 检测器，可执行以下步骤进行下采样：\n\n```bash\npython .\u002Fsrc\u002Fpreprocess\u002Fkitti_sparsify.py \\\n    --pl_path .\u002Fresults\u002Fsdn_kitti_train_set\u002Fpseudo_lidar_trainval\u002F \\\n    --sparse_pl_path .\u002Fresults\u002Fsdn_kitti_train_set\u002Fpseudo_lidar_trainval_sparse\u002F\n```\n\n完成上述步骤后，您即可在 `save_dir` 或 `sparse_pl_path` 中获得用于后续 3D 检测任务的伪激光雷达点云数据。","某自动驾驶初创团队正在开发一款面向城市道路的 L4 级无人配送车，需要在控制硬件成本的前提下，实现对远处车辆和行人的高精度 3D 感知。\n\n### 没有 Pseudo_Lidar_V2 时\n- **远距离感知失效**：仅依赖传统双目立体视觉方案，对 50 米以外的物体深度估计误差极大，导致系统无法及时识别高速接近的车辆。\n- **硬件成本高昂**：为了弥补视觉方案的不足，被迫选用高密度机械式 LiDAR，使得单车传感器成本居高不下，难以规模化量产。\n- **稀疏数据难利用**：尝试改用廉价稀疏 LiDAR 辅助时，因点数过少且分布不均，无法直接支撑可靠的 3D 目标检测算法。\n- **安全冗余不足**：在逆光或纹理缺失路段，深度图噪点增多，频繁触发系统的虚假刹车或漏检，严重影响行驶平顺性与安全性。\n\n### 使用 Pseudo_Lidar_V2 后\n- **远距精度跃升**：利用其改进的立体网络架构与损失函数，将远距离物体的深度估计准确率大幅提升，3D 检测精度较此前最佳方案提高 40%。\n- **低成本方案落地**：成功采用“廉价双目相机 + 极稀疏 LiDAR\"的组合替代昂贵设备，通过深度传播算法将稀疏精确测量扩散至全图，显著降低 BOM 成本。\n- **数据偏差修正**：借助稀疏 LiDAR 的真实深度值对纯视觉估算进行去偏校正，即使在弱纹理区域也能生成稠密且准确的伪 LiDAR 点云。\n- **系统鲁棒性增强**：在各种复杂光照和距离条件下，深度图质量稳定，有效减少了误检与漏检，提升了整车决策系统的可靠性。\n\nPseudo_Lidar_V2 通过算法创新打破了高性能 3D 感知对昂贵激光雷达的依赖，让低成本硬件也能具备精准的远距离探测能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmileyan_Pseudo_Lidar_V2_6d970ee8.png","mileyan","Yan Wang","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmileyan_b1b61cc5.jpg",null,"NVIDIA Research","United States","yw763@cornell.edu","https:\u002F\u002Fyanwang.org","https:\u002F\u002Fgithub.com\u002Fmileyan",[24],{"name":25,"color":26,"percentage":27},"Python","#3572A5",100,647,126,"2026-02-20T01:55:40","MIT",4,"Linux","必需 NVIDIA GPU，默认训练配置需要 4 张显卡，具体显存大小未说明，需支持 CUDA","未说明",{"notes":37,"python":38,"dependencies":39},"该工具主要用于自动驾驶 3D 物体检测。需要下载 SceneFlow 和 KITTI 数据集并按特定目录结构存放。训练默认需要 4 张 GPU，若显卡数量不足可减小 batch size (btrain\u002Fbval)。代码中包含将深度图转换为伪激光雷达点云及稀疏化的预处理步骤。部分功能（如图基于深度的校正）需参考子目录 gdc 的说明，3D 检测训练需参考外部 Pseudo-LiDAR 仓库。","3.7",[40,41],"Pytorch==1.0.0","CUDA",[43,44],"图像","其他",2,"ready","2026-03-27T02:49:30.150509","2026-04-06T05:44:06.427011",[50,55,60,65,70,75],{"id":51,"question_zh":52,"answer_zh":53,"source_url":54},10991,"从深度图生成的激光雷达点云在坐标中心附近出现伪影（artifacts），这是什么原因？","这是由于深度估计模型在图像上部区域缺乏足够的监督信号导致的（大多数图像只有下半部分有激光雷达信号）。虽然这会影响点云质量，但通常不会严重影响检测任务，因为在评估时可以裁剪掉这些受影响的区域。此外，这些问题常与图像中显示天空的部分相关。","https:\u002F\u002Fgithub.com\u002Fmileyan\u002FPseudo_Lidar_V2\u002Fissues\u002F8",{"id":56,"question_zh":57,"answer_zh":58,"source_url":59},10992,"生成的点云与提供的边界框不匹配或发生偏移，如何解决？","这是因为投影方式不同。解决方案是使用 Pseudo Lidar 仓库中 `generate_lidar` 脚本里的 `project disp to points` 函数。关键区别在于该函数使用了“图像到激光雷达坐标系（image to velo）”的投影方式，从而能生成正确对齐的点云。上传的伪点云是由 SDN 生成的，未经过 GDC 处理。","https:\u002F\u002Fgithub.com\u002Fmileyan\u002FPseudo_Lidar_V2\u002Fissues\u002F21",{"id":61,"question_zh":62,"answer_zh":63,"source_url":64},10993,"推理时显存不足（CUDA out of memory），即使使用的是 11GB 显存的显卡怎么办？","需要修改配置文件 `configs\u002Fsdn_kitti_train.config` 中的 `bval` 参数。将其设置为 1 后，推理即可正常运行，此时显存占用仅为约 4GB。仅减少代码中的 bval 可能不够，必须同时修改配置文件。","https:\u002F\u002Fgithub.com\u002Fmileyan\u002FPseudo_Lidar_V2\u002Fissues\u002F7",{"id":66,"question_zh":67,"answer_zh":68,"source_url":69},10994,"项目上传的点云数据是否经过 GDC（Guided Depth Completion）处理？","不是。上传的伪点云全部是由 SDN（Stereo Depth Network）生成的，并未经过 GDC 处理。","https:\u002F\u002Fgithub.com\u002Fmileyan\u002FPseudo_Lidar_V2\u002Fissues\u002F18",{"id":71,"question_zh":72,"answer_zh":73,"source_url":74},10995,"运行安装命令时提示找不到 requirements 文件，报错 FileNotFoundError？","这是 README 文档中的拼写错误。正确的命令应该是 `pip install -r .\u002Frequirements.txt`，原文中漏掉了字母 'e'（写成了 requirments.txt）。","https:\u002F\u002Fgithub.com\u002Fmileyan\u002FPseudo_Lidar_V2\u002Fissues\u002F2",{"id":76,"question_zh":77,"answer_zh":78,"source_url":79},10996,"运行脚本时出现路径拼接错误，导致无法创建文件或目录？","这是 `main.py` 第 173 行的一个代码错误。在拼接深度图路径时多了一个 '+' 号（即 'depth_map+'），需要删除该多余的 '+' 符号以修复路径错误。维护者已更新修复。","https:\u002F\u002Fgithub.com\u002Fmileyan\u002FPseudo_Lidar_V2\u002Fissues\u002F5",[],[82,93,101,114,122,130],{"id":83,"name":84,"github_repo":85,"description_zh":86,"stars":87,"difficulty_score":88,"last_commit_at":89,"category_tags":90,"status":46},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[91,43,92],"开发框架","Agent",{"id":94,"name":95,"github_repo":96,"description_zh":97,"stars":98,"difficulty_score":45,"last_commit_at":99,"category_tags":100,"status":46},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[91,43,92],{"id":102,"name":103,"github_repo":104,"description_zh":105,"stars":106,"difficulty_score":45,"last_commit_at":107,"category_tags":108,"status":46},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[43,109,110,111,92,44,112,91,113],"数据工具","视频","插件","语言模型","音频",{"id":115,"name":116,"github_repo":117,"description_zh":118,"stars":119,"difficulty_score":88,"last_commit_at":120,"category_tags":121,"status":46},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[92,43,91,112,44],{"id":123,"name":124,"github_repo":125,"description_zh":126,"stars":127,"difficulty_score":88,"last_commit_at":128,"category_tags":129,"status":46},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[112,43,91,44],{"id":131,"name":132,"github_repo":133,"description_zh":134,"stars":135,"difficulty_score":45,"last_commit_at":136,"category_tags":137,"status":46},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[91,43]]