新闻:
v1.1.0rc3 版本已经在 2023.1.7 发布。
由于坐标系的统一和简化,模型的兼容性会受到影响。目前,大多数模型都以类似的性能对齐了精度,但仍有少数模型在进行基准测试。在接下来的版本中,我们将更新所有的模型权重文件和基准。您可以在变更日志和 v1.0.x 版本变更日志中查看更多详细信息。
文档:https://mmdetection3d.readthedocs.io/
English | 简体中文
主分支代码目前支持 PyTorch 1.6 以上的版本。
MMDetection3D 是一个基于 PyTorch 的目标检测开源工具箱,下一代面向 3D 检测的平台。它是 OpenMMlab 项目的一部分,这个项目由香港中文大学多媒体实验室和商汤科技联合发起。
-
支持多模态/单模态的检测器
支持多模态/单模态检测器,包括 MVXNet,VoteNet,PointPillars 等。
-
支持户内/户外的数据集
支持室内/室外的 3D 检测数据集,包括 ScanNet,SUNRGB-D,Waymo,nuScenes,Lyft,KITTI。 对于 nuScenes 数据集,我们也支持 nuImages 数据集。
-
与 2D 检测器的自然整合
MMDetection 支持的 300+ 个模型,40+ 的论文算法,和相关模块都可以在此代码库中训练或使用。
-
性能高
训练速度比其他代码库更快。下表可见主要的对比结果。更多的细节可见基准测评文档。我们对比了每秒训练的样本数(值越高越好)。其他代码库不支持的模型被标记为
✗
。Methods MMDetection3D OpenPCDet votenet Det3D VoteNet 358 ✗ 77 ✗ PointPillars-car 141 ✗ ✗ 140 PointPillars-3class 107 44 ✗ ✗ SECOND 40 30 ✗ ✗ Part-A2 17 14 ✗ ✗
和 MMDetection,MMCV 一样,MMDetection3D 也可以作为一个库去支持各式各样的项目。
该项目采用 Apache 2.0 开源许可证。
我们在 2023.1.7 发布了 1.1.0rc3 版本。
更多细节和版本发布历史可以参考 changelog.md。
测试结果和模型可以在模型库中找到。
主干网络 | 检测头 | 特性 |
|
3D 目标检测 | 单目 3D 目标检测 | 多模态 3D 目标检测 | 3D 语义分割 |
|
|
|
|
ResNet | PointNet++ | SECOND | DGCNN | RegNetX | DLA | MinkResNet | |
---|---|---|---|---|---|---|---|
SECOND | ✗ | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ |
PointPillars | ✗ | ✗ | ✓ | ✗ | ✓ | ✗ | ✗ |
FreeAnchor | ✗ | ✗ | ✗ | ✗ | ✓ | ✗ | ✗ |
VoteNet | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
H3DNet | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
3DSSD | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
Part-A2 | ✗ | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ |
MVXNet | ✓ | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ |
CenterPoint | ✗ | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ |
SSN | ✗ | ✗ | ✗ | ✗ | ✓ | ✗ | ✗ |
ImVoteNet | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
FCOS3D | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
PointNet++ | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
Group-Free-3D | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
ImVoxelNet | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
PAConv | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
DGCNN | ✗ | ✗ | ✗ | ✓ | ✗ | ✗ | ✗ |
SMOKE | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ | ✗ |
PGD | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
MonoFlex | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ | ✗ |
SA-SSD | ✗ | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ |
FCAF3D | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ |
PV-RCNN | ✗ | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ |
注意:MMDetection 支持的基于 2D 检测的 300+ 个模型,40+ 的论文算法在 MMDetection3D 中都可以被训练或使用。
请参考快速入门文档进行安装。
请参考快速入门文档学习 MMDetection3D 的基本使用。我们为新手提供了分别针对已有数据集和新数据集的使用指南。我们也提供了一些进阶教程,内容覆盖了学习配置文件,增加自定义数据集,设计新的数据预处理流程,增加自定义模型,增加自定义的运行时配置和 Waymo 数据集。
请参考 FAQ 查看一些常见的问题与解答。在升级 MMDetection3D 的版本时,请查看兼容性文档以知晓每个版本引入的不与之前版本兼容的更新。
如果你觉得本项目对你的研究工作有所帮助,请参考如下 bibtex 引用 MMdetection3D
@misc{mmdet3d2020,
title={{MMDetection3D: OpenMMLab} next-generation platform for general {3D} object detection},
author={MMDetection3D Contributors},
howpublished = {\url{https://github.com/open-mmlab/mmdetection3d}},
year={2020}
}
我们感谢所有的贡献者为改进和提升 MMDetection3D 所作出的努力。请参考贡献指南来了解参与项目贡献的相关指引。
MMDetection3D 是一款由来自不同高校和企业的研发人员共同参与贡献的开源项目。我们感谢所有为项目提供算法复现和新功能支持的贡献者,以及提供宝贵反馈的用户。我们希望这个工具箱和基准测试可以为社区提供灵活的代码工具,供用户复现已有算法并开发自己的新的 3D 检测模型。
- MMEngine: OpenMMLab 深度学习模型训练基础库
- MMCV: OpenMMLab 计算机视觉基础库
- MMEval: 统一开放的跨框架算法评测库
- MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口
- MMClassification: OpenMMLab 图像分类工具箱
- MMDetection: OpenMMLab 目标检测工具箱
- MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台
- MMRotate: OpenMMLab 旋转框检测工具箱与测试基准
- MMYOLO: OpenMMLab YOLO 系列工具箱与测试基准
- MMSegmentation: OpenMMLab 语义分割工具箱
- MMOCR: OpenMMLab 全流程文字检测识别理解工具包
- MMPose: OpenMMLab 姿态估计工具箱
- MMHuman3D: OpenMMLab 人体参数化模型工具箱与测试基准
- MMSelfSup: OpenMMLab 自监督学习工具箱与测试基准
- MMRazor: OpenMMLab 模型压缩工具箱与测试基准
- MMFewShot: OpenMMLab 少样本学习工具箱与测试基准
- MMAction2: OpenMMLab 新一代视频理解工具箱
- MMTracking: OpenMMLab 一体化视频目标感知平台
- MMFlow: OpenMMLab 光流估计工具箱与测试基准
- MMEditing: OpenMMLab 图像视频编辑工具箱
- MMGeneration: OpenMMLab 图片视频生成模型工具箱
- MMDeploy: OpenMMLab 模型部署框架
扫描下方的二维码可关注 OpenMMLab 团队的 知乎官方账号,加入 OpenMMLab 团队的 官方交流 QQ 群
我们会在 OpenMMLab 社区为大家
- 📢 分享 AI 框架的前沿核心技术
- 💻 解读 PyTorch 常用模块源码
- 📰 发布 OpenMMLab 的相关新闻
- 🚀 介绍 OpenMMLab 开发的前沿算法
- 🏃 获取更高效的问题答疑和意见反馈
- 🔥 提供与各行各业开发者充分交流的平台
干货满满 📘,等你来撩 💗,OpenMMLab 社区期待您的加入 👬