Windows 平台下,我们使用Visual Studio 2019 Community
进行了测试。微软从Visual Studio 2017
开始即支持直接管理CMake
跨平台编译项目,但是直到2019
才提供了稳定和完全的支持,所以如果你想使用CMake管理项目编译构建,我们推荐你使用Visual Studio 2019
环境下构建。
- Visual Studio 2019 (根据Paddle预测库所使用的VS版本选择,请参考 Visual Studio 不同版本二进制兼容性 )
- CUDA 9.0 / CUDA 10.0,cudnn 7+ (仅在使用GPU版本的预测库时需要)
- CMake 3.0+ CMake下载
请确保系统已经安装好上述基本软件,我们使用的是VS2019
的社区版。
下面所有示例以工作目录为 D:\projects
演示。
下载源代码
git clone https://github.com/PaddlePaddle/PaddleDetection.git
说明:其中C++
预测代码在PaddleDetection/deploy/cpp
目录,该目录不依赖任何PaddleDetection
下其他目录。
PaddlePaddle C++ 预测库针对不同的CPU
和CUDA
版本提供了不同的预编译版本,请根据实际情况下载: C++预测库下载列表
解压后D:\projects\fluid_inference
目录包含内容为:
fluid_inference
├── paddle # paddle核心库和头文件
|
├── third_party # 第三方依赖库和头文件
|
└── version.txt # 版本和编译信息
- 在OpenCV官网下载适用于Windows平台的3.4.6版本, 下载地址
- 运行下载的可执行文件,将OpenCV解压至指定目录,如
D:\projects\opencv
- 配置环境变量,如下流程所示(如果使用全局绝对路径,可以不用设置环境变量)
- 我的电脑->属性->高级系统设置->环境变量
- 在系统变量中找到Path(如没有,自行创建),并双击编辑
- 新建,将opencv路径填入并保存,如
D:\projects\opencv\build\x64\vc14\bin
- 进入到
cpp
文件夹
cd D:\projects\PaddleDetection\deploy\cpp
- 使用CMake生成项目文件
编译参数的含义说明如下(带*
表示仅在使用GPU版本预测库时指定, 其中CUDA库版本尽量对齐,使用9.0、10.0版本,不使用9.2、10.1等版本CUDA库):
参数名 | 含义 |
---|---|
*CUDA_LIB | CUDA的库路径 |
*CUDNN_LIB | CUDNN的库路径 |
OPENCV_DIR | OpenCV的安装路径, |
PADDLE_DIR | Paddle预测库的路径 |
PADDLE_LIB_NAME | Paddle 预测库名称 |
注意: 1. 使用CPU
版预测库,请把WITH_GPU
的勾去掉 2. 如果使用的是openblas
版本,请把WITH_MKL
勾去掉
执行如下命令项目文件:
cmake . -G "Visual Studio 16 2019" -A x64 -T host=x64 -DWITH_GPU=ON -DWITH_MKL=ON -DCMAKE_BUILD_TYPE=Release -DCUDA_LIB=path_to_cuda_lib -DCUDNN_LIB=path_to_cudnn_lib -DPADDLE_DIR=path_to_paddle_lib -DPADDLE_LIB_NAME=paddle_inference -DOPENCV_DIR=path_to_opencv
例如:
cmake . -G "Visual Studio 16 2019" -A x64 -T host=x64 -DWITH_GPU=ON -DWITH_MKL=ON -DCMAKE_BUILD_TYPE=Release -DCUDA_LIB=D:\projects\packages\cuda10_0\lib\x64 -DCUDNN_LIB=D:\projects\packages\cuda10_0\lib\x64 -DPADDLE_DIR=D:\projects\packages\fluid_inference -DPADDLE_LIB_NAME=paddle_inference -DOPENCV_DIR=D:\projects\packages\opencv3_4_6
- 编译
用
Visual Studio 16 2019
打开cpp
文件夹下的PaddleObjectDetector.sln
,将编译模式设置为Release
,点击生成
->`全部生成
上述Visual Studio 2019
编译产出的可执行文件在out\build\x64-Release
目录下,打开cmd
,并切换到该目录:
cd D:\projects\PaddleDetection\deploy\cpp\out\build\x64-Release
可执行文件main
即为样例的预测程序,其主要的命令行参数如下:
参数 | 说明 |
---|---|
--model_dir | 导出的预测模型所在路径 |
--image_file | 要预测的图片文件路径 |
--image_dir | 要预测的图片文件夹路径 |
--video_file | 要预测的视频文件路径 |
--camera_id | Option |
--use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) |
--gpu_id | 指定进行推理的GPU device id(默认值为0) |
--run_mode | 使用GPU时,默认为fluid, 可选(fluid/trt_fp32/trt_fp16/trt_int8) |
--batch_size | 预测时的batch size,在指定image_dir 时有效 |
--run_benchmark | 是否重复预测来进行benchmark测速 |
--output_dir | 输出图片所在的文件夹, 默认为output |
--use_mkldnn | CPU预测中是否开启MKLDNN加速 |
--cpu_threads | 设置cpu线程数,默认为1 |
注意:
(1)优先级顺序:camera_id
> video_file
> image_dir
> image_file
。
(2)如果提示找不到opencv_world346.dll
,把D:\projects\packages\opencv3_4_6\build\x64\vc14\bin
文件夹下的opencv_world346.dll
拷贝到main.exe
文件夹下即可。
样例一
:
#不使用`GPU`测试图片 `D:\\images\\test.jpeg`
.\main --model_dir=D:\\models\\yolov3_darknet --image_file=D:\\images\\test.jpeg
图片文件可视化预测结果
会保存在当前目录下output.jpg
文件中。
样例二
:
#使用`GPU`测试视频 `D:\\videos\\test.mp4`
.\main --model_dir=D:\\models\\yolov3_darknet --video_path=D:\\videos\\test.mp4 --use_gpu=1
视频文件目前支持.mp4
格式的预测,可视化预测结果
会保存在当前目录下output.mp4
文件中。
Benchmark请查看BENCHMARK_INFER