From bea527c78d863481279f669921eaf03985274790 Mon Sep 17 00:00:00 2001 From: sneaxiy Date: Thu, 18 Oct 2018 14:19:43 +0800 Subject: [PATCH] fix prepare data doc --- .../user_guides/howto/prepare_data/index.rst | 53 +++++++++---------- 1 file changed, 24 insertions(+), 29 deletions(-) diff --git a/doc/fluid/user_guides/howto/prepare_data/index.rst b/doc/fluid/user_guides/howto/prepare_data/index.rst index cacf2c7a2da158..73518ddd9de874 100644 --- a/doc/fluid/user_guides/howto/prepare_data/index.rst +++ b/doc/fluid/user_guides/howto/prepare_data/index.rst @@ -6,55 +6,50 @@ PaddlePaddle Fluid支持两种传入数据的方式: -1. 用户需要使用 :code:`fluid.layers.data` +1. Python Reader同步方式:用户需要使用 :code:`fluid.layers.data` 配置数据输入层,并在 :code:`fluid.Executor` 或 :code:`fluid.ParallelExecutor` 中,使用 :code:`executor.run(feed=...)` 传入训练数据。 -2. 用户需要先将训练数据 -转换成 Paddle 识别的 :code:`fluid.recordio_writer` , 再使用 -:code:`fluid.layers.open_files` 以及 :code:`fluid.layers.reader` 配置数据读取。 +2. py_reader接口异步方式:用户需要先使用 :code:`fluid.layers.py_reader` 配置数据输入层,然后使用 +:code:`py_reader` 的 :code:`decorate_paddle_reader` 或 :code:`decorate_tensor_provider` +方法配置数据源,再通过 :code:`fluid.layers.read_file` 读取数据。 + 这两种准备数据方法的比较如下: -.. _user_guide_prepare_data_comparision: +======== ================================= ===================================== +对比项 Python Reader同步方式 py_reader接口异步方式 +======== ================================= ===================================== +API接口 :code:`executor.run(feed=...)` :code:`fluid.layers.py_reader` +数据格式 Numpy Array Numpy Array或LoDTensor +数据增强 Python端使用其他库完成 Python端使用其他库完成 +速度 慢 快 +推荐用途 调试模型 工业训练 +======== ================================= ===================================== -+------------+----------------------------------+---------------------------------------+ -| | Feed数据 | 使用Reader | -+============+==================================+=======================================+ -| API接口 | :code:`executor.run(feed=...)` | :code:`fluid.layers.reader` | -+------------+----------------------------------+---------------------------------------+ -| 数据格式 | Numpy Array | :code:`fluid.recordio_writer` | -+------------+----------------------------------+---------------------------------------+ -| 数据增强 | Python端使用其他库完成 | 使用Fluid中的Operator 完成 | -+------------+----------------------------------+---------------------------------------+ -| 速度 | 慢 | 快 | -+------------+----------------------------------+---------------------------------------+ -| 推荐用途 | 调试模型 | 工业训练 | -+------------+----------------------------------+---------------------------------------+ +Python Reader同步方式 +##################### -这些准备数据的详细使用方法,请参考: +Fluid提供Python Reader方式传入数据。 +Python Reader是纯的Python端接口,数据传入与模型训练/预测过程是同步的。用户可通过Numpy Array传入 +数据,具体请参考: .. toctree:: :maxdepth: 2 - feeding_data - -Python Reader -############# + feeding_data.rst -为了方便用户在Python中定义数据处理流程,PaddlePaddle Fluid支持 Python Reader, -具体请参考: +Python Reader支持组batch、shuffle等高级功能,具体请参考: .. toctree:: :maxdepth: 2 reader.md -PyReader -############# +py_reader接口异步方式 +##################### -Python Reader是纯Python的接口,数据传入与模型训练/预测过程是同步的,效率较低。 -Fluid提供PyReader异步数据传入方式,具体请参考: +Fluid提供PyReader异步数据传入方式,数据传入与模型训练/预测过程是异步的,效率较高。具体请参考: .. toctree:: :maxdepth: 2