Skip to content

Commit

Permalink
Merge pull request PaddlePaddle#196 from sneaxiy/fix_prepare_data_doc
Browse files Browse the repository at this point in the history
Fix prepare_data doc
  • Loading branch information
shanyi15 authored Oct 19, 2018
2 parents 294285a + bea527c commit ff930bd
Showing 1 changed file with 24 additions and 29 deletions.
53 changes: 24 additions & 29 deletions doc/fluid/user_guides/howto/prepare_data/index.rst
Original file line number Diff line number Diff line change
Expand Up @@ -6,55 +6,50 @@

PaddlePaddle Fluid支持两种传入数据的方式:

1. 用户需要使用 :code:`fluid.layers.data`
1. Python Reader同步方式:用户需要使用 :code:`fluid.layers.data`
配置数据输入层,并在 :code:`fluid.Executor` 或 :code:`fluid.ParallelExecutor`
中,使用 :code:`executor.run(feed=...)` 传入训练数据。

2. 用户需要先将训练数据
转换成 Paddle 识别的 :code:`fluid.recordio_writer` , 再使用
:code:`fluid.layers.open_files` 以及 :code:`fluid.layers.reader` 配置数据读取。
2. py_reader接口异步方式:用户需要先使用 :code:`fluid.layers.py_reader` 配置数据输入层,然后使用
:code:`py_reader` 的 :code:`decorate_paddle_reader` 或 :code:`decorate_tensor_provider`
方法配置数据源,再通过 :code:`fluid.layers.read_file` 读取数据。


这两种准备数据方法的比较如下:

.. _user_guide_prepare_data_comparision:
======== ================================= =====================================
对比项 Python Reader同步方式 py_reader接口异步方式
======== ================================= =====================================
API接口 :code:`executor.run(feed=...)` :code:`fluid.layers.py_reader`
数据格式 Numpy Array Numpy Array或LoDTensor
数据增强 Python端使用其他库完成 Python端使用其他库完成
速度 慢 快
推荐用途 调试模型 工业训练
======== ================================= =====================================

+------------+----------------------------------+---------------------------------------+
| | Feed数据 | 使用Reader |
+============+==================================+=======================================+
| API接口 | :code:`executor.run(feed=...)` | :code:`fluid.layers.reader` |
+------------+----------------------------------+---------------------------------------+
| 数据格式 | Numpy Array | :code:`fluid.recordio_writer` |
+------------+----------------------------------+---------------------------------------+
| 数据增强 | Python端使用其他库完成 | 使用Fluid中的Operator 完成 |
+------------+----------------------------------+---------------------------------------+
| 速度 |||
+------------+----------------------------------+---------------------------------------+
| 推荐用途 | 调试模型 | 工业训练 |
+------------+----------------------------------+---------------------------------------+
Python Reader同步方式
#####################

这些准备数据的详细使用方法,请参考:
Fluid提供Python Reader方式传入数据。
Python Reader是纯的Python端接口,数据传入与模型训练/预测过程是同步的。用户可通过Numpy Array传入
数据,具体请参考:

.. toctree::
:maxdepth: 2

feeding_data

Python Reader
#############
feeding_data.rst

为了方便用户在Python中定义数据处理流程,PaddlePaddle Fluid支持 Python Reader,
具体请参考:
Python Reader支持组batch、shuffle等高级功能,具体请参考:

.. toctree::
:maxdepth: 2

reader.md

PyReader
#############
py_reader接口异步方式
#####################

Python Reader是纯Python的接口,数据传入与模型训练/预测过程是同步的,效率较低。
Fluid提供PyReader异步数据传入方式,具体请参考:
Fluid提供PyReader异步数据传入方式,数据传入与模型训练/预测过程是异步的,效率较高。具体请参考:

.. toctree::
:maxdepth: 2
Expand Down

0 comments on commit ff930bd

Please sign in to comment.