PyDataProvider2在混合使用min_pool_size,integer_sequence, dense_sequence的情况下，疑似有数据丢失

[lcy-seso]

使用 PyDataProvider2 ，当设置的 min_pool_size 小于 训练/测试 样本总数时， 训练和测试都会出现丢弃样本的情况。

[lcy-seso]

1. 输入 3 个slot， 分别是 ：

dense_vector(60, seq_type=SequenceType.SEQUENCE)， 
dense_vector(1, seq_type=SequenceType.SEQUENCE)， 
dense_vector(1, seq_type=SequenceType.SEQUENCE)

2. 测试样本集总样本 3104 条，provider 参数设置如下：

@provider(use_seq=True,
          pool_size=100,
          min_pool_size=100,
          init_hook=on_init,
          should_shuffle=True)

3. 走 paddle的 job = test， 每次测试的样本数目都不太一样。什么都不修改，run 四次测试脚本出现过 161， 163， 342， 100；

4. 增大 pool_size 超过总测试样本数，现象一致。只有增大 min_pool_size 超过总测试样本数目时，才会测试所有测试样本。

5. 在以上测试过程中没有设置 MEM_DATA_IN_PASS，可能和memory 没有关系。

[lcy-seso]

补充一些测试结果。

1. 以上现象和 cache=CacheType.CACHE_PASS_IN_MEM 无关；
2. 出错的配置是这样：

dense_vector(60, seq_type=SequenceType.SEQUENCE)， 
dense_vector(1, seq_type=SequenceType.SEQUENCE)， 
dense_vector(1, seq_type=SequenceType.SEQUENCE)

yield 时：

yield vec, [[label]], [[seq_type]]

其中， label 和 seq_type 是 int （这里会不会有问题？）；

3. 后两个 slot 可以替换成 integer_value ，yield 时也相应改变，
   变成如下定义形式 ：

dense_vector(60, seq_type=SequenceType.SEQUENCE),
integer_value(1),
integer_value(1)

yield 时：

yield vec, label, seq_type

以上错误消失

4. 训练时，使用integer_value 作为label，设置 min_pool_size 小于 training sample 的总数，没有出现丢样本的问题。

[lcy-seso]

string_slot 在预测时遇到以下两种情况，会有一定的价值，希望后期可以支持。
-（1）dataprovider 里面处理原始数据，丢弃不合法数据；

• 这样可以把原始数据通过string slot 给进去，直接拿结果，而不用记录哪些样本被丢弃，再做后处理将预测结果与原始输入拼接。对小数据评估比较方便。

-（2） label 本身是string；

• 如果支持string slot，测试就可以避免做一次string 到id 的映射，然后再映射回去，这样的操作；

string slot 都不会参与具体的运算，会在预测过程中提供一定的便利性。

[reyoung]

dataprovider 里面处理原始数据，丢弃不合法数据；

支持，请查询check参数

[lcy-seso]

嗯~ 这个是想和 string slot一起使用，string slot确实是可以没有的，有的话，有一点点的便利性。

[luotao1]

https://github.com/PaddlePaddle/Paddle/blob/develop/paddle/gserver/dataproviders/PyDataProvider.cpp 里面有string slot的

[lcy-seso]

PydataProvider2 里面应该还没有。这个东西确实没啥实际用处。就是评估会方便一点点。