V2 API save and load param with V1 API

[tensor-tang]

fix #3519

[tensor-tang]

ERROR: test_init_from_tar (main.TestParameters)
[13:53:24] : [Step 1/1] ----------------------------------------------------------------------
[13:53:24] : [Step 1/1] Traceback (most recent call last):
[13:53:24] : [Step 1/1] File "test_parameters.py", line 112, in test_init_from_tar
[13:53:24] : [Step 1/1] p2.init_from_tar(file1)
[13:53:24] : [Step 1/1] File "/paddle/build/python/build/lib-python/paddle/v2/parameters.py", line 377, in init_from_tar
[13:53:24] : [Step 1/1] tar_param = Parameters.from_tar(f)
[13:53:24] : [Step 1/1] File "/paddle/build/python/build/lib-python/paddle/v2/parameters.py", line 364, in from_tar
[13:53:24] : [Step 1/1] params.deserialize(param_name, f)
[13:53:24] : [Step 1/1] File "/paddle/build/python/build/lib-python/paddle/v2/parameters.py", line 306, in deserialize
[13:53:24] : [Step 1/1] self.set(name, arr.reshape(self.get_shape(name)))
[13:53:24] : [Step 1/1] ValueError: cannot reshape array of size 0 into shape (1,256)

Test_parameters failed since no gradient machine have initialed, so to_tar saved non tar.

Will update.

And maybe we need add more test case with gradient machine initialed

[luotao1]

@reyoung 要在v2的parameter里面用header，而不是直接写死

f.write(struct.pack("IIQ", 0, 4, size))

请问你觉得什么方式比较好？

• 目前PR的方式，即调用c++端parameter
• 其他？比如在python端写个获取c++端header的接口？

[qingqing01]

len(self.__gradient_machines__) == 0 和 len(self.__gradient_machines__) != 0 分别是什么情况下？ 为啥要用这个判断？

[tensor-tang]

一般来说，以DeepSpeech2为例，在真正保存参数之前，实际是已经有了self.__gradient_machines__，所以走进len(self.__gradient_machines__) != 0的分支。

在现有的单测里面，是会进入len(self.__gradient_machines__) == 0的分支。

[qingqing01]

filename是写死的，每次保存都会覆盖？

[tensor-tang]

是写死的，但是每次用完后会删掉，所以只是一个临时的。
之所以要这么用，是因为已有的V1 API接口目前只提供了从文件名的save和load。

[luotao1]

由于目前这样的写法和c++端更加紧密了，v2的目的是尽可能和c++端解耦。所以有几个问题：

1. 这个header的format什么时候会填充呢？是paddle.init(use_mkldnn=True)的时候进行填充？默认填充都是0,4,size?
2. 不同param间的format应该也可以不一样，这部分是在trainer/config_parser.py端可以确定，还是必须c++端确定？

[tensor-tang]

这个header的format什么时候会填充呢？是paddle.init(use_mkldnn=True)的时候进行填充？默认填充都是0,4,size?

MKLDNN的param里的header format会在MKLDNN layer里面到forward之前才能被确认。默认是0。

不同param间的format应该也可以不一样，这部分是在trainer/config_parser.py端可以确定，还是必须c++端确定？

不同param间的format是可以不一样的，但是format的确认首先还是在C++端，不过要从Python端取出来是需要另外加接口才可以。

[luotao1]

如果只是header问题，那么可以写一个接口，这里从c++端获取header即可。

[tensor-tang]

Can refine later if necessary.