tensorflow2.0 for Chinese GPT2

近期更新(持续修改中。。。)

打pb方法已经更新，可以参考我的另一个项目中的做法ner打pb方法

说明

参考使用 HuggingFace的transformers实现GPT2模型的编写与训练。 整体想法来源微软论文Large-scale Pretrained Response Generation Model (DialoGPT)原文实现代码 使用50W中文闲聊语料进行训练。

运行环境

python3.6、 tensorflow==2.1.0

训练说明

训练时，将一条训拼接，如 "[SOS]四级过了没？[SEP]两次都只差多分。[SEP]心疼你三秒钟[SEP]不着急，慢慢来。急不来的，[SEP] 你慢慢吧我着急六级[SEP]人家四级没过你就要过六级了。[SEP]都加油[SEP]加油！[SEP]"

四级过了没？
两次都只差多分。
心疼你三秒钟
不着急，慢慢来。急不来的，
你慢慢吧我着急六级
人家四级没过你就要过六级了。
都加油
加油！

50W条语料在data/目录下，data/ids目录是50W条语料转id后的结果

训练执行：

         python3 train.py

inference执行:

         python3 infer.py

参考资料

感谢GPT2-chitchat项目中提供50W条聊天语料百度网盘【提取码:osi6】

openai的GPT2源代码以及其inference代码