针对MNBVC 项目下的数据进行格式检查，要求数据格式满足现有语料格式:
pip install -r requirements.txt检查每个文件所有行并输出到日志文件logs/check_log.txt，检查结果请到logs目录下查看
python check_data.py --dataset data检查每个文件 top 100 行
python check_data.py --dataset data/ --k 100- --dataset 待检查的数据文件名或者目录，必选参数
- --k 抽样检查每个文件top k行, 可选参数，默认检查每个文件所有行
- 正确的语料格式：the type of dataset {your data} is ...数据
- 错误的语料格式: can not match data type, the most similar type of dataset {your data} is ...格式, similar score is ...
错误的语料格式会提示错误类型和错误行号(从0 开始)：
- 字段缺失: line: ...: missing error, missing keys: ...
- 字段数据类型错误: line ...: type error, error keys: ..., expected type ...
检查完成后，会提示检查完成： check dataset {your data} finished, right line ... / total check line ...
问答和多轮问答语料格式只有 id 字段的数据类型存在差异，在扩展字段存在差异，其它部分一致
- 问答的 id 字段为 int 类型
- 多轮问答的 id 为 string 类型
- 多轮问答的扩展字段为 json 字符串，且必须包含会话和多轮序号字段，字段类型为 int 类型
问答和多轮问答会检查 create_time时间格式，要求时间格式为%Y%m%d %H:%M:%S