pytorch_albert_qa

基于albert的中文问答.

说明

使用的数据集是CMRC2018数据集，这里对大于512的文本进行了分句处理，处理之后和问题是相对应关系。使用的模型是中文ALBERT模型，最后保存的模型会在ooutpout下，目前有albert.bin、albert-small.bin、albert-base.bin。数据和模型下载的地址：

链接：https://pan.baidu.com/s/1mMzcWDFDKOQicbgmtb3QDA?pwd=ue6c 提取码：ue6c

目录

• crmc2018：数据。
• model_hub：存放预训练模型的位置，在config.py里面指定self.bert_model = './model_hub/voidful-albert-chinese-tiny/'，如果不这么指定，可以使用这种方式：self.bert_model = 'voidful/albert_chinese_base'，这种会下载对应的模型，具体模型名可以去这里查看：brightmart/albert_zh: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS, 海量中文预训练ALBERT模型 (github.com)。
• output：保存训练好的模型。
• config.py：参数配置。
• cut_sentence.py：分句，并对标签进行重整。
• data_loader.py：数据加载。
• decode_utils.py：评价指标计算。
• model.py：模型，config.py里面有self.use_ori_albert参数，如果设置为True，直接使用hugging face里面的AutoModelForQuestionAnswering，否则使用model.py里面的BertQA。很奇怪的是BertQA的代码是从ForQuestionAnswering里面摘出来的，但用来进行训练基本没有效果。
• qa_utils.py：处理数据为albert所需要的格式。
• rematch.py：tokenizer后使标签和字符相对应。
• tokenization.py：基础的token化。
• train,py：主函数，包含训练、验证、测试和预测。

依赖

transformers==4.4.0
torch==1.7.0

运行

可以在train.py里面设置do_train、do_test、do_predict来切换。

python train.py

结果

参数

• albert-tiny：train_batch_size=32, max_seq_len=512, num_train_epochs=10, learning_rate = 3e-5
• albert-small：train_batch_size=32, max_seq_len=512, num_train_epochs=10, learning_rate = 3e-5
• albert-base：train_batch_size=32, max_seq_len=512, num_train_epochs=2, learning_rate = 3e-5

指标

需要注意的是，我这里计算的f1是当预测和真实答案完全一致才算正确。

模型名	loss	precision	recall	f1
albert-tiny	1.4956	0.3340	0.3401	0.3370
albert-small	1.242	0.4190	0.4226	0.4228
albert-base	0.9623	0.5043	0.5278	0.5158

预测

这里以albert-base的模型进行预测：

文本： 《战国无双3》（）是由光荣和ω-force开发的战国无双系列的正统第三续作。本作以三大故事为主轴，分别是以武田信玄等人为主的《关东三国志》，织田信长等人为主的《战国三杰》，石田三成等人为主的《关原的年轻武者》，丰富游戏内的剧情。此部份专门介绍角色，欲知武器情报、奥义字或擅长攻击类型等，请至战国无双系列1.由于乡里大辅先生因故去世，不得不寻找其他声优接手。从猛将传andz开始。2.战国无双编年史的原创男女主角亦有专属声优。此模式是任天堂游戏谜之村雨城改编的新增模式。本作中共有20张战场地图（不含村雨城），后来发行的猛将传再新增3张战场地图。但游戏内战役数量繁多，部分地图会有兼用的状况，战役虚实则是以光荣发行的2本「战国无双3人物真书」内容为主，以下是相关介绍。（注：前方加☆者为猛将传新增关卡及地图。）合并本篇和猛将传的内容，村雨城模式剔除，战国史模式可直接游玩。主打两大模式「战史演武」&「争霸演武」。系列作品外传作品
问题： 《战国无双3》是由哪两个公司合作开发的？
预测答案： 光荣和ω-force
真实答案： 光荣和ω-force
====================================================================================================
文本： 《战国无双3》（）是由光荣和ω-force开发的战国无双系列的正统第三续作。本作以三大故事为主轴，分别是以武田信玄等人为主的《关东三国志》，织田信长等人为主的《战国三杰》，石田三成等人为主的《关原的年轻武者》，丰富游戏内的剧情。此部份专门介绍角色，欲知武器情报、奥义字或擅长攻击类型等，请至战国无双系列1.由于乡里大辅先生因故去世，不得不寻找其他声优接手。从猛将传andz开始。2.战国无双编年史的原创男女主角亦有专属声优。此模式是任天堂游戏谜之村雨城改编的新增模式。本作中共有20张战场地图（不含村雨城），后来发行的猛将传再新增3张战场地图。但游戏内战役数量繁多，部分地图会有兼用的状况，战役虚实则是以光荣发行的2本「战国无双3人物真书」内容为主，以下是相关介绍。（注：前方加☆者为猛将传新增关卡及地图。）合并本篇和猛将传的内容，村雨城模式剔除，战国史模式可直接游玩。主打两大模式「战史演武」&「争霸演武」。系列作品外传作品
问题： 男女主角亦有专属声优这一模式是由谁改编的？
预测答案： 任天堂游戏谜之村雨城
真实答案： 村雨城
====================================================================================================
文本： 《战国无双3》（）是由光荣和ω-force开发的战国无双系列的正统第三续作。本作以三大故事为主轴，分别是以武田信玄等人为主的《关东三国志》，织田信长等人为主的《战国三杰》，石田三成等人为主的《关原的年轻武者》，丰富游戏内的剧情。此部份专门介绍角色，欲知武器情报、奥义字或擅长攻击类型等，请至战国无双系列1.由于乡里大辅先生因故去世，不得不寻找其他声优接手。从猛将传andz开始。2.战国无双编年史的原创男女主角亦有专属声优。此模式是任天堂游戏谜之村雨城改编的新增模式。本作中共有20张战场地图（不含村雨城），后来发行的猛将传再新增3张战场地图。但游戏内战役数量繁多，部分地图会有兼用的状况，战役虚实则是以光荣发行的2本「战国无双3人物真书」内容为主，以下是相关介绍。（注：前方加☆者为猛将传新增关卡及地图。）合并本篇和猛将传的内容，村雨城模式剔除，战国史模式可直接游玩。主打两大模式「战史演武」&「争霸演武」。系列作品外传作品
问题： 战国史模式主打哪两个模式？
预测答案： 战史演武」&「争霸演武」
真实答案： 「战史演武」&「争霸演武」
====================================================================================================
文本： 锣鼓经是大陆传统器乐及戏曲里面常用的打击乐记谱方法，以中文字的声音模拟敲击乐的声音，纪录打击乐的各种不同的演奏方法。常用的节奏型称为「锣鼓点」。而锣鼓是戏曲节奏的支柱，除了加强演员身段动作的节奏感，也作为音乐的引子和尾声，提示音乐的板式和速度，以及作为唱腔和念白的伴奏，令诗句的韵律更加抑扬顿锉，段落分明。锣鼓的运用有约定俗成的程式，依照角色行当的身份、性格、情绪以及环境，配合相应的锣鼓点。锣鼓亦可以模仿大自然的音响效果，如雷电、波浪等等。戏曲锣鼓所运用的敲击乐器主要分为鼓、锣、[UNK]和板四类型：鼓类包括有单皮鼓（板鼓）、大鼓、大堂鼓(唐鼓)、小堂鼓、怀鼓、花盆鼓等；锣类有大锣、小锣(手锣)、[UNK]锣、筛锣、马锣、镗锣、云锣；[UNK]类有[UNK][UNK]、大[UNK]、小[UNK]、水[UNK]、齐[UNK]、[UNK][UNK]、铰子、碰钟等；打拍子用的檀板、木鱼、梆子等。因为京剧的锣鼓通常由四位乐师负责，又称为四大件，领奏的师傅称为：「鼓佬」，其职责有如西方乐队的指挥，负责控制速度以及利用各种手势提示乐师演奏不同的锣鼓点。粤剧吸收了部份京剧的锣鼓，但以木鱼和沙的代替了京剧的板和鼓，作为打拍子的主要乐器。以下是京剧、昆剧和粤剧锣鼓中乐器对应的口诀用字：
问题： 锣鼓经是什么？
预测答案： 大陆传统器乐及戏曲里面常用的打击乐记谱方法
真实答案： 大陆传统器乐及戏曲里面常用的打击乐记谱方法
====================================================================================================
文本： 锣鼓经是大陆传统器乐及戏曲里面常用的打击乐记谱方法，以中文字的声音模拟敲击乐的声音，纪录打击乐的各种不同的演奏方法。常用的节奏型称为「锣鼓点」。而锣鼓是戏曲节奏的支柱，除了加强演员身段动作的节奏感，也作为音乐的引子和尾声，提示音乐的板式和速度，以及作为唱腔和念白的伴奏，令诗句的韵律更加抑扬顿锉，段落分明。锣鼓的运用有约定俗成的程式，依照角色行当的身份、性格、情绪以及环境，配合相应的锣鼓点。锣鼓亦可以模仿大自然的音响效果，如雷电、波浪等等。戏曲锣鼓所运用的敲击乐器主要分为鼓、锣、[UNK]和板四类型：鼓类包括有单皮鼓（板鼓）、大鼓、大堂鼓(唐鼓)、小堂鼓、怀鼓、花盆鼓等；锣类有大锣、小锣(手锣)、[UNK]锣、筛锣、马锣、镗锣、云锣；[UNK]类有[UNK][UNK]、大[UNK]、小[UNK]、水[UNK]、齐[UNK]、[UNK][UNK]、铰子、碰钟等；打拍子用的檀板、木鱼、梆子等。因为京剧的锣鼓通常由四位乐师负责，又称为四大件，领奏的师傅称为：「鼓佬」，其职责有如西方乐队的指挥，负责控制速度以及利用各种手势提示乐师演奏不同的锣鼓点。粤剧吸收了部份京剧的锣鼓，但以木鱼和沙的代替了京剧的板和鼓，作为打拍子的主要乐器。以下是京剧、昆剧和粤剧锣鼓中乐器对应的口诀用
问题： 锣鼓经常用的节奏型称为什么？
预测答案： 锣鼓点
真实答案： 锣鼓点
====================================================================================================
文本： 锣鼓经是大陆传统器乐及戏曲里面常用的打击乐记谱方法，以中文字的声音模拟敲击乐的声音，纪录打击乐的各种不同的演奏方法。常用的节奏型称为「锣鼓点」。而锣鼓是戏曲节奏的支柱，除了加强演员身段动作的节奏感，也作为音乐的引子和尾声，提示音乐的板式和速度，以及作为唱腔和念白的伴奏，令诗句的韵律更加抑扬顿锉，段落分明。锣鼓的运用有约定俗成的程式，依照角色行当的身份、性格、情绪以及环境，配合相应的锣鼓点。锣鼓亦可以模仿大自然的音响效果，如雷电、波浪等等。戏曲锣鼓所运用的敲击乐器主要分为鼓、锣、[UNK]和板四类型：鼓类包括有单皮鼓（板鼓）、大鼓、大堂鼓(唐鼓)、小堂鼓、怀鼓、花盆鼓等；锣类有大锣、小锣(手锣)、[UNK]锣、筛锣、马锣、镗锣、云锣；[UNK]类有[UNK][UNK]、大[UNK]、小[UNK]、水[UNK]、齐[UNK]、[UNK][UNK]、铰子、碰钟等；打拍子用的檀板、木鱼、梆子等。因为京剧的锣鼓通常由四位乐师负责，又称为四大件，领奏的师傅称为：「鼓佬」，其职责有如西方乐队的指挥，负责控制速度以及利用各种手势提示乐师演奏不同的锣鼓点。粤剧吸收了部份京剧的锣鼓，但以木鱼和沙的代替了京剧的板和鼓，作为打拍子的主要乐器。以下是京剧、昆剧和粤剧锣鼓中乐器对应的口诀用字：
问题： 锣鼓经运用的程式是什么？
预测答案： 约定俗成的程式，依照角色行当的身份、性格、情绪以及环境，配合相应的锣鼓点。
真实答案： 依照角色行当的身份、性格、情绪以及环境，配合相应的锣鼓点。
====================================================================================================
文本： 锣鼓经是大陆传统器乐及戏曲里面常用的打击乐记谱方法，以中文字的声音模拟敲击乐的声音，纪录打击乐的各种不同的演奏方法。常用的节奏型称为「锣鼓点」。而锣鼓是戏曲节奏的支柱，除了加强演员身段动作的节奏感，也作为音乐的引子和尾声，提示音乐的板式和速度，以及作为唱腔和念白的伴奏，令诗句的韵律更加抑扬顿锉，段落分明。锣鼓的运用有约定俗成的程式，依照角色行当的身份、性格、情绪以及环境，配合相应的锣鼓点。锣鼓亦可以模仿大自然的音响效果，如雷电、波浪等等。戏曲锣鼓所运用的敲击乐器主要分为鼓、锣、[UNK]和板四类型：鼓类包括有单皮鼓（板鼓）、大鼓、大堂鼓(唐鼓)、小堂鼓、怀鼓、花盆鼓等；锣类有大锣、小锣(手锣)、[UNK]锣、筛锣、马锣、镗锣、云锣；[UNK]类有[UNK][UNK]、大[UNK]、小[UNK]、水[UNK]、齐[UNK]、[UNK][UNK]、铰子、碰钟等；打拍子用的檀板、木鱼、梆子等。因为京剧的锣鼓通常由四位乐师负责，又称为四大件，领奏的师傅称为：「鼓佬」，其职责有如西方乐队的指挥，负责控制速度以及利用各种手势提示乐师演奏不同的锣鼓点。粤剧吸收了部份京剧的锣鼓，但以木鱼和沙的代替了京剧的板和鼓，作为打拍子的主要乐器。
问题： 戏曲锣鼓所运用的敲击乐器主要有什么类型？
预测答案： 鼓、锣、[UNK]和板四类型
真实答案： 鼓、锣、[UNK]和板
====================================================================================================
文本： 以下是京剧、昆剧和粤剧锣鼓中乐器对应的口诀用字：
问题： 戏曲锣鼓所运用的敲击乐器主要有什么类型？
预测答案： [CLS]
真实答案： [CLS]
====================================================================================================
文本： 广茂铁路是中国广东省一条起自广州市广州西站，向西跨越北江、西江，经佛山、三水、肇庆、云浮、阳江至茂名市茂名站的铁路，全长364.6公里，由三茂铁路股份有限公司管理运营。广茂铁路在广州由广茂联络线（前称流西联络线）连接广州西站及广州站，从而与京广、广深线连接，在茂名与黎湛铁路茂名支线连接，是珠江三角洲通往粤西南和雷州半岛的主要铁路干线。另有腰古至云浮，和三水站（原称西南站）至三水南站的支线，如将此两条支线计算在内，广茂铁路则全长421.326公里，共有47个车站。广茂铁路是在2004年2月29日起，因广州铁路集团控股的三茂铁路股份有限公司管辖范围增加原由广铁集团羊城铁路总公司管辖的广三铁路，原广三铁路和三茂铁路合称广茂铁路，原属广三线上的广州西站、石围塘站、佛山车务段和工务、电务、水电等部门由三茂铁路股份有限公司接管。同时中华人民共和国铁道部将广茂铁路由二级线路调整为一级线路。广三铁路于1903年筑成，全长49公里。而全长357公里的三茂铁路则于1991年投入运营。
问题： 广茂铁路全长多少公里？
预测答案： 364.6公里
真实答案： 364.6公里
====================================================================================================
文本： 广茂铁路是中国广东省一条起自广州市广州西站，向西跨越北江、西江，经佛山、三水、肇庆、云浮、阳江至茂名市茂名站的铁路，全长364.6公里，由三茂铁路股份有限公司管理运营。广茂铁路在广州由广茂联络线（前称流西联络线）连接广州西站及广州站，从而与京广、广深线连接，在茂名与黎湛铁路茂名支线连接，是珠江三角洲通往粤西南和雷州半岛的主要铁路干线。另有腰古至云浮，和三水站（原称西南站）至三水南站的支线，如将此两条支线计算在内，广茂铁路则全长421.326公里，共有47个车站。广茂铁路是在2004年2月29日起，因广州铁路集团控股的三茂铁路股份有限公司管辖范围增加原由广铁集团羊城铁路总公司管辖的广三铁路，原广三铁路和三茂铁路合称广茂铁路，原属广三线上的广州西站、石围塘站、佛山车务段和工务、电务、水电等部门由三茂铁路股份有限公司接管。同时中华人民共和国铁道部将广茂铁路由二级线路调整为一级线路。广三铁路于1903年筑成，全长49公里。而全长357公里的三茂铁路则于1991年投入运营。
问题： 广茂铁路由哪家公司管理运营？
预测答案： 三茂铁路股份有限公司
真实答案： 三茂铁路股份有限公司
====================================================================================================
文本： 广茂铁路是中国广东省一条起自广州市广州西站，向西跨越北江、西江，经佛山、三水、肇庆、云浮、阳江至茂名市茂名站的铁路，全长364.6公里，由三茂铁路股份有限公司管理运营。广茂铁路在广州由广茂联络线（前称流西联络线）连接广州西站及广州站，从而与京广、广深线连接，在茂名与黎湛铁路茂名支线连接，是珠江三角洲通往粤西南和雷州半岛的主要铁路干线。另有腰古至云浮，和三水站（原称西南站）至三水南站的支线，如将此两条支线计算在内，广茂铁路则全长421.326公里，共有47个车站。广茂铁路是在2004年2月29日起，因广州铁路集团控股的三茂铁路股份有限公司管辖范围增加原由广铁集团羊城铁路总公司管辖的广三铁路，原广三铁路和三茂铁路合称广茂铁路，原属广三线上的广州西站、石围塘站、佛山车务段和工务、电务、水电等部门由三茂铁路股份有限公司接管。同时中华人民共和国铁道部将广茂铁路由二级线路调整为一级线路。广三铁路于1903年筑成，全长49公里。而全长357公里的三茂铁路则于1991年投入运营。
问题： 广三铁路在哪年建成？
预测答案： 1903年
真实答案： 1903年
====================================================================================================
文本： 大莱龙铁路位于山东省北部环渤海地区，西起位于益羊铁路的潍坊大家洼车站，向东经海化、寿光、寒亭、昌邑、平度、莱州、招远、终到龙口，连接山东半岛羊角沟、潍坊、莱州、龙口四个港口，全长175公里，工程建设概算总投资11.42亿元。铁路西与德大铁路、黄大铁路在大家洼站接轨，东与龙烟铁路相连。大莱龙铁路于1997年11月批复立项，2002年12月28日全线铺通，2005年6月建成试运营，是横贯山东省北部的铁路干线德龙烟铁路的重要组成部分，构成山东省北部沿海通道，并成为环渤海铁路网的南部干线。铁路沿线设有大家洼站、寒亭站、昌邑北站、海天站、平度北站、沙河站、莱州站、朱桥站、招远站、龙口西站、龙口北站、龙口港站。大莱龙铁路官方网站
问题： 大莱龙铁路位于哪里？
预测答案： 山东省北部环渤海地区
真实答案： 山东省北部环渤海地区
====================================================================================================
文本： 大莱龙铁路位于山东省北部环渤海地区，西起位于益羊铁路的潍坊大家洼车站，向东经海化、寿光、寒亭、昌邑、平度、莱州、招远、终到龙口，连接山东半岛羊角沟、潍坊、莱州、龙口四个港口，全长175公里，工程建设概算总投资11.42亿元。铁路西与德大铁路、黄大铁路在大家洼站接轨，东与龙烟铁路相连。大莱龙铁路于1997年11月批复立项，2002年12月28日全线铺通，2005年6月建成试运营，是横贯山东省北部的铁路干线德龙烟铁路的重要组成部分，构成山东省北部沿海通道，并成为环渤海铁路网的南部干线。铁路沿线设有大家洼站、寒亭站、昌邑北站、海天站、平度北站、沙河站、莱州站、朱桥站、招远站、龙口西站、龙口北站、龙口港站。大莱龙铁路官方网站
问题： 大莱龙铁路一共投资多少亿元？
预测答案： 11.42亿元
真实答案： 11.42亿元
====================================================================================================
文本： 大莱龙铁路位于山东省北部环渤海地区，西起位于益羊铁路的潍坊大家洼车站，向东经海化、寿光、寒亭、昌邑、平度、莱州、招远、终到龙口，连接山东半岛羊角沟、潍坊、莱州、龙口四个港口，全长175公里，工程建设概算总投资11.42亿元。铁路西与德大铁路、黄大铁路在大家洼站接轨，东与龙烟铁路相连。大莱龙铁路于1997年11月批复立项，2002年12月28日全线铺通，2005年6月建成试运营，是横贯山东省北部的铁路干线德龙烟铁路的重要组成部分，构成山东省北部沿海通道，并成为环渤海铁路网的南部干线。铁路沿线设有大家洼站、寒亭站、昌邑北站、海天站、平度北站、沙河站、莱州站、朱桥站、招远站、龙口西站、龙口北站、龙口港站。大莱龙铁路官方网站
问题： 大莱龙铁路有什么重要作用？
预测答案： 大莱龙铁路于1997年11月批复立项，2002年12月28日全线铺通，2005年6月建成试运营，是横贯山东省北部的铁路干线德龙烟铁路的重要组成部分，构成山东省北部沿海通道，并成为环渤海铁路网的南部干线。
真实答案： 是横贯山东省北部的铁路干线德龙烟铁路的重要组成部分，构成山东省北部沿海通道，并成为环渤海铁路网的南部干线。
====================================================================================================
文本： 大莱龙铁路位于山东省北部环渤海地区，西起位于益羊铁路的潍坊大家洼车站，向东经海化、寿光、寒亭、昌邑、平度、莱州、招远、终到龙口，连接山东半岛羊角沟、潍坊、莱州、龙口四个港口，全长175公里，工程建设概算总投资11.42亿元。铁路西与德大铁路、黄大铁路在大家洼站接轨，东与龙烟铁路相连。大莱龙铁路于1997年11月批复立项，2002年12月28日全线铺通，2005年6月建成试运营，是横贯山东省北部的铁路干线德龙烟铁路的重要组成部分，构成山东省北部沿海通道，并成为环渤海铁路网的南部干线。铁路沿线设有大家洼站、寒亭站、昌邑北站、海天站、平度北站、沙河站、莱州站、朱桥站、招远站、龙口西站、龙口北站、龙口港站。大莱龙铁路官方网站
问题： 铁路沿线设有哪些站点？
预测答案： 大家洼站、寒亭站、昌邑北站、海天站、平度北站、沙河站、莱州站、朱桥站、招远站、龙口西站、龙口北站、龙口港站
真实答案： 大家洼站、寒亭站、昌邑北站、海天站、平度北站、沙河站、莱州站、朱桥站、招远站、龙口西站、龙口北站、龙口港站
====================================================================================================
文本： 莱昂德罗·内托（leandronettodemacedo,），巴西足球运动员，司职前锋。莱昂德罗·内托曾先后效力于葡萄牙、塞尔维亚和巴西的球队，在每一支球队都是队内最犀利的得分手。2001赛季，他是葡萄牙球队科英布拉大学最佳射手，在26场联赛中攻入13个入球。到了2002赛季，莱昂德罗·内托转会到ofk贝尔格莱德，他随后成为ofk贝尔格莱德球队最佳射手，在30场比赛中打进14粒入球。随后几个赛季，莱昂德罗·内托辗转到葡萄牙发展，在2006赛季，他在泰罗芬斯以18场比赛进11球的高效率，再度成为球队最佳射手。2009赛季，内托加盟中超球队河南建业，在效力的4个赛季中，内托为球队出场101次，打进38球，成为球队最犀利的得分利器。2013年加盟中甲球队湖南湘涛。2013赛季为湖南湘涛队出场28次，攻入14球，为该赛季湘涛保级成功的最大功臣。
问题： 莱昂德罗·内托的国籍是哪个国家？
预测答案： 巴西
真实答案： 巴西
====================================================================================================
文本： 莱昂德罗·内托（leandronettodemacedo,），巴西足球运动员，司职前锋。莱昂德罗·内托曾先后效力于葡萄牙、塞尔维亚和巴西的球队，在每一支球队都是队内最犀利的得分手。2001赛季，他是葡萄牙球队科英布拉大学最佳射手，在26场联赛中攻入13个入球。到了2002赛季，莱昂德罗·内托转会到ofk贝尔格莱德，他随后成为ofk贝尔格莱德球队最佳射手，在30场比赛中打进14粒入球。随后几个赛季，莱昂德罗·内托辗转到葡萄牙发展，在2006赛季，他在泰罗芬斯以18场比赛进11球的高效率，再度成为球队最佳射手。2009赛季，内托加盟中超球队河南建业，在效力的4个赛季中，内托为球队出场101次，打进38球，成为球队最犀利的得分利器。2013年加盟中甲球队湖南湘涛。2013赛季为湖南湘涛队出场28次，攻入14球，为该赛季湘涛保级成功的最大功臣。
问题： 莱昂德罗·内托的职业是什么？
预测答案： 巴西足球运动员，司职前锋
真实答案： 足球运动员
====================================================================================================
文本： 莱昂德罗·内托（leandronettodemacedo,），巴西足球运动员，司职前锋。莱昂德罗·内托曾先后效力于葡萄牙、塞尔维亚和巴西的球队，在每一支球队都是队内最犀利的得分手。2001赛季，他是葡萄牙球队科英布拉大学最佳射手，在26场联赛中攻入13个入球。到了2002赛季，莱昂德罗·内托转会到ofk贝尔格莱德，他随后成为ofk贝尔格莱德球队最佳射手，在30场比赛中打进14粒入球。随后几个赛季，莱昂德罗·内托辗转到葡萄牙发展，在2006赛季，他在泰罗芬斯以18场比赛进11球的高效率，再度成为球队最佳射手。2009赛季，内托加盟中超球队河南建业，在效力的4个赛季中，内托为球队出场101次，打进38球，成为球队最犀利的得分利器。2013年加盟中甲球队湖南湘涛。2013赛季为湖南湘涛队出场28次，攻入14球，为该赛季湘涛保级成功的最大功臣。
问题： 莱昂德罗·内托曾效力过哪些球队？
预测答案： 葡萄牙、塞尔维亚和巴西的球队
真实答案： 葡萄牙、塞尔维亚和巴西的球队
====================================================================================================
文本： 赵鹏（），中国足球运动员，司职后卫。赵鹏于1997年便加入河南建业青年队，2002年进入河南建业一线队。2011赛季结束后，赵鹏和建业的合同完结，此后一直盛传他将加盟中超升班马广州富力。但最后在2012年1月12日，建业成功与赵鹏续约3年。2012赛季，赵鹏未能帮助建业保级。其后在2013年1月1日，赵鹏连同其队友曾诚双双加盟广州恒大。但球队中后卫位置的激烈竞争，再加上3月份他在国家队比赛后的恢复训练受伤，直到5月10日，他才在广州恒大客场3比0击败上海申花的比赛下半场替补荣昊登场，首次为广州队在正式比赛出场。2014年6月，赵鹏被租借到中超球队长春亚泰。不过由于伤病困扰，他在2014下半赛季并没有得到出场机会。2016年3月，中乙球队成都钱宝宣布赵鹏加盟。2009年赵鹏入选中国国家队，同年5月29日友谊赛对阵德国是他的第一场国际a级赛。
问题： 赵鹏的职业是什么？
预测答案： 中国足球运动员
真实答案： 足球运动员
====================================================================================================
文本： 赵鹏（），中国足球运动员，司职后卫。赵鹏于1997年便加入河南建业青年队，2002年进入河南建业一线队。2011赛季结束后，赵鹏和建业的合同完结，此后一直盛传他将加盟中超升班马广州富力。但最后在2012年1月12日，建业成功与赵鹏续约3年。2012赛季，赵鹏未能帮助建业保级。其后在2013年1月1日，赵鹏连同其队友曾诚双双加盟广州恒大。但球队中后卫位置的激烈竞争，再加上3月份他在国家队比赛后的恢复训练受伤，直到5月10日，他才在广州恒大客场3比0击败上海申花的比赛下半场替补荣昊登场，首次为广州队在正式比赛出场。2014年6月，赵鹏被租借到中超球队长春亚泰。不过由于伤病困扰，他在2014下半赛季并没有得到出场机会。2016年3月，中乙球队成都钱宝宣布赵鹏加盟。2009年赵鹏入选中国国家队，同年5月29日友谊赛对阵德国是他的第一场国际a级赛。
问题： 赵鹏在2014年下半赛季没有出场的原因是什么？
预测答案： 由于伤病困扰
真实答案： 伤病困扰
====================================================================================================
文本： 赵鹏（），中国足球运动员，司职后卫。赵鹏于1997年便加入河南建业青年队，2002年进入河南建业一线队。2011赛季结束后，赵鹏和建业的合同完结，此后一直盛传他将加盟中超升班马广州富力。但最后在2012年1月12日，建业成功与赵鹏续约3年。2012赛季，赵鹏未能帮助建业保级。其后在2013年1月1日，赵鹏连同其队友曾诚双双加盟广州恒大。但球队中后卫位置的激烈竞争，再加上3月份他在国家队比赛后的恢复训练受伤，直到5月10日，他才在广州恒大客场3比0击败上海申花的比赛下半场替补荣昊登场，首次为广州队在正式比赛出场。2014年6月，赵鹏被租借到中超球队长春亚泰。不过由于伤病困扰，他在2014下半赛季并没有得到出场机会。2016年3月，中乙球队成都钱宝宣布赵鹏加盟。2009年赵鹏入选中国国家队，同年5月29日友谊赛对阵德国是他的第一场国际a级赛。
问题： 赵鹏在哪年入选国家队？
预测答案： 2009年
真实答案： 2009年
====================================================================================================
文本： 邹游（），中国足球运动员，司职中场。邹游在2004年正式进入大连实德一线队开始职业足球生涯。他在正式进入大连实德一线队的第一年即被租借到与大连实德关系密切的中甲球队大连长波。2006年再被实德租借到当时仍是中甲球队的广州医药。2008赛季开始前被河南建业买入。邹游在効力河南建业三年间只为球队[UNK]了15场比赛,是球队的边缘球员。其中2010年是邹游在河南建业効力的最后一个赛季更无法得到出场机会，邹游在赛季结束后被球队挂牌。2011年，邹游被首次参加乙级联赛的球队抚顺新野作为超龄球员引进，身披10号球衣。2012年7月，二次转会期间，中甲球队成都谢菲联宣布引进邹游。2015年2月加盟中甲球队大连一方
问题： 邹游的职业是什么？
预测答案： 中国足球运动员
真实答案： 足球运动员
====================================================================================================
文本： 邹游（），中国足球运动员，司职中场。邹游在2004年正式进入大连实德一线队开始职业足球生涯。他在正式进入大连实德一线队的第一年即被租借到与大连实德关系密切的中甲球队大连长波。2006年再被实德租借到当时仍是中甲球队的广州医药。2008赛季开始前被河南建业买入。邹游在効力河南建业三年间只为球队[UNK]了15场比赛,是球队的边缘球员。其中2010年是邹游在河南建业効力的最后一个赛季更无法得到出场机会，邹游在赛季结束后被球队挂牌。2011年，邹游被首次参加乙级联赛的球队抚顺新野作为超龄球员引进，身披10号球衣。2012年7月，二次转会期间，中甲球队成都谢菲联宣布引进邹游。2015年2月加盟中甲球队大连一方
问题： 他司职什么位置？
预测答案： 司职中场
真实答案： 中场
====================================================================================================
文本： 邹游（），中国足球运动员，司职中场。邹游在2004年正式进入大连实德一线队开始职业足球生涯。他在正式进入大连实德一线队的第一年即被租借到与大连实德关系密切的中甲球队大连长波。2006年再被实德租借到当时仍是中甲球队的广州医药。2008赛季开始前被河南建业买入。邹游在効力河南建业三年间只为球队[UNK]了15场比赛,是球队的边缘球员。其中2010年是邹游在河南建业効力的最后一个赛季更无法得到出场机会，邹游在赛季结束后被球队挂牌。2011年，邹游被首次参加乙级联赛的球队抚顺新野作为超龄球员引进，身披10号球衣。2012年7月，二次转会期间，中甲球队成都谢菲联宣布引进邹游。2015年2月加盟中甲球队大连一方
问题： 邹游为什么被河南建业挂牌？
预测答案： 在効力河南建业三年间只为球队[UNK]了15场比赛,是球队的边缘球员。其中2010年是邹游在河南建业効力的最后一个赛季更无法得到出场机会
真实答案： 2010年是邹游在河南建业効力的最后一个赛季更无法得到出场机会
====================================================================================================
文本： 邹游（），中国足球运动员，司职中场。邹游在2004年正式进入大连实德一线队开始职业足球生涯。他在正式进入大连实德一线队的第一年即被租借到与大连实德关系密切的中甲球队大连长波。2006年再被实德租借到当时仍是中甲球队的广州医药。2008赛季开始前被河南建业买入。邹游在効力河南建业三年间只为球队[UNK]了15场比赛,是球队的边缘球员。其中2010年是邹游在河南建业効力的最后一个赛季更无法得到出场机会，邹游在赛季结束后被球队挂牌。2011年，邹游被首次参加乙级联赛的球队抚顺新野作为超龄球员引进，身披10号球衣。2012年7月，二次转会期间，中甲球队成都谢菲联宣布引进邹游。2015年2月加盟中甲球队大连一方
问题： 邹游效力抚顺新野球队期间身披几号球衣？
预测答案： 10号
真实答案： 10号
====================================================================================================
文本： 张世昌（），中国足球运动员，司职守门员，他以出众的身体协调性和体质，以及火爆的性格闻名。张世昌在天津火车头效力时，就已作为国少队成员入选过贾秀全带领的国青集训队，被评价为同年龄段[UNK]身体条件最好的门将[UNK]。2007年1月他就曾经去前往葡萄牙球队本菲卡试训，在1个月的时间内，出色的表现打动了本菲卡队青年队教练，可是由于年龄原因并没有与张世昌签约，同年7月张世昌又与青岛海利丰的张超以及杭州三超的宋志伟一起前往葡萄牙试训，张世昌来到了波尔图，随后又去了葡超中游球队比兰伦斯，但都未能成功签约，返回天津火车头效力。2008年张世昌被贾秀全执教的河南建业罗致。但张世昌在河南建业只担任替补，没有取得多少上场机会。2009年中超最后一轮作客深圳，因曾诚的不冷静举动被罚下才意外在中超完成一次出场，仓促上阵之下没能挽救少打一人的河南建业避免1比3落败。2010年张世昌因伤错失赛季中球队出现伤病导致的门慌机会。2011年性格火爆的张世昌在再度在作客深圳队（实是在当时的临时主场惠州）的赛事中＂出彩＂，在场边热身时与看台谁的球迷发生小冲突。2012年张世昌与河南建业的队友于乐、凌思浩一同加盟颇有缘分的深圳红钻。
问题： 张世昌的职业是什么？
预测答案： 中国足球运动员，司职守门员
真实答案： 足球运动员
====================================================================================================
文本： 其中张世昌的转会费官方号称达到400万元，是深圳队在近七年转会费最高的一笔引援，但实际转会费约为数十万。3月17日，张世昌在深圳红钻客场1比0击败北京八喜的比赛中首发登场，第一次代表深圳红钻在正式比赛亮相。当季与原国奥队友张迅伟继续师从在河南和国奥的门将教练哈威，竞争主力互有出场。2013年张世昌开局不顺，先是在首轮对湖北华凯尔的赛季首战中出击犹豫导致失球落后，后又一度遭遇被广东日之泉攻入四球的危局。但在客场对北京八喜的比赛中及时恢复季前苦练练就的上佳状态，以多次精彩扑救助深圳队取得特鲁西埃时代少有的一场客场胜利，一举扭转球队颓势，并为之后的七连胜打下铺垫。作客延边的比赛前，训练状态不佳的张世昌被特鲁西埃暂时剥夺赛季初以来的主力位置，后又在作客石家庄的比赛中在替补席上指责裁判招致无谓黄牌停赛，在作客广东日之泉的冲超关键战中出现低级失误失球，起伏严重，赛季末方才恢复。2014年2月27日转会加盟中超球队广州富力。2017年2月，中乙球队四川安纳普尔那官方宣布正式与张世昌签约5年。
问题： 张世昌的职业是什么？
预测答案： [CLS]
真实答案： [CLS]
====================================================================================================
文本： 张世昌（），中国足球运动员，司职守门员，他以出众的身体协调性和体质，以及火爆的性格闻名。张世昌在天津火车头效力时，就已作为国少队成员入选过贾秀全带领的国青集训队，被评价为同年龄段[UNK]身体条件最好的门将[UNK]。2007年1月他就曾经去前往葡萄牙球队本菲卡试训，在1个月的时间内，出色的表现打动了本菲卡队青年队教练，可是由于年龄原因并没有与张世昌签约，同年7月张世昌又与青岛海利丰的张超以及杭州三超的宋志伟一起前往葡萄牙试训，张世昌来到了波尔图，随后又去了葡超中游球队比兰伦斯，但都未能成功签约，返回天津火车头效力。2008年张世昌被贾秀全执教的河南建业罗致。但张世昌在河南建业只担任替补，没有取得多少上场机会。2009年中超最后一轮作客深圳，因曾诚的不冷静举动被罚下才意外在中超完成一次出场，仓促上阵之下没能挽救少打一人的河南建业避免1比3落败。2010年张世昌因伤错失赛季中球队出现伤病导致的门慌机会。2011年性格火爆的张世昌在再度在作客深圳队（实是在当时的临时主场惠州）的赛事中＂出彩＂，在场边热身时与看台谁的球迷发生小冲突。2012年张世昌与河南建业的队友于乐、凌思浩一同加盟颇有缘分的深圳红钻。
问题： 张世昌出名的原因是什么？
预测答案： 
真实答案： 出众的身体协调性和体质，以及火爆的性格
====================================================================================================
文本： 其中张世昌的转会费官方号称达到400万元，是深圳队在近七年转会费最高的一笔引援，但实际转会费约为数十万。3月17日，张世昌在深圳红钻客场1比0击败北京八喜的比赛中首发登场，第一次代表深圳红钻在正式比赛亮相。当季与原国奥队友张迅伟继续师从在河南和国奥的门将教练哈威，竞争主力互有出场。2013年张世昌开局不顺，先是在首轮对湖北华凯尔的赛季首战中出击犹豫导致失球落后，后又一度遭遇被广东日之泉攻入四球的危局。但在客场对北京八喜的比赛中及时恢复季前苦练练就的上佳状态，以多次精彩扑救助深圳队取得特鲁西埃时代少有的一场客场胜利，一举扭转球队颓势，并为之后的七连胜打下铺垫。作客延边的比赛前，训练状态不佳的张世昌被特鲁西埃暂时剥夺赛季初以来的主力位置，后又在作客石家庄的比赛中在替补席上指责裁判招致无谓黄牌停赛，在作客广东日之泉的冲超关键战中出现低级失误失球，起伏严重，赛季末方才恢复。2014年2月27日转会加盟中超球队广州富力。2017年2月，中乙球队四川安纳普尔那官方宣布正式与张世昌签约5年。
问题： 张世昌出名的原因是什么？
预测答案： [CLS]
真实答案： [CLS]
====================================================================================================
文本： 张世昌（），中国足球运动员，司职守门员，他以出众的身体协调性和体质，以及火爆的性格闻名。张世昌在天津火车头效力时，就已作为国少队成员入选过贾秀全带领的国青集训队，被评价为同年龄段[UNK]身体条件最好的门将[UNK]。2007年1月他就曾经去前往葡萄牙球队本菲卡试训，在1个月的时间内，出色的表现打动了本菲卡队青年队教练，可是由于年龄原因并没有与张世昌签约，同年7月张世昌又与青岛海利丰的张超以及杭州三超的宋志伟一起前往葡萄牙试训，张世昌来到了波尔图，随后又去了葡超中游球队比兰伦斯，但都未能成功签约，返回天津火车头效力。2008年张世昌被贾秀全执教的河南建业罗致。但张世昌在河南建业只担任替补，没有取得多少上场机会。2009年中超最后一轮作客深圳，因曾诚的不冷静举动被罚下才意外在中超完成一次出场，仓促上阵之下没能挽救少打一人的河南建业避免1比3落败。2010年张世昌因伤错失赛季中球队出现伤病导致的门慌机会。2011年性格火爆的张世昌在再度在作客深圳队（实是在当时的临时主场惠州）的赛事中＂出彩＂，在场边热身时与看台谁的球迷发生小冲突。
问题： 张世昌为什么能在2009年中超最后一轮做客深圳时出场？
预测答案： 因曾诚的不冷静举动被罚下
真实答案： 因曾诚的不冷静举动被罚下
====================================================================================================
文本： 2012年张世昌与河南建业的队友于乐、凌思浩一同加盟颇有缘分的深圳红钻。其中张世昌的转会费官方号称达到400万元，是深圳队在近七年转会费最高的一笔引援，但实际转会费约为数十万。3月17日，张世昌在深圳红钻客场1比0击败北京八喜的比赛中首发登场，第一次代表深圳红钻在正式比赛亮相。当季与原国奥队友张迅伟继续师从在河南和国奥的门将教练哈威，竞争主力互有出场。2013年张世昌开局不顺，先是在首轮对湖北华凯尔的赛季首战中出击犹豫导致失球落后，后又一度遭遇被广东日之泉攻入四球的危局。但在客场对北京八喜的比赛中及时恢复季前苦练练就的上佳状态，以多次精彩扑救助深圳队取得特鲁西埃时代少有的一场客场胜利，一举扭转球队颓势，并为之后的七连胜打下铺垫。作客延边的比赛前，训练状态不佳的张世昌被特鲁西埃暂时剥夺赛季初以来的主力位置，后又在作客石家庄的比赛中在替补席上指责裁判招致无谓黄牌停赛，在作客广东日之泉的冲超关键战中出现低级失误失球，起伏严重，赛季末方才恢复。2014年2月27日转会加盟中超球队广州富力。2017年2月，中乙球队四川安纳普尔那官方宣布正式与张世昌签约5年。
问题： 张世昌为什么能在2009年中超最后一轮做客深圳时出场？
预测答案： [CLS]
真实答案： [CLS]
====================================================================================================
文本： 于乐（），中国足球运动员，司职前锋。于乐出身于北京国安，在2006年以2万元转会到河南建业。2007年赛季，河南建业对阵大连实德，于乐下半场打进制胜一球，帮助球队获得队史首场中超胜利而一战成名。不过随后由于上阵机会不多成为球队的边缘球员。2010年河南建业要在中超和亚冠双线作战，在伤兵满营的情况下于乐才获得出场机会，当年4月13日进行的亚足联冠军联赛客场对阵新加坡武装部队的比赛中，于乐为河南建业一度扳平比分，收获个人首个亚冠进球，可惜球队最终以1-2失利。该赛季，于乐在中超出场15次打进3球。2011年于乐在中超联赛只出场7次，其中首发1次，全部出场时间加起来只有184分钟。2012年2月，于乐以自由转会方式加盟深圳红钻与球队签约3年，合同到期后深圳红钻有续约1年的优先权。由于遭遇伤病影响，未有过多发挥。2013年，于乐摆脱伤病困扰恢复状态，成为深圳队锋线上颇具冲击力的福将，赛季中期状态火爆屡屡打入关键入球。
问题： 于乐的职业是什么？
预测答案： 中国足球运动员
真实答案： 足球运动员
====================================================================================================

补充

Q：如果文本里面有多个answer呢？

A：这种就是multi-span extraction，可以去找找论文，这里提供一篇：eladsegal/tag-based-multi-span-extraction: The official implementation of EMNLP 2020, "A Simple and Effective Model for Answering Multi-span Questions". (github.com)

Q：怎么将QA的思想运用到实体识别中？

A：这里有一篇：ShannonAI/mrc-for-flat-nested-ner: Code for ACL 2020 paper A Unified MRC Framework for Named Entity Recognition (github.com)。可参考我另一个仓库：taishan1994/BERT_MRC_NER_chinese: 基于bert_mrc的中文命名实体识别 (github.com)

Q：qa is all you need？

A：QA还可以通过多轮的方式提取实体、关系、事件。但需要注意的是耗时可能会比较长。