caoxiaojiebi-机器推理系列文章概览七大NLP任务最新方法与进展

机器推理系列文章概述:七大NLP任务的最新方法和进展

本文来自微软研究所微信官方账号人工智能头条，人工智能技术评论被授权转载。如需转载，请联系原微信官方账号。bi li bi li。

编者按：自然语言处理的发展进化带来了新的热潮和研究问题，研究人员在许多不同的任务中推动机器推理（MachineReasoning）提高能力。基于一系列领先的科研成果，微软亚洲研究所自然语言计算小组将推出一组文章，介绍常识问答、事实检测、自然语言推理、视觉知识推理、视觉问答、文档问答、多轮语义分析和问答任务的最新方法和进展。a+bi。

从规则方法、统计方法到当前的深度学习方法，自然语言处理（NLP）在过去的五年里，研究一直处于不断发展和进化的状态，取得了显著的成果。对于具有充分标记语料的NLP任务（如机器翻译和自动问答），现有的深度学习方法可以很好地建模输入和输出之间的关系，并在分布相同或类似的测试数据方面取得令人满意的效果。然而，一旦测试数据涉及的知识和领域超出了训练数据的范围，大多数模型的效果就会直线下降。这种现象并不难理解：人类通过各种学习过程（如数学知识、物理知识、世界知识、常识知识等）掌握了大量的通用知识。在学习新技能或遇到新问题时，这些知识可以帮助人类推理和举一反三。然而，绝大多数NLP模型都没有这样的知识模型，因此无法很好地理解和解决新的问题。bi是啥。

大规模知识图(如Satori和WikiData)的出现，使得构建基于知识的NLP模型成为可能，语义分析（SemanticParsing）问答知识图谱（Knowledge-basedQA）研究也成为两个最热门的NLP课题。然而，由于现有知识地图对人类知识的覆盖范围仍然非常有限，基于知识地图的NLP模型只能准确地理解和处理自然语言问题和任务的一小部分，而对其余部分无能为力。

在过去的两年里，预训练模型(如GPT)、BERT和XLNet）它大大提高了几乎所有自然语言处理任务的最佳水平。基于语言模型的预训练和下游任务的模型参数的微调可以很好地将从训练数据中学到的“通用知识”转移到下游任务中。关于这种“通用领域预训练” 整个NLP社区也就具体任务微调的新范式展开了热烈的讨论:预训练模型真的学到了“知识”吗？它能取代现有的符号化知识图谱吗？它有推理能力吗？

微软亚洲研究院自然语言计算组的研究员带着对上述问题的好奇，对机器推理进行了一系列研究。本文将解释什么是机器推理，并简要说明现有NLP方法与机器推理的关系。接下来，我们将推出一系列文章，介绍常识问答、事实检测、自然语言推理、视觉知识推理、视觉问答、文档级问答、多轮语义分析和问答任务的最新方法和进展。做bi。

机器推理（MachineReasoning），是指基于现有知识理解和推断未见问题并得出问题对应答案的过程[1]。根据这个定义，机器推理涉及四个主要问题:(1)如何理解和表达输入？(2)如何定义知识？(3)如何提取和表达与输入相关的知识？(4)基于对输入及其相关知识的理解，如何推断输入对应的输出？下图显示了机器推理的整体框架。

有bi吗。

图1：机器推理整体框架

NLP领域积累了大量关于输入理解和表达的研究，包括词袋（Bag-of-Word）分析模型和句法（SyntacticParsing）嵌入模型和单词（WordEmbedding）嵌入模型和句子（SentenceEmbedding）模型等。对于知识的定义，不仅开放/特定领域的知识地图和常识地图属于“知识”的范畴，而且广泛研究和使用的预训练模型也可以看作是知识。这是因为预训练模型的本质是在大量文本中存储每个单词的上下文。Facebook的工作[2]也从实验的角度证明了现有预训练模型对知识图谱和常识知识的覆盖。对于知识的提取和表达，基于知识图谱的模型通常根据实体链接的结果从知识图谱中找到和输入相关知识，并嵌入知识（KnowledgeEmbedding）编码建模的方法。相比之下，基于预训练模型的知识提取对应于使用预训练模型编码输入文本的过程。不同的任务通常使用不同的推断算法来推断基于输入及其相关知识。例如，在语义分析任务中，推断过程对应于生成语义表示的算法。在基于预训练模型的微调方法中，推断过程对应于现有预训练模型上的任务相关层。

上述描述只是对机器推理的一个肤浅的解释。在接下来的一系列文章中，我们将介绍上述机器推理框架在几项最新推理任务中的具体实现方法和实验效果，包括：bi m。

机器推理系列之一：基于推理的常识问答

bi t。

图2：我们提出的推理方法（XLNet GraphReasoning）在以色列特拉维夫大学常识问答任务CommonsenseQA上取得了目前的statee-of-the-art结果[3]。

（https://www.tau-nlp.org/csqa-leaderboard）bi g。

机器推理系列2：基于推理的事实检测永洪bi。

caoxiaojiebi。

图3：我们提出的推理方法（DREAM）在Amazon剑桥研究院事实检测任务FEVER上取得了目前的statee-of-the-art结果[4]。

（https://competitions.codalab.org/competitions/18814#results）

机器推理系列三：基于推理的跨语言自然语言推理

图4：我们提出的跨语言预训练模型（Unicoder）在纽约大学的跨语言自然语言推理任务XNLI上取得了目前的stateee-of-the-art结果[5]。

（https://arxiv.org/pdf/1909.00964.pdf）

机器推理系列4：基于推理的视觉常识推理

图5：我们提出的跨模态预训模型（Unicoder-VL）在华盛顿大学视觉常识推理任务VCR上取得了目前的statee-of-the-art结果[6]。

caoxiaojiebi

（https://visualcommonsense.com/leaderboard/）

机器推理系列5：基于推理的视觉问答

图6：我们提出的推理方法（DREAM Unicoder-VL）目前在斯坦福大学的视觉推理和问答任务GQA上取得了statee-of-the-art结果[7]。

（https://evalai.cloudcv.org/web/challenges/challenge-page/225/leaderboard/733）

机器推理系列6：基于推理的文档级问答

图7：基于BERT的文档建模方法（BERT-DM）在谷歌的文档级问答任务NQ上获得了目前的state-of-the-art结果[8]。

（https://ai.google.com/research/NaturalQuestions）

机器推理系列7：基于推理的多轮语义分析和问答。

图8：多轮语义分析和问答方法(SEQ2Action）在IBM研究所CSQA上获得了多轮复杂问答任务-of-the-art结果[9][10]。

全系列的机器推理文章将在下一段时间内陆续发表，敬请期待！

参考文献：

[1]MingZhou,NanDuan,ShujieLiu,Heung-YeungShum.ProgressinNeuralNLP:Modeling,LearningandReasoning.ToappearinEngineering,2019.

[2]FabioPetroni,TimRocktaschel,PatrickLewis,AntonBakhtin,YuxiangWu,AlexanderH.Miller,SebastianRiedel.LanguageModelsasKnowledgeBases?.EMNLP,2019.

[3]ShangwenLv,DayaGuo,JingjingXu,DuyuTang,NanDuan,MingGong,LinjunShou,DaxinJiang,GuihongCao,SonglinHu.Graph-basedReasoningoverHeterogeneousExternalKnowledgeforCommonsenseQuestionAnswering.ToappearinarXiv,2019.

[4]WanjunZhong,JingjingXu,DuyuTang,ZenanXu,NanDuan,MingZhou,JiahaiWang,JianYin.ReasoningOverSemantic-LevelGraphforFactChecking.ToappearinarXiv,2019.

[5]HaoyangHuang,YaoboLiang,NanDuan,MingGong,LinjunShou,DaxinJiang,MingZhou.Unicoder:AUniversalLanguageEncoderbyPre-trainingwithMultipleCross-lingualTasks.EMNLP,2019.

[6]GenLi,NanDuan,YuejianFang,MingGong,DaxinJiang,MingZhou.Unicoder-VL:AUniversalEncoderforVisionandLanguagebyCross-modalPre-training.arXiv,2019.

[7]ChenfeiWu,NanDuan,GenLi,YanzhaoZhou,DuyuTang,XiaojieWang,DaxinJiang,MingZhou.DREAM:DynamicREAsoningMachineforVisualQuestionAnswering.ToappearinarXiv,2019.

[8]BoZheng,HaoyangWen,YaoboLiang,NanDuan,WanxiangChe,DaxinJiang,TingLiu,MingZhou.DocumentModelingwithGraphAttentionNetworksforMulti-grainedMachineReadingComprehension.ToappearinarXiv,2019.

[9]DayaGuo,DuyuTang,NanDuan,JianYin,MingZhou.Dialog-to-Action:ConversationalQuestionAnsweringoveraLarge-ScaleKnowledgeBase.NeurIPS,2018.

[10]DayaGuo,DuyuTang,NanDuan,MingZhou,JianYin.CouplingRetrievalandMeta-LearningforContext-DependentSemanticParsing.ACL,2019.

本文心得:

(责编：admin)

分享让更多人看到