爱吧乐动买球网 ? 技术 > 人工智能 > 正文

ACL 2019:使用元词改进自然语言生成

本文将对 ACL2019论文《Neural Response Generation with Meta-Words》进行解读,这篇论文提出的方法可以“显式”地表示输入和回复间的对应关系,从而使得对话生成的结果变得可解释,同时使生成模型可以允许开发者能够像“拼乐高玩具”一样通过控制一些属性定制对话生成的结果。 论文地址:https://arxiv.org/pdf/1906.06050.pdf

源码地址:源码及数据集尚未公开
论文作者:Can Xu, Wei Wu, Chongyang Tao, Huang Hu, Matt Schuerman, and Ying Wang


人机对话是NLP领域一个基础的问题,传统的研究关注于构建任务导向的对话系统来实现用户在特定领域的特定任务,如餐馆预定等。最近,构建开放域的聊天乐动买球获得了越来越多的关注,这不仅归功于大规模的人人对话数据的出现,还因为一些真实的对话产品(如微软小冰)的成功。

一个聊天乐动买球通常是通过encoder-decoder框架的响应生成模型实现的[1],但其通常存在的一个问题就是容易产生平凡回复(safe response),如“I don’t know”和“me too”等。一般来讲,平凡回复的产生来源于开放域对话中存在的输入和回复间的 “一对多”关系,而传统的Seq2seq结构倾向于记住数据中出现频率高的词汇。

本文提出的模型可以对开放域对话中的一对多关系进行可解释性和可控制的建模。与隐变量方法不同的是,本文使用元词(meta-word)来明确地表示消息与响应之间的关系。给定一条消息,我们可以通过控制元词来控制生成的响应。


使用元词辅助响应生成有以下几个优点:1.使生成模型具有可解释性,用户可以在生成响应前就知道生成的响应类型;2.生成的过程是可以控制的,元词的接口允许用户定制响应;3.生成的方法是可泛用的,可以将行为、人物角色、情感等特征作为元词的属性与一些已有的工作进行结合;4. 基于生成的开放域对话系统现在变得可扩展,因为该模型支持元词的特征工程。

1. 论文模型


利用meta-word进行响应生成需要解决两个问题:1.如何确保回复和输入相关;2.如何确保回复能够如实地表达预先定义的元词。为了解决这两个问题,本文提出了一个目标跟踪记忆增强序列-序列模型,模型由编码-解码结构的状态记忆板和目标跟踪记忆网络的状态控制器组成。

在生成响应前,编码器通过一个双向GRU将输入信息表示为一个序列,目标跟踪记忆网络由元词初始化得到。然后在响应解码时,状态记忆板跟踪元词的表达并由状态控制器更新。状态控制器从状态记忆板读出元词表达的状态,并通过通知解码器元词表达的状态和目标之间的差异来管理每个步骤的解码过程。基于消息表示,状态控制器提供的信息和生成的字序列,解码器可以对响应的下一个字进行预测。在模型学习过程中,本文在传统的似然目标之外增加了一个状态更新损失,以使得目标追踪能够更好地利用训练数据中的监督信号。

不仅如此,本文还提出了一个元词预测方案,从而使得整个架构可以在实际中使用。

2. 论文实验

本文以MMI-bidi、SC-Seq2Seq、kg-CVAE、CT等多个Seq2Seq模型作为基线,在Twitter和Reddit两个大规模数据集上考察了GTMNES2S生成回复的相关性、多样性、“一对多“关系建模的准确性、以及元词表达的准确性。




更有意思的是,如果逐渐增加元词中的属性变量,验证集上的PPL会逐渐降低,这也印证了“通过调整元词可以不断提升模型性能”的论断。


下图的两个例子也表明,通过本模型生成的响应具有更多的信息以及更好的连贯性。


3. 结论

本文提出了一个目标跟踪记忆增强的序列到序列模型,用于使用元词明确定义响应的特征进行开放域的响应生成。两个数据集的评估结果表明,本文的模型在响应质量和元词表达的准确性方面明显优于几个最先进的生成架构。

参考文献

[1] Iulian Vlad Serban, Alessandro Sordoni, Ryan Lowe, Laurent Charlin, Joelle Pineau, Aaron C Courville, and Yoshua Bengio. 2017. A hierarchical latent variable encoder-decoder model for generating dialogues. In AAAI, pages 3295-3301.



上一篇:周鸿祎谈人工智能:在网络攻防中只能作为辅助
下一篇:最后一页

本周栏目热点

人工智能、机器学习、乐动买球之间有什么区别和联系?

[2017-12-13]??人工智能(AI)曾经只是科幻电影,电视节目和书籍中探讨的一个话题,如今已经迅速成为现实世界的一部分。 1969年,管理咨询公司麦肯锡公司(McKinsey&Company)发表了一篇文......

ACL 2019:使用元词改进自然语言生成

[2019-09-08]??本文将对 ACL2019论文《Neural Response Generation with Meta-Words》进行解读,这篇论文提出的方法可以显式地表示输入和回复间的对 ...

人工智能学家质疑谷歌围棋AI有科学欺诈表现

[2016-03-09]?? 文 刘锋(来源:人工智能学家)把大象关进冰箱要几步涉及的科学漏洞在讨论谷歌围棋AI及其比赛问题之前, ...

人工智能的认知层面大家都在关注什么?

[2017-12-08]??从AI的认知层来看“自然语言处理、语义网与知识图谱”算是关键技术。我们按照这些关键词提取36Kr、品玩与虎嗅的相关新闻共计803篇,构建新闻相似度网络,进行聚类与分析。...

[2017-10-22]??人工智能,在很多人的心中或许一直停留在虚幻的境界之中,但是伴随着去年的AlphaGo完胜围棋世界冠军李世石,越来越多的人开始关注这个领域 ...

精选推荐

人工智能民主化能否实现取决于科技巨头
人工智能民主化能否实现取决于科技巨头

[2017-12-29]??我们经常听到像谷歌和微软这样的公司说他们希望人工智能民主化。这是一个很好的词,民主化。 但这些公司如何界定“民主化”还不清楚,像AI本身一样,它似乎有点炒作的味道...

农业将为高科技行业 农业乐动买球的应用领域
农业将为高科技行业 农业乐动买球的应用领域

[2017-12-17]??农业正在迅速成为一个令人兴奋的高科技产业,吸引了新专业人士,新公司和新投资者。技术发展迅速,不仅提高了农民的生产能力,而且促进了我们所知道的乐动买球和自动化技术的发展。...

亚马逊CEO杰夫·贝佐斯操控巨型有人驾驶乐动买球(巨型机甲)
亚马逊CEO杰夫·贝佐斯操控巨型有人驾驶乐动买球(巨型机甲)

[2017-03-21]??近日,亚马逊CEO杰夫·贝佐斯实现了每一个6岁儿童都会有的梦想,他控制了一个巨大的机甲乐动买球。据国外媒体Verge报道,前天(3月19日),贝 ...

担心机器换人?自1950年以来只有一个职业被机器彻底取代

[2017-03-21]??虽然有很多关于乐动买球取代工人的担心,但哈佛经济学家James Bessen的论文指出,在过去的67年里乐动买球仅仅淘汰掉人类工作中的一个。在1950 ...

2023年服务乐动买球市场将超过250亿美元
2023年服务乐动买球市场将超过250亿美元

[2017-09-04]??全球服务乐动买球市场预计到2023年将达到250亿美元, 并在预测期内登记15% 的复合年增长率。短期中期回收期和投资回报率高 (ROI), 以及在教育和研究、临场感、防御、救援和安......

如何让人工智能乐动买球快速自我纠正错误并吃一堑长一智?
如何让人工智能乐动买球快速自我纠正错误并吃一堑长一智?

[2017-08-23]??莱斯特大学数学系的研究人员在《Neural Networks》杂志上发表了一篇文章,概述了新算法的数学基础,可以使人工智能收集错误报告并立即纠正,而不影响现有技能 ,同时还会积......

比利时研发出可以自我愈合伤口的软体乐动买球
比利时研发出可以自我愈合伤口的软体乐动买球

[2017-09-03]??软体乐动买球是乐动买球技术的新兴领域; 他们“可以与人类相互作用,而不会杀死他们,并拿起像西红柿这样柔软的物体。” 从长远来看,布鲁塞尔大学队伍正在努力创建一个类似的材......

通过对抗性图像黑入大脑
通过对抗性图像黑入大脑

[2018-03-02]??在上面的图片中,左边是一张猫的照片。在右边,你能分辨出它是同一只猫的图片,还是一张看起来相似的狗的图片?这两张图片之间的区别在于, ...