让人深思：句法真的重要吗？邱锡鹏组提出一种基于Aspect的情感分析的强大基线...

让人深思：句法真的重要吗？邱锡鹏组提出一种基于Aspect的情感分析的强大基线...

每天给你送来NLP技术干货！

论文：Does syntax matter? A strong baseline for Aspect-based Sentiment Analysis with RoBERTa  [ACL21]单位：复旦大学、卡内基梅隆大学链接：Sentiment Analysis (ABSA)）任务大家应该已经很熟了，本文的实验基于此。

之前的大量工作都表明了融入句法信息能够提高ABSA的性能。但是最近的预训练模型也同样展现了强大的性能提升。

因此，一个问题油然而生：

是否在预训练模型中大量的句法信息？单单使用预训练模型是否足够？

本文第一次同时比较了分别基于预训练模型和句法解析器生成的依存句法树在ABSA上的性能，结果显示：FT-RoBERTa (finetune RoBERTa)要好于通过句法解析器生成的句法结构信息。通过实验分析进一步发现 FT-RoBERTa 生成的句法树更加以情感词为导向，非常有利于ABSA任务。最终在实验上达到了SOTA或者近似SOTA的性能。

具体介绍

如何通过预训练模型生成句法树？

本文使用的是Perturbed Masking (港大和华为ACL20提出)来利用预训练模型生成句法树。大概流程就是：

为了计算token j对于token i的影响度，首先mask掉token i，此时获取mask的词表示：

；然后mask掉token j，也会返回一个表示token i和j的词表示

，那么j对于i的影响度公式计算为：

重复上述操作，会得到一个每一对token的影响度的矩阵，那么就可以通过这个矩阵获取句法树。

模型

本文采用的模型很简单，就是在Aspect上做MLP分类来finetune RoBERTa即可。

实验

不同的树结构在英语数据集上的性能比较

不同树结构在非英语数据集上的性能比较

FT-RoBERTa生成的树更加对Aspect友好

与SOTA们作对比

思考

所以说，真的不需要句法结构信息了吗？句法还重要吗？本文仅仅在ABSA上做了实验，其他任务呢？我个人倾向人为定义的句法结构肯定有缺陷，未来大一统是趋势，你们认为呢？各抒己见~

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易，还望给个！

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。