任务介绍及比赛结果

在刚刚结束的CoNLL-2018国际评测(universaldependencies.org)中,哈工大社会计算与信息检索研究中心(HIT-SCIR)取得了第一名的好成绩。CoNLL 系列评测每年由 ACL 的计算自然语言学习会议(Conference on Computational Natural Language Learning,CoNLL)主办,是自然语言处理领域影响力最大的国际技术评测,有力推动了自然语言处理各项任务的发展。

与去年的评测任务相同,今年的CoNLL 任务仍为:Multilingual Parsing from Raw Text to Universal Dependencies,即面向生文本的多语言通用依存分析。从生文本出发,需要进行分句、分词、形态学分析、词性标注、依存句法分析等。今年评测任务面向57种语言的82个测试集。最终评价指标为在全部评测集上依存分析任务的平均LAS(依存弧及标签准确率),除此之外还评测了 MLAS(形态学标记正确前提下的LAS)和 BLEX (内容词词形还原正确前提下的LAS)两项指标。

最终有包括斯坦福大学、IBM公司在内的27支队伍成功提交了评测系统,我们的系统在最关键的评测指标,即 LAS 上获得了第1名,高出第二名2.56%。

在去年的评测中,共有45种语言64个数据集,斯坦福大学获得第一名,我们的系统获得了第四名。今年,我们采用了基于图的依存分析算法,并使用大规模未标注数据预训练了上下文相关的词向量模型,大幅提高了系统的准确率。我们的这些技术进步将融入语言技术平台(LTP)中,进一步提高LTP的性能。

项目组成员:车万翔教授,博士生:刘一佳、王宇轩、郑博

http://universaldependencies.org/conll18/results.html):universaldependencies.org


2一点感受

这个消息真的是令人振奋,大家可能经常看到cv的一些比赛,冠军经常被一些国内的科研单位或者独角兽公司获取,但是在nlp领域的比赛中其实报道并没有那么多,尤其是句法,语义这种基础型的评测比赛。

我在实验室的时候亲眼看到队伍比赛的不易,获得这样的成绩,是对车老师,各位师兄的一个肯定。大家的辛苦没有白忙,真心为实验室感到骄傲!也希望在更多的领域,有更多的中国声音。

希望大家能为我们有这么好的成绩点个赞吧!谢谢大家!


©著作权归作者所有:来自51CTO博客作者mob604756f42bbf的原创作品,如需转载,请注明出处,否则将追究法律责任

更多相关文章

  1. 百度地图服务详细评测
  2. MIUI评测:iOS身,Android心
  3. 新博andorid 初中级考试评测以及答案-------小林老师出的试卷
  4. 软工2019作业6——软件评测
  5. 三星 Galaxy Nexus 及 Android 4.0 Ice Cream Sandwich 评测
  6. Lumia920和930对比哪个好?诺基亚Lumia920与930屏幕/性能全面对比
  7. Android平板电脑使用评测
  8. 【Androidin全球首发】国产Android Broncho A1 评测,第一印象
  9. Nexus 6P 外媒评测:华为造出了最好的 Android 手机?

随机推荐

  1. 关于mysql 和Oracle的一大堆麻烦问题的解
  2. 列数与第1行的值计数不匹配
  3. MySQL数据库导入或者同步大量数据时数据
  4. 外键是否可以引用非唯一索引?
  5. MySQL入门很简单-学习笔记 - 第13章 MySQL
  6. 求问vs窗体应用程序用gridview连接mysql
  7. timestampdiff返回正确但负面的分钟
  8. 腾讯云数据库团队:GreenPlum简单性能测试
  9. CentOS使用MySQL的详细步骤,及C API编程
  10. MySQL中mysqldump导出数据的使用