比赛介绍

智能问答是让信息获取变得更加智能和便捷的重要途径,是自然语言处理和人工智能领域的前沿研究课题。其目标是对用户通过自然语言表述的问题直接提供精确答案,涉及到复杂的用户意图理解、大规模文本分析、知识抽取和表示等技术。但目前在智能问答研究领域,可用的大规模公开数据集,尤其是反映真实用户问答需求的中文数据集非常稀缺。

面向智能问答的篇章排序是由搜狗搜索和CCIR 2017联合主办的智能问答评测比赛。比赛任务设定为给定问题下对候选答案篇章进行排序。本评测提供智能问答领域的大规模公开数据集,包含5万条来自互联网真实用户问答需求的问题,和50万条人工标注的候选篇章文本。组织本评测的意义在于提供智能问答领域的大规模公开数据集,促进学术界和工业界在智能问答领域的研究发展,鼓励学术交流,提升研究水平。

比赛安排

比赛数据及规则

技术报告

评测排名

排名 队伍名称 NDCG@3 NDCG@5

I am Grout 北京大学
0.8210 0.8487

小菜鸟 华中科技大学
0.8033 0.8337

HITRCLT 哈尔滨工业大学语言技术研究中心
0.8010 0.8310
4

rucir 中国人民大学
0.7607 0.7945
5

GDUFS_NLP 广东外语外贸大学
0.7599 0.7950
6

迪斯尼旅游团 中科院计算所
0.7508 0.7844
7

Sharby 中科院自动化所
0.7441 0.7826
8

nb_xhyd 自由职业者
0.7405 0.7788
9

TJ-CUQA 同济大学
0.7006 0.7437
10

Alex_Constandine 大连理工大学
0.6949 0.7398

奖励规则

根据最终评测结果取前三名,由CCIR2017主办方中国中文信息学会(CIPS)和中国计算机学会(CCF)为参评方提供成绩证书认证。同时,由搜狗搜索为前三名设置奖金奖励。