中文信息学会句法分析评测（CIPS-ParsEval-2009)
|
| 本次评测的总体目标，是充分利用现有树库描述资源，形成统一开放的训练测试集合；设计合适的评测任务，对汉语“字/词à块à句”不同层次的句法分析技术进行比较全面的评测；通过大规模评测，开发针对不同任务的有效处理工具，为不同应用提供有效的不同层次的汉语文本分析工具。 希望通过评测，也能回答或部分回答以下问题：
|
| 本次评测集中在汉语句法分析方面。按照分析处理深度的不同，设计为三大部分： 1）词性标注处理； 2）句法块分析； 3）句法树分析。 其中：词性标注处理设计了一项子任务（任务1）；句法块分析设计了两项子任务：基本块分析（任务2）和功能块分析（任务3）；句法树分析设计了两项子任务：事件描述单元识别（任务4）和句法结构树分析（任务5）。对每个子任务，都可以使用以下两种开发模式：1）封闭学习，即只使用训练数据习得相关分析模型；2）开放学习：可以使用其他任何资源习得合适的分析模型。我们将分别针对不同处理模式进行评测。 |
任务1：汉语词性（Part-of-speech, POS）标注处理
总体目标：准确识别句子中各个词语的词类标记，为进一步的自动句法分析提供有力支持。
基本原则：
|
| B. 句法块分析 句法块分析作为一种部分分析技术，其设计目标是对完整的句法树分析问题进行合理分解，以达到提高分析效率和对真实文本处理的适应性和鲁棒性的目的。在本评测中，我们设计了两个句法块分析任务：1）基本块分析；2）功能块分析。他们分别描述了句子中不同层次的块结构，包括自底向上形成的基本信息描述单元和自顶向下形成的事件内容描述单元，可以与后面完整的句法树分析任务很好地配合起来，形成可以适应不同应用需求的句法分析输出结果。 为避免前期的词语切分和词性标注错误对句法块分析性能的影响，我们在这部分测试中，统一使用标准的正确词语切分和词性标注结果，即Gold-standard数据作为输入。 |
任务2：汉语基本块(Base Chunk)分析
处理对象：汉语基本块主要描述句子中直接相邻的、以名词、动词、形容词等实义词为中心聚合形成具有特定语义内容的词语序列，其中一般不包括各种功能词，包括连词、叹词、语气词、助词、标点符号等。它们大多由1-3个词语组成，通过不同的外部内容表现和内部聚合关系形成特殊的拓朴结构体，成为汉语的字/词进入组块成句过程的基础和出发点。有关详细内容可参阅[1]。
总体目标：识别句子中由各个词语组合形成的完整的概念描述单元（np, vp, ap, dp, mp, tp, sp）及其内部词汇组合关系，开发形成高效准确的汉语基本块分析器；
基本原则：
|
任务3：汉语功能块(Functional Chunk)分析
处理对象：汉语功能块主要描述句子中反映不同事件内容的基本信息单元。他们一般占据了句子中的主语、谓语、宾语、状语、定语、中心语等功能位置，通过组合形成不同的事件句式完成对真实世界的不同事件内容的再现描述。有关详细内容可参阅[2]。
总体目标：识别句子中不同层次的功能块，覆盖自顶向下进行事件句式拆分而形成的各个基本信息单元，形成进行进一步的事件骨架树分析的最小功能块描述序列。
任务3描述：
|
|
C．汉语句子结构分析
我们从事件内容分析应用角度，把完整汉语句子的句法树分析任务设计为以下几个阶段： 1） 事件描述单元识别： 从完整的句子中识别出各个事件描述单元，它们一般具有以下特征：1）以逗号、分号、句号、问号等点号分隔而形成的词语序列；2）内部包含完整的主、状、谓、宾等描述结构，考虑到各种省略情况，其中至少应包含一个谓语块。通过这阶段处理，可以把汉语中复杂的流水复句等描述形式转化为一个个基本的事件描述单元，包括各个小句或句首状语成分，便于后续分析处理。 2） 事件描述结构分析：SyntaxàSemantics 对上面分析出的各个事件描述单元，进一步分析其事件描述结构，具体处理可分为以下几个阶段：a）句法结构分析，得到完整的句法树描述；b）目标动词义项排歧，通过确定合适的目标动词义项描述，获取句子所反映的基本事件内容；c）事件语义角色标注，针对各个目标动词事件描述框架，进一步确定其中各个事件语义角色的准确边界位置，形成完整的事件描述内容。 3） 事件逻辑关系分析：Pragmatics 综合各个事件描述单元的事件分析内容，进一步进行以下内容分析：a）不同事件之间的时序关系和逻辑语义关系分析；b）不同事件成分的缺省内容分析补充的前后事件语义角色之间的指代和照应关系分析。 考虑到这个分析任务的复杂性，在本次评测中，我们把研究重点集中在事件内容的句法结构分析方面，包括上面提到的阶段1和阶段2的句法分析部分，主要设计了以下两个子任务： 1） 事件描述单元识别（任务4），主要解决上面第一阶段的分析问题； 2） 句法结构树分析（任务5），分析得到事件描述单元的完整句法结构树，解决上面第二阶段的句法分析问题。 与上面的句法块分析测试一样，为避免前期的词语切分和词性标注错误对句法分析性能的影响，我们在这部分测试中，也统一使用标准的正确词语切分和词性标注结果，即Gold-standard数据作为输入。 另外，为了测试不同的事件描述单元复杂度对事件结构分析性能的影响，计划设计一个简单的句法复杂度评估算法，通过考虑事件描述单元中核心动词（不包括名动词、补助动词、助动词等动词子类）的数目和事件描述单元词语数目等参数，确定不同事件描述单元复杂度的评价指标。在不同复杂度的事件描述单元上分别计算上面定义的各个性能指标，估计各个不同复杂度的事件描述单元上的事件结构分析器可能达到的性能上界，为不同的自动事件结构分析器应用提供有益参考。 |
|
任务4：汉语事件描述单元识别 l 任务描述：确定完整句子中各个事件描述单元的准确边界位置。具体描述如下： 输入：经过正确切分和词性标注处理的完整汉语句子，以句号、问号和叹号等分隔； 输出：识别句子中各个事件描述单元的左右边界位置，形成句子的事件描述单元线性序列。 下面给出一个具体实例：（为简化起见，省略了其中的词语切分和词类标注信息） 输入：在机车方面，发达国家时速２５０公里以上的高速列车已经投入运行，我国用于广（州）深（圳）准高速铁路的时速１６０公里的东风１１型内燃机车，刚刚研制成功；电力机车的“交—直—交”传动技术，国外早已经实际应用，而我国却刚刚起步。 输出：[ 在机车方面，发达国家时速２５０公里以上的高速列车已经投入运行 ]，[ 我国用于广（州）深（圳）准高速铁路的时速１６０公里的东风１１型内燃机车，刚刚研制成功 ]；[ 电力机车的“交—直—交”传动技术，国外早已经实际应用 ]，[ 而我国却刚刚起步 ]。（各个事件描述单元使用中括号对[]标注） l 数据集合：约48万词规模的TCT新闻学术类语料数据，自动提取各个句子的事件描述单元信息。基本方法是充分利用TCT标注的完整复句描述信息，自顶向下分析得到其中基本的事件描述小句（单句或动词短语成分），再加上其中可能包含的句首状语和独立成分等内容，组合形成完整的事件描述单元序列。对这些提取出的事件描述单元的初步数据分析显示，各个提取出的事件描述单元的平均长度约为10个汉语词。有关数据描述格式和具体实例可参阅附录1。 l 评测指标：事件描述小句识别准确率(Precision)、召回率(Recall)和F1-measure； 显示附录1
|
|
任务5：句法结构树分析 l 任务描述：自动分析事件描述单元的句法结构树，具体描述如下： 输入：经过正确切分和词性标注处理的事件描述单元； 输出：事件描述单元的完整句法结构树，各个节点以np, vp, ap等句法标记标注，并确定不同层次的句法成分的中心词位置。有关内容可参阅文献[2]。 下面给出一个具体实例： 输入：我/rB 国/n 用/v 于/p 广/nS （/（ 州/g ）/） 深/nS （/（ 圳/g ）/） 准/b 高速/b 铁路/n 的/u 时速/n １６０/m 公里/qN 的/u 东风１１型/nR 内燃/b 机车/n ，/， 刚刚/d 研制/v 成功/vB 输出：[dj-2 [np-2 [dj-1 [np-1 我/rB 国/n ] [vp-0 [vp-0 用/v 于/p ] [np-1 [np-01 [sp-0 广/nS [dlc-1 （/（ 州/g ）/） ] ] [sp-0 深/nS [dlc-1 （/（ 圳/g ）/） ] ] ] [np-1 准/b [np-1 高速/b 铁路/n ] ] ] ] ] 的/u [np-2 [np-0 时速/n [mp-1 １６０/m 公里/qN ] ] 的/u [np-1 东风１１型/nR [np-1 内燃/b 机车/n ] ] ] ] ，/， [vp-1 刚刚/d [vp-0 研制/v 成功/vB ] ] ] l 数据集合：约48万词规模的TCT新闻学术类语料数据，自动提取各个事件描述单元的完整句法结构树信息。基本方法是提取TCT句子中的成分标记信息，并通过TCT句法树中给出的成分标记和关系标记组合信息，自动生成各个句法成分的中心词位置信息。有关数据描述格式和具体实例可参阅附录1。 l 评测指标：Parseval评测指标：标记准确率(Precision)、标记召回率(Recall)和F1-measure以及其他相关指标； 显示附录1、附录2
|
|
[1] 周强（2007）汉语基本块描述体系. 中文信息学报，21(3)，p21-27
[2] 周强(2004) 汉语句法树库标注体系. 中文信息学报，18(4), p1-8 [3] 陈亿、周强、宇航（2008）分层次的汉语功能块描述库构建分析. 中文信息学报. 22(3), p24-31. |
| 本次评测计划在2009年11月完成，具体计划如下： 2009.4.5.：在网上公布评测任务和数据集设计方案、具体评测计划和参加方法等相关信息，并公布针对5个任务的相关实验数据，各个感兴趣的研究人员可以自由下载，进行相关研究方法探索。 2009.4.5—2009.5.31.：各个单位确定合适的任务，并正式报名；(书面协议延期到6月15日) 2009.6.1.：根据各个单位参加任务情况，发送相应的正式训练数据； 2009.6.1—2009.8.31.：各个单位利用训练数据进行相关评测任务的分析模型开发和调试； 2009.9.1.：根据各个单位参加任务情况，发送相应的正式测试数据； 2009.9.4.(deadline)：各个单位提交最终的评测结果； 2009.9.5.--- 2009.10.10.：主办方进行相关任务的分析评测，形成完整的分析测试报告；同时参赛方进行相关模型总结，完成相关论文和研究报告； 2009.10月下旬：召开学术研讨会（计划与青年学者研讨会捆绑进行），公布评测结果，同时各单位汇报各自使用的模型和分析方法，并对相关分析技术进行深入讨论； 2009.11月：汇总形成本次评测的完整会议录（各个参评者的研究报告/论文+ppt），在CIPS-ParsEval-2009网站上公布。 |
| 各位对本评测感兴趣的研究人员，可以按照以下流程参加本次评测： 1）2009.4 – 2009.6 下载各个任务的实验数据，进行初步分析，确定合适的参评任务；下载参评协议书，填写参加者的相关信息并选择确定合适的参评任务，把相关的签字盖章协议在确定的日期前发回主办方，主办方需要根据这个协议确定发送不同的训练和测试数据； 2）2009.6.---2009.9 利用主办方提供的训练数据进行模型训练，利用主办方提供的测试数据进行数据分析，将分析结果在确定的日期前发回主办方； 3）2009.10 总结整理相关的研究报告和论文，并在评测相关的学术研讨会汇报研究成果。 |
| 本次评测由清华大学和东北大学联合主办。 其中清华大学主要负责任务设计和数据准备提供等工作，相关联系人员为： 1）李玉梅：liym@cslt.riit.tsinghua.edu.cn 或 liym0988@126.com 通信地址：清华大学信息技术大楼FIT 1-303，邮编：100084。（相关的签字协议请寄到这个地址） 2）周强：zq-lxd@mail.tsinghua.edu.cn 东北大学主要负责分析数据的评测和相关数据整理工作，相关联系人员为： 1）朱慕华：zhumh@ics.neu.edu.cn （有关分析数据请发送这个信箱） 2）朱靖波：zhujingbo@mail.neu.edu.cn 网站使用，相关联系人员为： 张卿：zhangq@cslt.riit.tsinghua.edu.cn |
| 1）如果某个任务的正式报名单位少于3个，该任务将自动取消。 2）为保证评测工作的顺利进行，请正式报名参加的参评者（签署了数据使用协议）一定要在规定的时间期限内提交符合格式的分析数据（有关具体格式，会在相关网站上定期分布最新信息）。 3）为保证数据文件的规范性，请各个参评者使用以下标准的文件命名格式提供分析结果：TaskN-<单位代码>-Open|Close.<任务后缀>，其中N=[1-5]，分别对应5个测试任务，<单位代码>我们会在汇总所有报名信息后确定一个合适的编码发给大家，<任务后缀>确定如下：任务1—POS，任务2--BC，任务3--FC，任务4--EVS，任务5--PAR。 |
|
Task1_ Open challenge
Task1_Closed challenge
Task2_Open challenge
Task2_Closed challenge
Task3-4_Open challenge
Task3-4_Closed challenge
Task3-4: Note that the star (*) here indicates that the submitted results
Task5_Closed challenge
Task5: * This system failed to generate parse trees for many sentences, |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
任务1:10-task1-C+O-3 李泽中,黄德根
14-task1-C+O-2 杨小锐,刘秉权,孙承杰,林磊 任务2：14-Task2-Close-9 程勇,孙承杰,刘远超,刘秉权
01-Task2-Close-1 李超,孙健,关毅,徐兴军,侯磊,李生
10-task2-C+O-4 杨田,黄德根,李丽双 任务3：17-Task2+3-Close-6+2 谷波,王瑞波,李济洪汉语基本块与功能块的自动分析
10-Task3-Close-1 刘海霞,黄德根,周惠巍
任务4：24-Task2+3+4-O+O+C 王昕,王金勇,刘春阳,王奇,付春元基于CRF 的汉语语块分析和事件描述小句识别
00-Task4-Open 陈丽欧，周强
06-Task3+4-Open 韦向峰
11-Task4-Close-基于规则邢欣,郭浩,郭海旭,李茹 任务5：09-Task5-C-1-MAS-ChenXiao Xiao Chen, Changning Huang, Mu Li ,Chunyu Kit
Better Parser Combination
11-Task5-close-sxu-GuoHaixu 郭海旭,邢欣,李福民,李茹 15-Task1+2+3+4+5-C-5+7-FuDanNLP Feng Ji, Wenjun Gao, Xipeng Qiu, Xuanjing Huang 12-Task1+2+3+5-Close 李军辉, 周国栋 08_Task5-C-6-JiangWB Wenbin Jiang, Hao Xiong, Qun Liu 16-Task1+5-C-4+5 练睿婷,陈毅东,史晓东,蔡科,朱翔,刘智文,刘宁锋 22-Task5-C-13-SongYan Yan Song and Chunyu Kit 05-Task5-C+O-12-WangRui Wang Rui, Zhang Yi 02-Task5-Open 王 进 21-Task5-Close-徐文智_2 徐文智,王小捷 13-Task4-Close-1 Junsheng Zhou, Yabing Zhang, Xinyu Dai, Jiajun Chen 04-Task5-Open-1 Qiaoli Zhou, Xin Liu, Xiaona Ren, Wenjing Lang, Dongfeng Cai |
|
|
|
|
