2022首届人工智能训练师“未来之星”大赛:复赛说明

    |     2022年6月15日   |   文库   |     评论已关闭   |    256

主办单位

客户世界机构

协办单位

CC-CMM国际标准组织
中国信息协会数字经济专业委员会
中国呼叫中心与电子商务发展研究院
全球客户中心产业联盟ContactCenterWorld
CCO100首席客户官百人会

本活动是2022“未来之星”中国客户中心职业技能大赛的专项赛事之一。

首先代表大赛组委会表示对各位成功晋级复赛的参赛队伍表示恭喜。以下为复赛环节竞赛说明书。

  • 标注环节(复赛)说明

本轮竞赛为标注实操与管理竞赛;竞赛周期为:2022年6月20号至7月20号;

1、赛前培训:6月20号至7月8号之间为标注实操平台使用培训(其中6月21日 下午14点~15点(语音平台指导);6月23日 下午14点~15点(文本平台指导));培训内容包括不限于:标注平台使用、标注注意事项、开通标注账号、微信群不定时标注平台使用答疑等;标注平台熟悉、标注任务试标注;

2、确认选择标注任务:7月1号至7月8号期间各小组领队向组委会确认所选标注任务内容;(注:选定赛题,非特殊情况不可修改;超时未选标注赛题即淘汰

3、标注竞赛:7月9号至7月17号之间各小组按选定任务进行标注;

4、竞赛成绩核算:7月17号至7月20号;

竞赛难度:人工智能训练师初级水平在正常情况下能够完成的难度;标注实操与管理能力掌握范围至少要达到行业同等水平,训练选手达到相应的能力和潜力:人工智能训练师国家职业标准L5、L4客户世界AIT初级训练师、其他同等级人工智能训练师水平。

  • 理论环节(复赛)详情

赛前准备阶段:

竞赛组委会向晋级成功团队领队发放竞赛说明书、安排本轮竞赛队伍参加竞赛平台使用说明介绍培训、竞赛队伍注册平台账号,根据预选题目类型进行试标注,确定竞赛队伍最终选择的实操任务(语音&文字);

赛中阶段:

标注实操任务由客户世界AIT大赛组委通过微信群向参赛团队领队发放,在规定时间内由各领队自行安排本团队实操答题,最终由组委对竞赛试题进行审核和批改;

赛后阶段:

7月20日公布各参赛队伍晋级结果。

  • 标注实操赛题说明

本轮标注实操竞赛设置依据来源于《人工智能训练师国家职业标准》中相关技能要求,并基于客户世界多年深耕客服域中的智能服务训练运营经验,且保障各参赛团队公平的前提下,本轮竞赛共设置语音标注与文本标注两种类型,各参赛团队可根据自身实际情况,选择对应的任务进行实操,题目选定以各领队上报结果为准,一旦上报后除开特殊情况不可修改,否则自动视为本轮竞赛弃权;

3.1本轮竞赛评分标准

3.2文本标注题:

本次比赛的标注任务主要为FAQ训练语料标注。FAQ数据主要来自银行、保险、政务等领域的提问。

请使用主办方分配的账号密码登录,每位参赛者一个账号,相互之间不可混用。

1、标注的要求如下:

(1)判断哪些数据可作为FAQ清单中标准问的训练语料

(2)将可作为训练语料的数据添加至对于标准问下

2、评价指标

文本标注部分主要关注标注数量和FAQ问答准确率。评价指标及计算方式如下:

  • 标注数量

1)总标注数量

2)单个FAQ训练语料数量

注:总标注数量以问答管理-常用标准问题-数据训练显示的总语料数量为准;训练语料必须为提供的语料范围内容,不可自行扩写;

  • FAQ问答准确率,其计算公式为:

FAQ问答准确率=机器人出话正确数量/测试题总量

注:以问答管理-常用标准问题-测试及报告显示的准确率为准;

 

3、打分方案

问答准确率+标注数量进行综合评分;

3.3语音标注题:

本次比赛的标注任务主要包括语音转文本标注及性别标注两类任务。语音数据主要来自银行、保险等领域的客服录音。

请使用主办方分配的账号密码登录,每位参赛者一个账号,相互之间不可混用。

1.标注的要求如下:每条录音均需标注其文字内容及性别,其他内容(口音、噪音、插入符号等)本次比赛不涉及,无需标注。

  • 每条语音需要标注其文字内容及性别;

(2)如果一段音频中完全没有人说话,或只有噪音,则点丢弃

(3)如果一段音频由于噪音或口音完全听不懂,则点丢弃

(4)不太清楚但是多听两遍可以听清楚的,不可以丢弃

(5)语音中有一小段听不清的,可以丢弃

(6)很明显的噪音,比如近距离的喇叭声、关门声,可以丢弃

(7)出现数字的,需要用汉字记录,而不是阿拉伯数字

(8)出现英文的,如果是按字母读,则全用大写,如IBM,如果按单词读的,则全用小写,如apple,专业词汇按照标准写,如WiFi,IPv6

(9)出现符号的,英文符号直接按符号写,如@;按中文读的按汉字写,如HTTP冒号杠杠

2.评价指标

语音标注部分主要关注文字标注性能和性别标注性能。评价指标及计算方式如下:

字错误率,其计算公式为

字错误率 = ( 插入错误数 + 删除错误数 + 替换错误数 ) / 总字数

其中,插入错误指在本不该有字的地方多标注了一个字;删除错误是指在本来应该有字的地方漏标了该字;替换错误是指标注的字错误。

性别错误率,其计算公式为:

性别错误率 = 性别标注错误数 / 总句数

3.打分方案

字错误率+性别错误率进行综合评分;

 

组委会联络人:

郑 洁:13718770777,zhengjie@ccmw.net
左 冰:13466626291,zuobing@ccmw.net
潘江玲:18510813910,panjl@ccmw.net
张永红:13581960173,zhangyh@ccmw.net
钱 益:17610031679,qianyi@ccmw.net

官网:www.ccmw.net
热 线:400-779-7070

转载请注明来源:2022首届人工智能训练师“未来之星”大赛:复赛说明

相关文章

噢!评论已关闭。