# 流程介绍
标注活动的组织者(项目经理,通常为机构管理员)建立好标注任务并分配好人员角色后,相关的人员登录系统,按照分工相互协作完成标注作业的流程。
任务执行需要选择合适的流程。为任务配置合适的流程,可以提高标注质量,节省标注成本。系统提供了多种流程,可以通过流程管理模块进行配置并提供给任务使用。
# 整体流程说明
整体的标注任务开展流程如下图所示。按照业务流程可以分为标注前、标注中和标注后。
其中,项目经理作为标注活动的组织者,首先应该登录系统进行标注任务的创建。任务创建部分主要是上图中红色框内的部分。
任务创建成功后,标注人员、质检人员和验收人员登录系统,根据各自的角色,进行任务的领取,分别进行标注、质检和验收工作。
任务完成标注后,由项目经理进行数据集的导出。同时支持通过绩效管理模块查看人员绩效,为绩效考核提供依据。数据导出到数据集后,还可以根据交付数据的标准和要求,对数据进行后处理,例如修改标注结果文件的格式等操作。最后将成品数据集进行归档操作。
# 标注流程说明
系统提供两种标注流程,一种是按条流程,即数据的流转以一条为单位进行流转。另外一种是按包流程,是指数据的流转以包(一个包中包含多条数据)为单位进行流转。
# 按条流程
按条流程的流程图如下所示:
按条流程是指数据是以条为单位进行流转的。标注人员领取数据后进行标注,每标注完成一条数据就提交给质检人员一条数据,提交到质检人员的数据,标注人员将无法进行修改。
该流程要求质检人员需要将标注人员提交的数据100%全部质检。对于质检合格的数据,质检人员提交至验收环节,对于质检不合格的数据,支持打回给标注人员进行重新标注,打回时会原路打回,即是哪个标注人员提交的数据就会被打回给相同的那个人员。
流转到验收环节的数据,验收人员按照验收比例进行验收,验收比例在任务创建的时候设置完成,验收达到验收比例后代表验收完成。验收完成后不能再抽取数据进行验收操作。验收合格的数据,在平台留存准备任务整体完成后导出,验收不合格的数据,支持打回给质检人员进行返修,打回时也是原路打回给提交的质检人员。
# 按包流程
按包流程的流程图如下所示:
按包流程的数据流转是按照设置的包数量统一进行流转。一个包的数据不能被拆开流转到流程下一个环节。一旦一个包被形成后,包中的数据不会被拆开。
标注人员领取包后,对整个包的数据全部标注完成后才可以提交到质检环节。提交之前允许对包中的数据进行修改。
质检人员领取包后,系统会按照后台任务流程中设置的质检比例自动分配相应的数据给质检人员抽检。当发现数据标注合格率较低的情况下,可以整包打回给标注,不能将包拆分后打回数据。同时,质检人员可以对质量特别差的包进行释放操作,数据被质检释放后将重新回到标注池中,不再打回给提交标注的人员。被释放的数据的标注结果将被清空,将该包被其他标注人员领取重新进行标注。质检合格的数据,提交给验收人员同样需要整包提交。
验收人员支持按照比例验收,验收人员在前台自行设置验收比例,支持0%—100%输入。0%表示无需验收,100%表示需要全部验收,验收按照百分比抽的取数量会向上取整数。验收不合格的数据将整包进行打回。也支持释放操作将数据释放到质检池中,此时质检信息全部清空,待其他质检人员再次领取质检后再次提交。验收合格的数据,留存到平台等待导出使用。
注意:使用机器质检的情况只能选择按包流程。