总体概述

标准数据集和公开评测任务(Shared Task)对算法技术的发展起着良好的推动作用，以中文医学领域为例，CHIP（China Health Information Processing）会议每年均发布医学相关的学术评测，这些评测任务均极大促进了国内医学NLP社区的发展。但是目前的现状是这些数据集是分散的，部分数据在评测比赛之后就不再开放下载，这会对数据集的获取以及后续的研究造成一定的困难。

近年来随着预训练语言模型（PTLM）及大模型技术（LLM）的发展，在诸多下游任务上均取得SOTA的结果，一个大趋势是多任务评测基准（benchmark）的出现，如：GLUE(General Language Understanding Evaluation)[1,2]，CLUE(Chinese Language Understanding Evaluation)[3]。这些benchmark的目标是评估语言模型的泛化性能，同时也提供了公平开放的评测基准，因此吸引了大量的NLP研究者的关注，并进一步推动了大模型技术的发展和落地。在医学领域，微软在2020年底发布了BLURB(Biomedical Language Understanding & Reasoning Evaluation)[4]， 天池平台在中国中文信息学会医疗健康与生物信息处理专业委员会指导下于2021年4月份推出了CBLUE(Chinese Biomedical Language Understanding Evaluation)评测基准1.0，CBLUE推出后受到了国内医疗AI研究同行的广泛关注。

CBLUE发展经过3个阶段：
CBLUE1.0：由CHIP会议往届的学术评测数据集和阿里夸克医疗搜索业务数据集组成，包括医学文本信息抽取（实体识别、关系抽取）、医学术语标准化、医学文本分类、医学句子语义关系判定共4大类任务8个子任务。
CBLUE2.0：在1.0的基础上，扩充了原有的任务类型，进一步丰富了语料来源（新增医学诊疗对话、医学专家编写的电子病历和医学影像报告），并引入了生成类任务。CBLUE2.0由医学文本信息抽取（实体识别、关系抽取、事件抽取）、医学术语标准化、医学文本分类、医学句子语义关系判定、医学对话理解与生成共5大类任务14个子任务组成。
CBLUE3.0：在2.0的基础上，进一步增强了生成类任务，新引入了医学检索和医学多模态任务，此外还对现有任务的难度做了升级。CBLUE3.0由医学文本信息抽取（实体识别、关系抽取、事件抽取）、医学检索&术语标准化、医学文本分类、医学句子语义关系判定、医学文本理解&生成共5大类任务18个子任务组成。此外还引入了医学OCR要素识别任务作为多模态方向的初步尝试。

我们相信中文医学NLP benchmark的建设将会进一步吸引研究者们对医疗AI领域的关注，欢迎广大同行加入到CBLUE的建设中，一起推动中文医学信息处理领域的发展。

CBLUE榜单覆盖的数据集大部分遵循 CC BY-NC-SA 4.0 协议，若数据集任务有其他协议的，在具体的任务章节会单独列出。

CBLUE评测基准数据集汇总信息如下：