近日,北京市卫生健康委发布《关于开展医疗领域人工智能应用评测工作的通知》(以下简称《通知》),正式向各企业、研究机构提供评测服务。
《通知》明确本次评测范围聚焦胸外科诊疗领域,评测对象为各类具备胸外科临床辅助决策能力的人工智能应用或模型。由于医疗行为关乎公众生命健康,医疗AI的评测必须坚持高标准、严要求,至少具有评测内容的全面性、评测数据的权威性、评测结果的科学性这三个方面的要求。
针对医疗领域人工智能应用评测的一些重点难点问题,北京市卫生健康委委托北京市卫生健康大数据与政策研究中心,联合全国重点医院与专家团队,打造了北京医疗人工智能应用评测中心。在评测内容上,评测中心形成了6个核心维度的评测指标体系,包含70多项具体评测任务,全面覆盖了看“安全”,查有没有泄露隐私、有没有违背医学伦理;看“专业”,测会不会用最新的医学教材、诊疗指南;看“适用”,查是否符合医生的思考逻辑和日常工作流程;看“准确”,看AI诊断对不对,给的治疗建议合不合理。在评测数据上,评测中心联合重点医院、科研机构及权威专家团队,用临床案例、国内外权威医学教材和最新临床诊疗指南,共同构建高质量评测数据集。在评测方法上,评测中心严格实施用户申请、系统评测、专家复核三个环节,系统根据应用类型自动匹配评测任务并生成评测报告,由临床专家进行复核。在计分方式上,除采用国际通用基础评测指标外,评测中心还创新引入了基于人工智能的评分机制,也就是用一个“裁判模型”来判卷,综合“考生”的诊疗思路、推理逻辑、答题结果进行量化打分,避免只看最终结果的片面性。
具体内容请点击下方链接查看全文。
内容来源:北京市卫生健康委员会
相关链接1:北京市卫生健康委启动医疗人工智能应用评测服务
相关链接2:北京市卫生健康委员会关于开展医疗领域人工智能应用评测工作的通知