随着全球对人工智能(AI)在医疗领域的变革潜力的兴趣飙升,确保AI支持的医疗设备的安全性和有效性,以及它们的可信度、公平性和性能变得越来越紧迫。
这尤其具有挑战性,因为人工智能应用程序的目的是在真实世界的医疗环境中不断学习和适应。虽然这种适应性可以提高性能,但也带来了重大风险,例如加剧数据或算法的偏倚,可能伤害患者,并进一步使未充分代表的人群处于不利地位。
为了了解与医疗保健中的AI软件相关的复杂性和风险,我们来看看生命周期管理(Lifecycle Management, LCM)。自20世纪60年代以来,LCM一直是交付可靠软件的必要条件。现代软件开发生命周期(SDLCs)体现了LCM原则,为规划、设计、实现、测试、集成、部署、维护和最终退役软件提供了一个结构化的框架。
在本文中,我们将重点关注利用LCM来解决医疗中生成型AI的独特挑战的潜力,通过实践来帮助确保这些系统满足真实世界的需求,同时管理它们在软件生命周期中的固有风险。
AI生命周期概念
DHCoE发起了一项工作,将传统SDLC的各个阶段映射到AI软件开发的具体细节,我们称之为AI生命周期(AILC)。我们最初的映射通常确定了主要活动,根据文献和共识标准的审查进行汇编,覆盖了AILC的每个阶段。
在下面提供的AILC概念图中,我们强调了在数据收集和管理以及模型构建和调优阶段与数据和模型评估相关的系统方法。此图还说明了在操作和监控以及真实世界性能评估阶段部署后对AI软件的监控。
人工智能生命周期管理可以提供一个强大的剧本
DHCoE对早期AI标准文件的审查发现,它们通常提供一般的生命周期考虑因素,但缺乏具体细节。这个AILC示例包含了每个阶段的一组广泛的技术和过程考虑因素。AILC模型的一个可能用途是作为指南或剧本,帮助评估标准、工具、度量和最佳实践,这些考虑因素由每个阶段(列)中的方框确定。
例如,在考虑数据收集和管理阶段中的“数据适宜性”元素时,可以确定相关的标准和适用的度量标准,如数据质量、人口覆盖率和来源。此外,还可以探索用于数据预处理、增强、偏差检测等任务的操作工具。
通过帮助确保质量、促进互操作性和促进道德实践,标准在AILC中发挥着作用。它们还有助于指导发展、提高透明度、支持合规、鼓励创新和建立信任。像这样的AILC概念有助于促进行业和医疗保健社区对这些标准的推广和持续发展。AILC透镜还可以帮助识别AI标准的具体差距,特别是在医疗设备和医疗保健领域,推动这一关键领域的进展,并有助于AI模型的持续质量管理。
我们希望AILC的这一概念有助于促进该领域其他活动的发展,例如:
- 帮助开发人员系统创建和评估作为医疗设备和医疗解决方案使用的AI的全面清单。
- 为开发基于高质量、可靠和符合伦理的数据和人工智能实践的人工智能模型奠定坚实基础。
- 开发一种系统的方法来评估相关标准、工具、指标和最佳实践,以满足整个AILC(包括部署后阶段)广泛的利益相关方的需求。
- 采用统一的方法来统一开发战略、技术和规程。
作者:Troy Tazbaz,主任和John Nicol博士,数字健康专家,数字健康卓越中心(DHCoE),CDRH,美国FDA