平流层安全标准：航空业如何引导健康领域的人工智能监管

　　在飞机失事中死亡的可能性有多大?根据国际航空运输协会发布的2022年报告，该行业的死亡风险为0.11。换句话说，平均而言，一个人需要每天坐飞机25214年，才有100%的几率发生致命事故。长期以来，航空业一直被吹捧为最安全的交通方式之一，受到严格监管，这让麻省理工学院的科学家们认为，它可能是监管医疗保健领域人工智能的关键。

　　麻省理工学院电子工程与计算机科学系(EECS)和医学工程科学研究所的助理教授Marzyeh Ghassemi，以及麻省理工学院航空航天学H.N.斯莱特教授Julie Shah，都对人工智能模型透明度的挑战感兴趣。在2023年初的一次聊天中，他们意识到航空业可以作为一个模型，以确保边缘化患者不会受到有偏见的人工智能模型的伤害。

　　ghassemi也是麻省理工学院Abdul Latif Jameel健康机器学习诊所(Jameel诊所)和计算机科学与人工智能实验室(CSAIL)的首席研究员，Shah随后招募了一个跨学科的研究人员、律师和政策分析师团队，他们来自麻省理工学院、斯坦福大学、美国科学家联合会、埃默里大学、阿德莱德大学、微软、和加州大学旧金山分校启动了一个研究项目，其结果最近被算法，机制和优化会议的公平和访问所接受。

　　第一作者伊丽莎白·邦迪-凯利(Elizabeth Bondi-Kelly)说:“我想我可以代表Marzyeh和我自己说，我们真的很兴奋地看到人工智能开始在社会上出现，”她现在是密歇根大学(University of Michigan) EECS的助理教授，当项目开始时，她是Ghassemi实验室的博士后。“但我们也有点谨慎，希望努力确保在这些部署开始发生时，我们有可能有适当的框架来管理潜在的风险，所以我们正在寻找方法来促进这一点。”

　　麻省理工学院航空航天系博士生Lindsay Sanneman说，今天医疗领域的人工智能与一个世纪前的航空业很相似。尽管20世纪20年代被称为“航空的黄金时代”，但据麦基诺公共政策中心(Mackinac Center for Public Policy)称，致命事故“多得令人不安”。

　　美国国家运输安全委员会(NTSB)安全建议部门现任负责人杰夫·马库斯最近在“国家航空月”博客上发表了一篇文章，指出尽管20世纪20年代发生了许多致命事故，但1929年仍然是历史上致命航空事故最多的“最糟糕的一年”，有51起事故报告。按照今天的标准，每年将发生7000起事故，即每天20起。为了应对20世纪20年代大量的致命事故，卡尔文·柯立芝总统于1926年通过了具有里程碑意义的立法，即《航空商务法》，该法案将通过商务部管理航空旅行。

　　但两者的相似之处并不止于此——航空业随后走向自动化的道路与人工智能类似。鉴于人工智能臭名昭著的“黑匣子”问题，人工智能的可解释性一直是一个有争议的话题，人工智能研究人员一直在争论一个人工智能模型必须在多大程度上向用户“解释”它的结果，才能让他们盲目地遵循模型的指导。

　　“在20世纪70年代，自动化程度越来越高……自动驾驶系统负责警告飞行员风险，”Sanneman补充道。“随着自动化进入航空领域，在人与自动系统的互动方面，存在一些成长中的烦恼——当飞行员对自动化系统正在做什么没有敏锐的认识时，可能会出现混乱。”

　　如今，成为一名商业航空公司的机长需要1500小时的飞行时间以及仪表培训。根据研究人员的论文，这个严格而全面的过程大约需要15年，包括学士学位和副驾驶。研究人员认为，广泛试点培训的成功可能成为培训医生在临床环境中使用人工智能工具的潜在模式。

　　该文件还建议鼓励报告不安全的健康人工智能工具，就像美国联邦航空局(FAA)对飞行员所做的那样——通过“有限豁免权”，允许飞行员在做了不安全的事情后保留他们的执照，只要这是无意的。

　　根据世界卫生组织2023年发表的一份报告，在高收入国家，平均每10名患者中就有1人在接受医院护理时受到不良事件(即“医疗差错”)的伤害。

　　然而，在目前的卫生保健实践中，临床医生和卫生保健工作者往往害怕报告医疗错误，这不仅是因为与内疚和自我批评有关的担忧，而且还因为强调对个人的惩罚的负面后果，例如吊销医疗执照，而不是改革使医疗错误更有可能发生的制度。

　　Ghassemi在最近发表在《自然人类行为》杂志上的一篇评论中写道:“在健康方面，当锤子失手时，病人就会受苦。”“这一现实给医疗人工智能社区带来了不可接受的道德风险，他们已经在努力解决复杂的护理问题、人员短缺和超负荷的系统。”

　　美国科学家联合会的合著者和卫生公平政策经理Grace Wickerson认为这篇新论文是对尚未到位的更广泛的治理框架的重要补充。他们说:“我认为我们可以利用现有的政府权力做很多事情。”

　　“医疗保险和医疗补助有不同的方式来支付健康人工智能，以确保在购买或报销技术中考虑到公平性，美国国立卫生研究院(NIH)可以资助更多的研究，使算法更加公平，并为这些算法建立标准，然后由美国食品和药物管理局(FDA)使用，因为他们试图弄清楚健康公平的含义，以及如何在他们目前的权力范围内进行监管。”他们继续下去。

　　此外，该文件列出了六个可以帮助监管健康人工智能的主要现有政府机构，包括:FDA、联邦贸易委员会(FTC)、最近成立的卫生高级研究计划局、医疗保健研究与质量局、医疗保险和医疗补助中心、卫生与公众服务部以及民权办公室(OCR)。

　　但威克森表示，还有更多工作要做。在威克森看来，写论文最具挑战性的部分是“想象我们还没有的东西”。

　　该文件还建议建立一个独立的审计机构，而不是仅仅依赖现有的监管机构，类似于NTSB，允许对故障的卫生人工智能系统进行安全审计。

　　威克森补充说:“我认为这是目前科技治理面临的问题——自上世纪90年代以来，我们还没有一个真正的实体来评估科技的影响。”“过去有一个技术评估办公室……在数字时代开始之前，这个办公室就存在了，然后联邦政府允许它消亡。”

　　合著者、斯坦福大学法学院(Stanford Law School)近期毕业生扎克?哈内德(Zach Harned)认为，新兴技术面临的一个主要挑战是，技术发展的速度超过了监管的速度。“然而，人工智能技术的重要性及其带来的潜在好处和风险，特别是在医疗保健领域，已经导致了一系列监管努力，”哈内德说。

　　“FDA显然是这方面的主要参与者，他们一直在发布指南和白皮书，试图说明他们在人工智能方面不断发展的立场;然而，隐私将是另一个值得关注的重要领域，OCR在HIPAA(健康保险流通与责任法案)方面的执法，以及FTC对非HIPAA覆盖实体的隐私侵权行为的执法。”

　　哈内德指出，该领域正在迅速发展，包括最近白宫关于人工智能安全可靠发展的第14110号行政命令，以及欧盟(EU)的监管活动，包括即将完成的《欧盟人工智能法案》。他说:“看到这项重要技术得到开发和监管，以确保安全，同时又不会扼杀创新，这无疑是一个激动人心的时刻。”

　　除了监管活动，该论文还提出了其他机会，为更安全的健康人工智能工具创造激励机制，比如按绩效付费计划，保险公司在该计划中奖励表现良好的医院(尽管研究人员认识到，这种方法需要额外的监督才能公平)。

　　那么，研究人员认为，为健康人工智能建立一个有效的监管体系需要多长时间?根据这份报告，“NTSB和FAA的调查和执法分属两个不同的机构，是国会几十年来创建的。”

　　邦迪-凯利希望这篇论文能解开人工智能监管的谜团。在她看来，“梦想中的场景是，我们所有人都读了这篇论文，受到了极大的启发，能够应用航空领域的一些有用经验，帮助人工智能预防可能出现的一些潜在危害。”

　　除了Ghassemi, Shah, Bondi-Kelly和Sanneman，麻省理工学院的合著者还包括高级研究科学家Leo Anthony Celi和前博士后Thomas Hartvigsen和Swami Sankaranarayanan。

　　更多信息:Elizabeth Bondi-Kelly等人，《人工智能起飞:从航空中获得的医疗保健、算法、机制和优化中的公平和访问经验》(2023年)。DOI: 10.1145/3617694.3623224期刊信息:自然人类行为由麻省理工学院提供

　　本文由麻省理工学院新闻(web.mit.edu/newsoffice/)转载，这是一个报道麻省理工学院研究、创新和教学新闻的热门网站。

　　引用:平流层安全标准:航空业如何引导健康领域的人工智能监管(2024年，1月17日)2024年1月17日检索自https://techxplore.com/news/2024-01-stratospheric-safety-standards-aviation-ai.html本文档

　　作品受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。的有限公司

　　内容仅供参考之用。