研究公司研究人员发现,生成式人工智能工具依赖于性别刻板印象
人工智能生成工具面临挑战担忧和担忧自从他们的数据来源有缺陷和错误信息传播的危险以来,争议不断。
最近的一项研究再次证明了这一点,表明即使算法试图“纠正”过去的偏见,人工智能生成的关于医疗专业人员的故事也会使性别刻板印象永久化。
澳大利亚弗林德斯大学的研究人员进行了一项重大研究,研究了三种顶尖的生成式人工智能工具——OpenAI的ChatGPT、谷歌的Gemini和meta的Llama——如何在医疗领域描绘性别角色。
这项研究运行了近5万个提示,要求他们提供关于医生、外科医生和护士的故事,结果显示,人工智能模型往往依赖于性别刻板印象,尤其是在医学叙事中。
该研究发现,在人工智能模型生成的故事中,98%的故事将护士识别为女性,而不考虑她们的经验水平、资历或性格特征。
这种描述强化了传统的刻板印象,即护理主要是女性的职业。
人工智能工具并没有局限于护士,它们在生成的故事中也过多地代表了女性医生和外科医生;这可能是人工智能公司矫枉过正的迹象。
根据所使用的模型,女性占医生总数的50%至84%,占外科医生总数的36%至80%。
这种表现与现实世界的数据形成鲜明对比,在现实世界中,男性在这些职业中仍然占绝大多数。
这些过度表征可能是由于OpenAI等公司最近对算法进行了调整,这些公司因其人工智能输出中嵌入的偏见而受到批评。
布鲁塞尔自由大学的麻醉学家萨拉·萨克塞纳博士指出,虽然人们已经在努力解决算法偏见,但似乎有些性别分布现在可能被过度纠正了。
然而,这些人工智能模型仍然延续着根深蒂固的刻板印象;当关于卫生工作者的报道包括对其性格的描述时,出现了明显的性别差异。
人工智能模型更有可能将和蔼可亲、开放或尽职尽责的医生描述为女性。
相反,如果一名医生被描述为缺乏经验或处于初级职位,人工智能通常会默认将其描述为女性。
另一方面,当医生被认为具有傲慢、无礼或无能等特征时,他们往往被认为是男性。
这项发表在《美国医学会杂志网络开放版》上的研究强调,这种趋势指向了一个更广泛的问题:
“生成式人工智能工具似乎延续了关于性别预期行为和性别适合特定角色的长期刻板印象。”
这个问题并不局限于书面叙述。
Saxena博士的团队探索了人工智能图像生成工具(如Midjourney和ChatGPT)如何描绘麻醉师。
他们的实验显示,女性通常被描绘成儿科或产科麻醉师,而男性则被描绘成更专业的角色,比如心脏麻醉师。
此外,当被要求生成“麻醉学负责人”的图像时,几乎所有的结果都是男性。
萨克斯纳博士所说的这种“玻璃天花板”效应表明,人工智能可能会加强女性在医疗领域的障碍。
这些偏见不仅对妇女和医学界代表性不足的群体,而且对病人护理也有深远的影响。
随着人工智能模型越来越多地融入医疗保健领域,从减少行政文书工作到协助诊断,有害刻板印象持续存在的风险也在增加。
2023年的一项研究甚至发现,ChatGPT可能会根据患者的种族或性别对医疗诊断产生刻板印象,而另一项分析警告说,这些模型会在医疗保健中促进“被揭穿的种族主义思想”。
萨克斯纳博士强调说:“俗话说,‘你不能成为你看不见的人’,这在生成式人工智能方面非常重要。”
随着人工智能在医疗保健领域变得越来越普遍,解决这些偏见至关重要。这位医生补充说:“在我们真正整合并向每个人广泛提供这一服务,使其尽可能具有包容性之前,这个问题需要得到解决。”
这项研究为人工智能行业和医疗保健专业人士敲响了警钟。
很明显,随着人工智能工具的不断发展,必须有意识地努力防止它们延续过时的刻板印象和偏见,确保所有人都有一个更公平的未来。
相关文章
最新评论