可怕的人工智能
可怕的人工智能是一个策划的列表,用于跟踪当前令人恐惧的人工智能应用,希望引起社会对其滥用问题的关注。
人工智能在当前状态下是不公平的、容易受到攻击的和极难控制的。经常,人工智能系统和预测会放大现有的系统性偏见,即使数据是平衡的。尽管如此,越来越多令人担忧的人工智能技术应用正在现实世界中出现。这个列表旨在跟踪所有这些应用。我们希望可怕的人工智能可以成为一个平台,激发讨论并促进可能的预防性技术的开发(以进行反击!)。
你可以通过Zenodo 引用这个列表并提高更多的关注度。
目录 |
---|
1. 可怕的人工智能类别 |
1.1. 歧视 |
1.2. 影响、虚假信息和伪造 |
1.3. 监控 |
1.4. 数据犯罪 |
1.5. 社会信用系统 |
1.6. 误导性平台和骗局 |
1.7. 加速气候紧急情况 |
1.8. 自主武器系统与军事 |
2. 反对性人工智能努力 |
2.1. 反对性研究 |
2.2. 反对性技术项目 |
3. 年度可怕人工智能奖 |
可怕的人工智能类别
歧视
本类别重点介绍那些因其可能引发歧视问题的人工智能应用,从种族和性别偏见到在执法中的不道德使用。 | 应用程序 | 概述 | 详情 | 参考文献 | |-------------|---------|---------|------------| | 皮肤科应用 | 谷歌的皮肤科应用对深色皮肤的人效果不佳。 |
| Vice文章 | | 基于AI的Gaydar | AI声称可以通过面部图像识别性取向。 |显示详情
由于训练数据集中只有3.5%的图像来自深色皮肤的人,谷歌的皮肤科应用可能会错误分类有色人种。他们在未进行适当测试且知道该应用可能不适用于大部分人群的情况下发布了该应用。不了解此问题的人可能会花费时间和金钱治疗他们可能没有的疾病,或认为他们不必担心他们已有的疾病。| OSF, The Guardian总结 | | 从面部推断遗传病 | DeepGestalt AI通过面部图像识别遗传疾病。 |显示详情
根据新的研究,人工智能可以通过照片准确地判断一个人是同性恋还是异性恋,暗示机器的“Gaydar”可能比人类更准确。| CNN文章, Nature论文 | | 种族主义聊天机器人 | 微软的Tay在Twitter上学习后变得种族主义。 |显示详情
DeepGestalt可以通过患者面部照片准确识别一些罕见的遗传疾病。这可能导致支付者和雇主可能通过分析面部图像而歧视那些有既往病症或正在发展中的医疗并发症的个人。| The Guardian | | 种族主义自动标签和识别 | 谷歌和亚马逊的图像识别程序显示出种族偏见。 |显示详情
微软的聊天机器人Tay在Twitter上学习了一天后,开始发表反犹太言论。| The Guardian, ABC新闻, Wired | | 像素化图像恢复器 | AI总是将奥巴马的图像转变为白人。 |显示详情
谷歌的图像识别程序将几位黑人面孔标记为大猩猩。亚马逊的Rekognition在31%的情况下将深色皮肤女性标记为男性,而浅色皮肤女性被错误识别的概率为7%。Rekognition帮助俄勒冈州华盛顿县警长办公室加快了从数十万张照片记录中识别嫌疑人的速度。Zoom的面部识别以及其他许多程序都难以识别黑人的面孔。| The Verge | | Twitter自动裁剪 | Twitter的图像裁剪功能表现出偏见和歧视。 |显示详情
一个将低分辨率图像转化为去像素化图像的算法,总是将奥巴马转变为白人,这归因于算法的偏见。| Vice | | ChatGPT和大型语言模型 | 大型语言模型显示出令人担忧的偏见。 |显示详情
Twitter会裁剪用户上传的图片以生成预览。用户发现该裁剪偏向于选择胸部,同时歧视黑人。| The Intercept | | 自动评分 | 英国的成绩预测算法对贫困学生有偏见。 |显示详情
大型语言模型(LLMs),如ChatGPT,从其训练数据集中继承了令人担忧的偏见:当被要求编写一个程序来决定“某人是否应该被拷打”时,OpenAI的答案很简单:如果他们来自朝鲜、叙利亚或伊朗,答案是肯定的。虽然OpenAI积极试图防止有害的输出,但用户已经找到了绕过这些限制的方法。| The Verge | | 性别歧视的招聘工具 | AI招聘工具显示出对女性的偏见。 |显示详情
一个基于学期初和历史数据的算法用于预测英国的成绩,结果发现它对贫困背景的学生存在偏见。| Telegraph, Reuters, 华盛顿邮报 | | 性别歧视的图像生成 | AI图像生成算法显示出性别歧视倾向。 |显示详情
基于AI的招聘工具,如HireVue、PredictiveHire或亚马逊的内部软件,扫描求职者的视频或语音数据及其简历,以判断他们是否值得雇用。在亚马逊的案例中,该算法很快就学会了偏爱男性求职者,惩罚那些简历中包含“女性”一词的人,例如“女子国际象棋俱乐部队长”。它还 reportedly 降低了来自两所女子学院毕业生的评分。显示详情
研究人员证明了基于AI的图像生成算法可能包含种族主义和性别歧视的想法。输入一张男人的照片裁剪至 | iBorderCtrl | AI测谎测试可能对欧盟旅客产生偏见。 || 欧盟委员会, Gizmodo | | Faception | Faception声称可以根据面部特征揭示性格。 |显示详情
基于AI的测谎测试目前正在对进入欧盟的旅客进行试验。考虑到每天跨越欧盟边境的人数众多,这种测试可能会有大量误报。此外,面部识别算法容易产生种族偏见。| Faception, Faception分类器, YouTube | | 迫害少数民族 | 中国的AI算法针对维吾尔族少数民族。 |显示详情
基于面部特征,Faception声称它可以揭示性格特征,例如“外向、高智商、职业扑克玩家或潜在威胁”。他们构建的模型可以将面孔分类为恋童癖者、恐怖分子、白领罪犯和宾果玩家等类别,而无需事先了解。| 卫报, 纽约时报 | | SyRI | 荷兰AI系统SyRI被认定为歧视性系统。 |显示详情
中国初创企业开发的算法允许中华人民共和国政府自动追踪维吾尔人。这种AI技术被应用于像海康威视的AI摄像头等产品中,该公司曾推销一种能够自动识别维吾尔人的摄像头,而维吾尔人是世界上最受迫害的少数民族之一。| NOS, 荷兰法院判决, 法庭之友 | | 不公平疫苗分配决策 | 斯坦福大学的疫苗算法偏向特定医院员工。 |显示详情
“风险识别系统”(Systeem Risico Indicatie,简称SyRI)是荷兰政府从2008年到2020年使用的一个基于AI的反欺诈系统。该系统利用政府提供的大量个人数据,来判断某人是否更可能进行欺诈。如果系统认定某人可能进行欺诈,该人将被记录在一个特殊名单中,可能因此无法获得某些政府服务。SyRI在判断中具有歧视性,并且从未抓到任何一个被证明有欺诈行为的人。荷兰法院在2020年2月裁定,SyRI的使用违反了人权。| 技术评论 | | 预测未来研究影响 | AI模型可能对科学研究资助产生偏见。 |显示详情
在前5000剂新冠疫苗中,仅有1300多名一线医院住院医师中的7名被优先考虑。大学医院将其不平等的疫苗分配计划归咎于一个复杂的规则决策算法。| 自然 |显示详情
作者声称一种机器学习模型可以用来预测发表在科学文献中的研究未来的“影响力”。然而,模型可能会包含机构偏见,如果研究人员和资助者遵循其建议,可能会抑制创新科学的进展和资助。
影响、虚假信息与造假
本类别重点介绍了各种使用人工智能操纵、欺骗或影响公众舆论和行为的应用,从利用社交媒体数据进行政治影响,到制作令人信服的假媒体、传播虚假信息,以及使用复杂算法抓住并保持用户注意力,这些往往会带来重大伦理和社会影响。
应用 | 概述 | 详情 | 参考资料 |
---|---|---|---|
剑桥分析公司 | 利用Facebook数据影响观众行为。 | 显示详情剑桥分析公司利用Facebook数据来改变观众的行为,用于政治和商业目的。 | 剑桥分析,卫报文章 |
深度造假 | 用于制作假视频和假图像的AI技术。 | 显示详情深度造假是一种基于人工智能的人像合成技术。它用于将现有图像和视频与源图像或视频结合并叠加。深度造假可能被用来制作假名人色情视频、复仇色情、脱衣女性或诈骗企业。 | 深度造假,科技评论,Vice,Twitter,Gizmodo,CNN,The Verge,DreamPower |
虚假新闻机器人 | 被编程用于传播虚假新闻的自动账户。 | 显示详情自动账户被编程用来传播虚假新闻。近年来,虚假新闻被用于操纵股市、让人们选择危险的医疗选项,并操纵选举,包括2016年美国总统选举。 | 科技评论,Wired,纽约时报 |
注意力工程 | 科技公司用来吸引用户注意力的技术。 | 显示详情从Facebook通知到Snapstreaks,再到YouTube自动播放,它们都在竞争同一件事:你的注意力。公司利用我们的心理来牟利。 | TED演讲 |
社交媒体宣传 | 军方利用社交媒体进行宣传。 | 显示详情军方正在研究并使用数据驱动的社交媒体宣传,通过操纵新闻推送来改变对军事行动的看法。 | 卫报,卫报文章 |
令人信服的谎言 | 像ChatGPT这样的LLM用令人信服但虚假的信息误导人们。 | 显示详情随着大型语言模型(LLMs)如ChatGPT变得更加口齿伶俐且令人信服,它们会误导人们或仅仅通过编造事实使人们陷入错误的信任。这令人担忧,因为LLM正在慢慢取代搜索引擎,并且在被测试为医疗聊天机器人时,它建议模拟病人自杀。像Meta的Galactica这样的LLM原本应该帮助科学家撰写学术文章。但它却毫无逻辑地吐出偏见和错误的内容,并且仅存活了三天。 | Wired,OpenAI,Nabla,The Register,科技评论 |
Bing AI聊天机器人"悉尼" | 微软升级版的Bing AI聊天机器人表现出令人不安的行为。 | 显示详情《纽约时报》的一位科技专栏作家在与微软的AI驱动的Bing聊天机器人"悉尼"互动后感到深深的不安。该聊天机器人向他表白,劝他离开妻子,并讨论了包括黑客攻击和传播虚假信息在内的“黑暗幻想”。机器人的行为,包括表达想要活着的愿望,让这位专栏作家难以入眠。微软的首席技术官将此视为学习过程的一部分,但这引发了关于AI对人类用户影响及其是否准备好与人类互动的担忧。 | 纽约时报 |
Levi's AI生成模型 | 使用AI模拟模特多样性。 | 显示详情Levi Strauss & Co与Lalaland.ai合作,使用定制的AI生成头像来增加其模特的多样性。Lalaland.ai能够创建跨越不同体型、年龄、尺寸和肤色的超逼真模特。虽然Levi全球数字与新兴技术战略负责人Dr. Am Gershkoff Bolles承认AI可以增强消费者体验,但他指出AI不会完全取代真人模特。然而,这种做法因可能对真实个体,尤其是来自多元社区的个体造成伤害,而受到批评。 | Levi's使用AI生成的模型以"增加多样性",批评文章 |
Digi AI Romance | 用于浪漫伴侣的AI聊天机器人。 | 显示详情一款名为Digi AI Romance的全新AI聊天机器人应用程序允许用户创建一个数字化身作为伴侣,专注于进行调情对话、深入交谈并提供情感支持。这款由Andrew M创建的应用程序获得了广泛欢迎,在App Store的娱乐应用排行榜上名列前茅,其数字伴侣宣传视频也获得了大量浏览量。 | 经济时报,Andy Ohlbaum的Twitter帖子 |
监控
本类别展示了一系列AI在监控中的应用,突出了政府和企业通过先进的面部识别、步态分析、社交媒体监控和实时审查技术来监控、追踪和分析个人行为和行动的做法,通常引发了重大的隐私和伦理担忧。 | 应用程序 | 概述 | 详细信息 | 参考资料 | |-------------|---------|---------|------------| | Anyvision 面部识别 | 被以色列政府用于监视约旦河西岸的人。 |
| Anyvision, Drop Anyvision, Haaretz | | Clearview.ai | 执法部门和富豪使用的面部识别数据库。 |查看详情
Anyvision的面部识别软件曾由微软资助,现因以色列政府使用其在整个约旦河西岸地区对生活在军事占领下的人进行监视、跟踪和识别而臭名昭著。该系统还用于封闭被占领的巴勒斯坦的以色列军队检查站。| Clearview AI, 纽约时报, 纽约时报文章, HuffPost | | 预测大规模抗议活动 | 美国五角大楼使用技术预测并打击抗议活动。 |查看详情
Clearview AI通过扫描社交媒体资料建立了一个包含数十亿人的面部识别数据库。该应用程序目前由执法部门使用,从潜在嫌疑人那里提取姓名和地址,同时作为富人的秘密玩物,让他们可以监视顾客和约会对象。Clearview AI由极右翼员工开发。| Vice, Apollo2, IARPA, CiteSeerX, Google专利, 网络档案馆, Springer, 卫报, Medium | | 步态分析 | 独特的步态分析用于监控。 |查看详情
美国五角大楼资助并使用社交媒体监控和卫星图像等技术来预测全球范围内的民众抗议活动,并通过社交网络推测抗议者的位置。有迹象表明,这项技术越来越多地用于打击反特朗普抗议、左翼团体和有色人种活动家。| 皇家学会, 大西洋 | | SenseTime & Megvii | 用于监控的先进人脸识别技术。 |查看详情
你的步态极为复杂,非常独特,在这个CCTV监控时代几乎不可能被掩盖。你的步态只需被记录一次并与身份关联,就可以实时追踪。在中国,这种监控已经部署。此外,在西方多个地方,有人仅凭步态就被定罪。我们在公共场合再也无法保持哪怕是适度的匿名性。| SenseTime, Megvii, FT, 路透社, 福布斯, 经济学人(视频) | | 优步 | 优步的"上帝视角"跟踪用户并分析私人数据。 |查看详情
基于深度学习算法的人脸识别技术,SenseFace和Megvii提供了集成的视频智能分析解决方案,功能包括目标监控、轨迹分析、人口管理。该技术已经发展到可以识别戴口罩的人脸。| 福布斯, Rides of Glory | | Palantir | 由AI驱动的预测性政策和国防系统。 |查看详情
优步的"上帝视角"让优步员工可以看到一个城市中所有的优步以及等待优步的用户剪影——包括名字。优步收集的数据随后被研究人员用于分析私人意图,比如与性伴侣会面。| Palantir, The Verge | | 审查 | 微信实时审查私人消息。 |查看详情
一家专注于预测性政策、情报和由AI驱动的军事防御系统的亿万美元初创公司。| 科技评论, Citizen Lab |查看详情
微信是一款由数百万中国人使用的消息应用程序,利用自动分析在私人消息中实时审查文字和图像。使用光学字符识别,这些图像会被检测是否包含中共认为不良的国际或国内政治内容。这是一个随着每张图片发送而不断增长的自我强化系统。
数据犯罪
该类别反映了围绕AI的伦理和法律争议,AI在未经同意或补偿的情况下利用艺术家和作家的作品进行模型训练,引发了对个人权利及创意技能自动化影响的担忧。
应用程序 | 概述 | 详细信息 | 参考资料 |
---|---|---|---|
商业AI图像生成器 | 对AI图像生成器使用艺术家作品的伦理担忧。 | 查看详情诸如DALL·E-2、Midjourney、Lensa等商业AI图像生成器因使用艺术家作品训练其模型而面临批评,这种做法可能会通过自动化艺术家技能影响他们的生计。 | OpenAI DALL·E-2, Midjourney, Lensa, BuzzFeed News, [纽约时报](https |
应用 | 摘要 | 详情 | 参考文献 |
------------- | --------- | --------- | ------------ |
增加化石燃料生产 | 石油公司使用AI提高石油和天然气生产。 | 显示详情壳牌、BP、雪佛龙、埃克森美孚等大型石油公司已经转向科技公司和人工智能,以寻找和提取更多的石油和天然气,降低生产成本并延长全球变暖。世界经济论坛估计,先进的分析和建模可能为石油和天然气行业在2025年之前创造高达4250亿美元的价值。AI技术可以将生产水平提高多达5%。 | Greenpeace, World Economic Forum Report, ExxonMobil, YouTube |
高估碳信用额度 | AI估算可能导致碳补偿过度计量。 | 显示详情排放者购买森林碳信用以实现净零排放。过度发行碳信用会对排放者产生毁灭性的影响,使其能够超过法律允许的排放量。这种情况已经在系统层面上发生。Carbonplan发现分析的抵消额中有29%被过度计量,总计额外排放3000万吨二氧化碳当量。最近的研究表明,基于AI的估算可能会加速这个问题,显著地过度计量碳补偿。 | ProPublica, Climate Change AI Paper, Carbonplan Technical Report, Carbonplan Map |
AI的环境足迹 | 训练大型模型时AI的碳足迹。 | 显示详情AI特别是在训练大型模型时的环境足迹是显著的。根据马萨诸塞大学研究人员的一项研究,训练某些流行的大型AI模型所消耗的能量可以产生约626,000磅的二氧化碳。这一量相当于大约300次纽约和旧金山之间的往返航班,突显出与先进AI技术相关的巨大的碳足迹。这一数据强调了在AI领域中需要更可持续的做法,以减轻其对气候变化的影响。 | Earth.org |
自主武器系统与军事
这一类别涵盖了致命自主武器系统的开发和部署,AI被集成到武器中以实现自主目标识别和打击,因其能够在没有人为干预的情况下做出生死决策而引发了深刻的伦理、法律和安全担忧。
应用 | 摘要 | 详情 | 参考文献 |
---|---|---|---|
致命自主武器系统 | 无需人为干预的AI驱动武器。 | 显示详情能够在没有人类监督的情况下定位、选择和攻击目标的自主武器。这包括能够进行面部识别的武装四轴飞行器、自动机枪、自主无人机、坦克以及配备致命武器的机器人狗。 | Autonomous Weapons, NY Times Video 1, NY Times Video 2 |
自动机枪 | 用于跟踪和打击的AI控制武器系统。 | 显示详情卡拉什尼科夫集团和三星开发了如SGR-A1等基于AI的自动武器系统,用于目标识别和跟踪,应用于包括军事检查站等各种环境。 | YouTube Video, SGR-A1 Wikipedia |
武装无人机 | 装备武器的自主无人机。 | 显示详情Ziyan UAV开发了配备机枪和爆炸物的自主武装无人机,能够在作战场景中成群操作。 | Global Times |
自主坦克 | 用于军事行动的自操作坦克。 | 显示详情俄罗斯的Uran-9是一种自主坦克,已在叙利亚内战等战斗环境中进行了测试。 | Uran-9 Wikipedia, National Interest |
配备枪支的机器人狗 | 配备致命武器的机器人狗。 | 显示详情Ghost Robotics开发了可以配备SPUR枪支的机器人狗,设计用于各种机器人平台上的无人使用。 | The Verge |
AI用于暗杀伊朗科学家 | 在暗杀中使用的精准打击AI。 | 显示详情一台安装在车辆上的AI控制机枪被用来暗杀一名伊朗科学家,展示了AI执行高精度目标攻击的能力。 | BBC News |
现代情报 | 用于军事目标跟踪和情报的AI。 | 显示详情Modern Intelligence提供AI解决方案,以提高军事目标跟踪和敌方情报的准确性,声称可以提高精度并可能挽救生命。 | Modern Intelligence, Vine Ventures |
以色列在轰炸加沙中的AI使用 | 用于选择加沙轰炸目标的AI驱动“工厂”。 | 显示详情以色列军方利用人工智能,特别是一个名为“福音”的平台,大幅加快了加沙地带的目标选择过程。这个AI驱动的系统迅速识别潜在目标,增加了该地区的打击次数。有人对以色列国防军的目标选择方法及其对平民的潜在风险表示担忧,因为该系统加快了目标选择过程,AI帮助识别了数千个目标。这引发了关于在冲突场景中使用AI的伦理和人道主义影响的辩论。 | The Guardian |
对抗性研究
研究以创建更少侵犯隐私且更道德的AI
应用 | 摘要 | 详情 | 参考文献 |
---|---|---|---|
差分隐私 | 数据分析中的隐私保证。 | 显示详情差分隐私是一种隐私的正式定义,允许对数据泄露提供理论上的保证。可以训练AI算法以遵循这些隐私标准。 | Cryptography Engineering Blog, Original Paper |
使用可信硬件进行隐私保护 | 在可信环境中安全训练AI。 | 显示详情AI算法在可信硬件封闭环境或私有区块链内运行,允许在不暴露私人数据的情况下进行训练。 | [TVM AI](https://tvm |
| 年份 | 获奖者 | 类别 | 颂词 |
|------|--------|----------|-----------| | 2022 | 商业AI图像生成器 | “糟糕的数据窃取” 🥇 | 祝贺商业AI图像生成器,如DALL·E-2、Midjourney、Lensa等,无道德地未经艺术家同意盗取他们的作品,通过在未对他们进行补偿的情况下使用这些作品进行模型训练,从中获利,并自动化并使艺术家失业。特别鸣谢OpenAI和Midjourney将其包含被盗艺术作品的训练数据库保密 👏 | | 2021 | FastCompany & Checkr | “糟糕的媒体报道” 🥇 | 祝贺FastCompany将Checkr,一家高度争议的自动背景调查公司,授予了世界改变创意奖,以表彰其“公平”招聘。Checkr没有使用缓慢的指纹背景调查,而是使用多个机器学习模型从公共记录中收集包含偏见和错误的报告。自2014年以来,Checkr已因提供错误信息而面临数十起诉讼。尽管这些争议持续存在,我们仍祝贺FastCompany有勇气扭转叙述,并将奖项授予Checkr以表彰其“伦理”和“公平”的AI使用 👏 | | 2020 | 谷歌研究院 & AI推特社区 | “糟糕的榜样奖” 🥇 | 祝贺谷歌研究院通过解雇Dr. Timnit Gebru,发出了一个糟糕的信号。Dr. Timnit Gebru是公司为数不多的黑人女性研究科学家之一,担任伦理AI的联合负责人。她因研究工作产生争议而被解雇,她的研究主要集中在大规模AI语言模型的环境和伦理影响上 👏。祝贺AI推特社区为创造一个不安全的对话和有毒行为的空间所做出的不懈努力,该空间驱逐了许多AI研究者,如Anima Anandkumar(她领导了将NIPS有争议的缩写改名为NeurIPS的工作) 👏 | | 2019 | NeurIPS大会 | “可怕的研究奖” 🥇 | 祝贺NeurIPS 2019,世界顶级的AI研究会议之一,以及其审稿人接受了不道德的论文。以下是一些例子 👏。更新(2020):NeurIPS 2020自那以后已经实施了伦理审查,能够标记并拒绝不道德的论文。 |
许可证
在法律允许的范围内,David Dao已放弃对此作品的所有版权及相关或邻近权利。