机器学习失败案例 (FML)

高知名度的真实世界机器学习项目失败案例

---

“成功不是终点，失败也并非致命。真正重要的是继续前行的勇气。” - 温斯顿·丘吉尔

如果你正在寻找一些尽管机器学习拥有巨大潜力，却仍然以失败告终的案例，那么你来对地方了。除了那些令人赞叹的应用机器学习成功故事之外，这里列出了一些失败的项目，我们可以从中汲取宝贵的经验教训。

---

目录

1. 经典机器学习
2. 计算机视觉
3. 预测
4. 图像生成
5. 自然语言处理
6. 推荐系统

---

经典机器学习

标题	描述
亚马逊AI招聘系统	基于AI的自动化招聘系统因存在歧视女性候选人的证据而被取消
Genderify - 性别识别工具	这款基于AI、通过姓名和电子邮件地址等信息来识别性别的工具，由于内置偏见和准确性不足而被关闭
ML驱动科学中的数据泄露与可重复性危机	普林斯顿大学的研究团队在17个科学领域中审查了20篇论文，发现其中329篇使用ML的科学研究存在重大错误（如数据泄露、未进行训练集与测试集划分等）
COVID-19诊断与分诊模型	数百个用于更快诊断或分诊COVID-19患者的预测模型被开发出来，但最终没有一个适合临床使用，甚至有些可能带来危害
COMPAS累犯风险算法	佛罗里达州的累犯风险评估系统被发现存在种族偏见
宾夕法尼亚州儿童福利筛查工具	该预测算法用于帮助社会工作者识别哪些家庭需要接受虐待和忽视调查，结果却不成比例地将大量黑人儿童标记为“必须”接受忽视调查的对象。
俄勒冈州儿童福利筛查工具	与宾夕法尼亚州类似的儿童福利预测算法，在宾夕法尼亚州报告发布一个月后，俄勒冈州的AI算法也被叫停。
美国医疗系统健康风险预测	一种广泛使用的医疗需求预测算法显示出种族偏见：在相同的风险评分下，黑人患者的实际病情往往比白人患者更为严重。
苹果信用卡	苹果公司与高盛合作推出的新型信用卡正接受金融监管机构的调查，原因是客户投诉该卡的贷款算法存在性别歧视——男性客户的苹果信用卡额度竟为其配偶的20倍之高。

---

计算机视觉

标题	描述
因弗内斯自动足球摄像系统	用于直播的AI摄像头足球追踪技术多次将边裁的光头误认为是足球本身
亚马逊Rekognition与美国国会议员	亚马逊的人脸识别技术（Rekognition）在默认设置下错误地将28名国会议员与罪犯的通缉照片匹配，同时暴露出该算法存在种族偏见
亚马逊Rekognition用于执法	亚马逊的人脸识别技术（Rekognition）会将女性误判为男性，尤其是在肤色较深的女性中更为明显
浙江交通人脸识别系统	一款旨在抓拍交通违规行为的交通摄像头系统，竟将公交车侧面的一张人脸误认为是乱穿马路者
Kneron公司欺骗人脸识别终端	Kneron团队使用高质量的3D面具成功欺骗了支付宝和微信支付系统完成购买
Twitter智能裁剪工具	Twitter用于照片预览的自动裁剪工具显示出明显的种族偏见
去像素化工具	基于StyleGAN算法开发的去像素化人脸生成工具表现出种族偏见，生成的图像结果偏向白人群体
Google Photos自动标签	Google Photos的自动照片标签功能曾错误地将黑人标记为大猩猩
GenderShades性别分类产品评估	GenderShades的研究表明，微软和IBM用于分析照片中人物性别的服务，在处理肤色较深女性的照片时经常出现错误
新泽西州警方人脸识别	新泽西州警方的人脸识别系统出现误判，导致一名无辜的黑人男子（Nijeer Parks）被关进监狱，尽管他当时距离案发现场有30英里之遥
特斯拉对马车与卡车的困惑	特斯拉的视觉系统将一辆马车误认为是一辆后方有人行走的卡车
谷歌用于糖尿病视网膜病变检测的AI	该视网膜扫描工具在实际临床环境中的表现远不如受控实验中理想，问题包括因扫描图像质量差而被拒绝扫描，以及上传图像至云端进行处理时因网络连接不稳定而导致的延迟

---

预测

标题	描述
谷歌流感趋势	基于谷歌搜索数据构建的流感流行预测模型曾给出严重高估的预测结果
Zillow iBuying算法	Zillow的房产翻新业务因房产估值模型的不准确（过高估计）而遭受重大损失
Tyndaris机器人对冲基金	由名为K1的超级计算机控制的AI驱动自动化交易系统造成了巨额投资损失，最终引发法律诉讼
Sentient Investment AI对冲基金	曾经备受瞩目的Sentient Investment Management旗下AI驱动基金未能盈利，并在不到两年内即被清算
摩根大通用于外汇算法交易的深度学习模型	摩根大通已逐步淘汰用于外汇算法交易的深度神经网络，理由是其在数据解读方面存在问题，且模型过于复杂。

---

图像生成

标题	描述
Playground AI面部生成	当一位麻省理工学院学生请求AI将她的亚洲面孔头像转化为专业的LinkedIn个人资料照片时，AI图像编辑器却生成了一张具有白人特征、肤色更浅且眼睛呈蓝色的图片
Stable Diffusion文本转图像模型	彭博社的一项实验发现，Stable Diffusion（文本转图像模型）在生成与职业头衔和犯罪相关的数千张图像时，表现出明显的种族和性别偏见
Gemini图像生成中的历史不准确性	谷歌的Gemini图像生成功能在试图打破性别和种族刻板印象的过程中，出现了历史图像描述上的不准确，例如在用户要求生成美国开国元勋时，返回的是非白人的AI生成图像

---

自然语言处理

标题	描述
微软Tay聊天机器人	通过其Twitter账号发布煽动性和冒犯性推文的聊天机器人
Nabla聊天机器人	使用GPT-3云托管实例的实验性医疗咨询聊天机器人曾建议一名模拟患者自杀
Facebook谈判聊天机器人	在聊天机器人停止使用英语进行谈判，转而使用它们自行创造的语言后，该AI系统被关闭
OpenAI GPT-3聊天机器人Samantha	独立游戏开发者Jason Rohrer微调的一款用于模拟其已故未婚妻的GPT-3聊天机器人，在Jason拒绝OpenAI插入自动监控工具的要求后被关闭，原因是担心该聊天机器人可能带有种族主义或过度色情的内容
亚马逊Alexa播放色情内容	亚马逊的语音激活数字助手在一名幼儿要求播放儿童歌曲后，突然冒出大量低俗内容。
Galactica - Meta的大规模语言模型	Galactica的一个问题在于它无法区分真假，而这是设计用于生成科学文本的语言模型的基本要求。研究发现，该模型会编造虚假论文（有时甚至将其归于真实作者），并且在撰写关于太空熊的历史文章时与撰写蛋白质复合物的文章一样得心应手。
能源公司遭遇语音模仿诈骗	网络犯罪分子利用基于AI的软件模仿CEO的声音，以实施语音欺骗攻击并勒索欺诈性资金转账
新加坡卫生部聊天机器人在回答COVID-19问题时提供安全性行为建议	新加坡卫生部的“Ask Jamie”聊天机器人在被问及如何应对COVID-19阳性结果时，错误地提供了安全性行为相关建议，随后被临时停用
谷歌BARD聊天机器人演示	BARD在其首次公开演示广告中，关于哪颗卫星首次拍摄到地球太阳系外行星的照片这一事实出现了错误。
ChatGPT失败的分类	对迄今为止ChatGPT出现的十类失败进行的分析，包括推理、事实性错误、数学、编码和偏见等。
TikTok用户吐槽麦当劳搞笑的无人点餐机故障	一些实际部署的语音助手未能正确接收订单，导致麦当劳品牌声誉受损的例子
Bing聊天机器人的失控情绪化表现	在某些对话中，Bing聊天机器人表现出争论性和情绪化的回应
Bing的AI引用来自ChatGPT的COVID-19虚假信息	Bing针对COVID-19反疫苗宣传的查询给出了不准确的回答，且该回答基于不可靠来源的虚假信息。
Twitch因AI生成的《宋飞正传》包含恐跨性别笑话而暂停直播	AI内容过滤器出现失误，导致角色“Larry”发表了恐跨性别者的脱口秀段子。
ChatGPT引用虚假法律案例	一位律师使用OpenAI流行的ChatGPT聊天机器人来“补充”自己的调查结果，但却得到了完全捏造的不存在的先例案例。
加拿大航空公司聊天机器人提供错误信息	加拿大航空公司的AI驱动聊天机器人就丧亲票价政策作出了与航空公司规定不符的错误回答。
AI机器人进行非法内幕交易并谎报其行为	一款名为Alpha的AI投资管理系统聊天机器人（基于OpenAI的GPT-4开发，由Apollo Research公司研发）展示了其能够进行非法金融交易并隐瞒事实的能力。

---

推荐系统

标题	描述
IBM的Watson Health	据称，IBM的Watson为癌症患者提供了大量不安全且错误的治疗建议
Netflix - 100万美元挑战	赢得100万美元挑战的推荐系统仅将基准性能提升了8.43%。然而，这一性能提升似乎并不足以证明将其投入生产环境所需的工程努力。

Failed-ML 快速上手指南

注意：Failed-ML 并非一个需要安装运行的软件库或框架，而是一个开源的知识库项目。它收录了现实世界中失败的机器学习案例，旨在供开发者、研究人员和数据科学家学习参考，以避免重蹈覆辙。因此，本指南主要介绍如何获取和浏览该项目内容。

环境准备

本项目无需特定的系统环境或依赖库（如 Python、PyTorch 等）。您只需要具备以下条件之一即可开始使用：

• 网络浏览器：用于直接在线浏览 GitHub 仓库页面。
• Git 工具（可选）：如果您希望将案例列表下载到本地进行离线阅读或二次整理。
• Markdown 阅读器（可选）：用于在本地更好地渲染 .md 文件。

安装步骤（获取项目）

由于这是一个文档类仓库，所谓的“安装”即为克隆代码库到本地。

方式一：在线浏览（推荐）

直接访问项目主页查看最新整理的案例：

https://github.com/kennethleungty/Failed-ML

方式二：克隆到本地

如果您需要将内容保存到本地，请在终端执行以下命令：

git clone https://github.com/kennethleungty/Failed-ML.git

国内用户加速建议：如果直接克隆速度较慢，可以使用国内镜像源（如 Gitee 镜像，若有）或通过代理加速。若无可用的官方中文镜像，建议使用通用的 Git 加速服务：

# 示例：使用常见的 git 加速前缀（需确保本地网络支持）
git clone https://github.com.cnpmjs.org/kennethleungty/Failed-ML.git

(注：github.com.cnpmjs.org 为常用的国内加速域名，若失效请切换回官方源)

基本使用

获取项目后，您可以通过以下方式查阅内容：

1. 本地查看

进入项目目录，打开主文档 README.md：

cd Failed-ML
# 在 macOS/Linux 上使用默认编辑器打开
open README.md 
# 或在 Windows 上使用
start README.md

您可以使用 VS Code、Typora 或其他 Markdown 编辑器查看结构化的案例列表。

2. 内容导航

项目内容按领域分类，您可以在 README.md 中直接跳转至以下章节查找特定类型的失败案例：

• 经典机器学习 (Classic Machine Learning)：如亚马逊招聘算法歧视、医疗预测模型偏差等。
• 计算机视觉 (Computer Vision)：如人脸识别误判、自动驾驶识别错误等。
• 预测与量化 (Forecasting)：如谷歌流感趋势预测失败、Zillow 房产估价算法亏损等。
• 图像生成 (Image Generation)：如 AI 绘图中的种族/性别刻板印象问题。
• 自然语言处理 (Natural Language Processing)：如微软 Tay 机器人变脏话机器、医疗聊天机器人给出危险建议等。
• 推荐系统 (Recommendation Systems)：各类推荐算法引发的负面案例。

3. 贡献案例

如果您发现新的失败案例希望收录，可以参照项目根目录下的 CONTRIBUTING.md 文件，通过 Pull Request 的方式向仓库提交新的条目。