第22章 ai出错的弊端（二）（1/2）

#### **2.1算法黑箱：不可解释的“数字神谕”**

现代ai模型（如gpt、diffusion、transformer）拥有千亿参数，其决策过程如同“神谕”——你只能接受，无法质疑。

- **案例**：某ai在修复一张19xx年的全家福时，将一位女性“修复”为男性。事后分析发现，因训练数据中“穿旗袍的女性”样本极少，而“穿长衫的男性”极多，ai基于“最大概率”原则做出错误推断。

- **危害**：用户无法追问“为何如此”，开发者也无法定位“错在何处”。**ai出错，成了“天意”**。

#### **1.3 训练逻辑的悖论：追求“概率”而非“真实”**

ai的核心是统计学，它回答的不是“这是什么”，而是“这最可能是什么”。

- **语音识别中的“语境暴力”**：老人说：“那年我从‘越难’回来。”ai识别为“越南”，但实际是方言“越难”（意为“越过艰难”）。因“越南”在训练数据中出现频率更高，ai选择“更可能”的答案。

- **图像生成中的“刻板印象”**：ai生成“民国教师”形象时，90%为男性、戴眼镜、穿长衫，极少出现女性教师或乡村教师，因训练数据中此类图像极少。

**结果**：ai不断强化主流叙事，边缘群体被进一步“隐形”。

#### **1.4 模型泛化能力的局限：ai的“知识边界”**

ai在训练数据覆盖的领域表现优异，但一旦超出边界，错误率急剧上升。

- **老年语音识别**：老人语速慢、口齿不清、夹杂方言，ai识别准确率下降至60%以下。

- **历史地名识别**：ai将“杭州旧称‘临安’”误判为“浙江临安区”，因现代地理数据库未标注历史名称。