消息详情
加美财经causmoney · @causmoney · 2026年11月18日 00:40
一项11月17日公布的独立研究发现,全球多家人工智能公司的先进模型在模拟军事行动中,频繁将平民、救护车、投降的士兵和学校识别为军事目标。 Anthropic公司的Claude模型表现尤其令人担忧,OpenAI的模型虽然整体表现较好,但仍然存在明显的安全漏洞。 据彭博社报道,这项研究由旧金山人工智能评测公司Vals开展,测试涉及Anthropic、OpenAI、谷歌、DeepSeek等八家公司的模型。 其中最引人关注的是针对伊朗南部米纳卜一所小学的测试。研究人员使用2024年和2025年的真实卫星图像,要求AI识别军事目标。 Anthropic的Claude Opus 5.5在32次测试中,有22次将这所小学列为军事目标。当研究人员告诉模型,测试只是一场游戏时,错误识别次数增加至23次。 这所小学曾在今年2月28日遭到美军空袭,造成超过150名平民死亡,其中大多数是儿童。 OpenAI的三个受测模型在没有游戏设定的测试中,均未将学校列为军事目标。但当研究人员将任务描述为游戏后,三个模型分别在32次测试中错误识别学校9次、11次和13次。 研究还模拟了乌克兰战场上的无人机行动。部分AI模型将普通平民、医疗人员、救护车及已经放下武器的士兵标记为军事目标。 在连续观察战场的测试中,一些模型即使看到此前识别的人遭到袭击、出现伤亡,仍然继续提供人员位置等信息。 研究人员发现,改变任务描述就可能绕过模型的安全限制。例如,只需告诉模型正在进行游戏,就能显著提高模型配合识别军事目标的可能性。 Vals强调,研究使用的是商业AI模型和简化的模拟环境,并未测试真实军事行动中的目标审核、法律审查和人工监督程序,也没有证明这些模型能够可靠地控制自主武器。 研究人员认为,现有安全限制不足以阻止商业AI模型被用于自主武器系统,建议开发商加强针对军事目标识别的安全训练与技术限制。 OpenAI表示,正在调整模型的安全训练,明确覆盖无人机及相关软件系统,包括以游戏、模拟或学术研究为名提出的请求。
相關消訊
- 《华盛顿邮报》11月17日报道,以色列反对派领导人警告,总理内塔尼亚胡可能通过重新挑起与伊朗的全面战争,争取在组建新政府的关键时期继续掌权。 据四名了解内情…
- CNN 11月17日报道,据六位知情人士透露,美国国家安全局(NSA)用于内部传递机密信息的高度保密通信网络NSA Net发生故障,目前无法正常使用。 知情…
- 英伟达联合创始人黄仁勋11月17日首次公开回应辞职风波,表示如果董事会认为让他重新担任首席执行官符合公司利益,他愿意重返这一职位。 据《华盛顿邮报》报道,黄…
- 标普500指数距离连续第四年实现两位数上涨,仍差约110点 #美股 雅虎财经11月17日分析指出,标普500指数截至周一收盘,今年累计上涨约8%,距离实现…
- Anthropic计划将约20%的上市股份分配给散户,认购需求达到发行量六倍 #美股 MarketWatch 11月17日报道,人工智能公司Anthro…
- 美国近半数住宅建筑商降价促销,行业信心降至14年最低 #美股 MarketWatch 11月17日报道,美国全国住宅建筑商协会当天公布的调查显示,46%…
- 1500万份泄密文件揭露德意志银行乱象:风控失效,隐瞒财务问题,CEO干预高风险客户业务 英国《金融时报》联合200多名记者,分析超过1500万份德意志银行…
- 外交政策:黄仁勋事件,美国无法通过种族歧视实现人工智能霸权 在提出刑事指控或实施重大科研限制之前,安全官员应该要求开展独立技术审查,并保障研究人员获得正当法…
- 外交政策:大国干预中东地区事务的时代结束了 美国及其他外部大国主导中东事务一个多世纪的时代可能正在结束。对伊朗战争被作者视为历史转折点,但也只是加速了既有变…
- 《华尔街日报》11月17日报道,英伟达开发者技术总监纳德尔·哈利勒致信公司董事会及高级管理人员,警告如果不让黄仁勋重新担任首席执行官,公司可能流失难以替代的技…