关于人工智能治理，10个问题应该被问及：代理型AI风险与金融服务业韧性

金融机构一直都在从事风险定价的业务。每一项信贷决策、交易、保险单以及客户互动都包含着机构需要评估和管理并承担相应责任的风险。正是因为这种问责制被高度重视，金融监管的整个架构，从资本要求、模型验证到行为准则和审计标准，才得以存在。 　　自主型人工智能并未消除这种问责制。改变的只是问责制的执行机制。金融风险治理建立在一个假设之上，该假设在其大部分历史时期内都成立：错误以人类速度发生，一次一个决策。一名贷款员批准了信用不良的贷款。一名交易员做出了错误的判断。一名客户关系经理错误地销售了产品。这些事件代价高昂，会发生，但它们发生在旨在逐个捕获它们的控制框架之内。自动化决策多年来一直在侵蚀这一假设，而自主型人工智能则消除了其残余。 　　自主AI改变了控制框架需要“捕捉”的内容。主要挑战并非规模；信用模型多年来一直在加速决策，交易算法自20世纪90年代以来以毫秒级速度调整头寸，欺诈检测系统在过去十年中近乎实时地处理了数百万笔交易。行业已习惯于规模——它在模型风险框架下管理这些系统，并且总体上做得相当称职。AI代理的不同之处不在于它做出了多少决策，而在于有多少决策事先并未指定。它的输出空间并非固定。它选择自己的答案路径，调用工具，并且可以在批准时无人预料的方式行事。这是一种范围而非处理能力的改变，这也是现有控制框架感到挣扎的原因。我们无法用人类速度的治理来管理机器速度的风险。 　　模型只能在你们预料的方面出错。而智能体可以在无人列举的方面出错，在任何人看到模式之前，这种情况会重复成千上万次。然后，这些错误就被规模化生产了。