把同一个请求换个说法，语言模型就可能给出完全不同的回答。据 QuantPi 项目团队介绍，这是测试生成式人工智能时最常见的问题。研究人员搭建了一个平台，能自动生成测试，发现不稳定和偏见，并为审计人员生成文档。他们还在一个推荐求职者的系统上做了尝试——文末你可以测一测自己有多信任人工智能的回答。
生成式人工智能越来越多地用于评估求职者、服务客户和辅助商业决策。它最大的优势是速度。但它有一个容易被忽视的弱点：问题措辞、语言或语境稍有变化，它的反应就可能截然不同。对企业来说，这意味着一项双重任务。它们既要发现这类异常，也需要文档来证明风险已经过测试并处于可控状态。
由欧洲创新委员会支持的 QuantPi 项目着手解决这个问题。它推出了一个围绕 PiCrystal 技术构建的生成式人工智能风险管理平台。该工具自动生成测试套件，检查模型的行为，并把结果转化为可用于审计、并与欧盟《人工智能法案》要求相对应的文档。平台从三个角度审视系统：输出不稳定、偏见，以及能否提供可在审计中出示的证据。
这类测试中最常发现什么问题？QuantPi 政策与资助负责人卢卡斯·比林格（Lukas Bieringer）毫不绕弯地回答：“通常是在输入出现现实中的变化时表现不一致或不稳定——同一类提示，会因措辞、语言或语境不同而产生实质上不同的输出。”
在实践中，一个系统可能顺利通过简单的基准测试，却在遇到真实用户时出问题，因为这些用户按自己的方式表达需求。直到这时，偏见和群体之间的不平等才会显现出来，而这些差异在平均结果中是看不到的。
团队在一个具体案例上验证了这一点。他们评估了一个基于大语言模型的候选人推荐系统，合作伙伴是招聘平台 Stepstone 和人工智能保障实验室 TÜV AI.Lab。这一结论对任何简历可能进入此类系统的人都很重要。测试招聘中使用的人工智能工具，需要规模大且具有代表性的数据集。只有这样才能进行交叉性测试，检查不同群体相互重叠的特征。平均化在这里就像一道帘子：它遮住了系统对各个细分群体的处理方式中的重要差异。
QuantPi 的第二个想法，是把证据层与展示层分开。这源于一个简单的观察：公司里不同的人，对同一个系统需要不同的信息。
为了避免这些视角彼此脱节，有一条规则。比林格解释说：“关键的设计原则是：所有视角都必须来自同一个统计证据基础，这样董事会层面的任何表述都能追溯到具体的测试结果。”
自动化并不意味着人的判断变得多余。由人来界定系统的用途，选择适用哪种公平或安全的定义，设定接受阈值，并决定是部署、推迟还是撤回某个工具。角色分工很明确：平台衡量风险，负责任的人决定可以接受到什么程度。
只做一次的测试也不可能管用到永远。每当情况发生变化，就要启动监测：模型更新后、提示词修订后，或出现新的检索索引后。输入漂移、输出漂移和规则变化同样需要重新评估，因为其中任何一项都可能使先前的结果失效。
据比林格说，对许多公司而言，最大的障碍已不再是对规则的了解。他坦率地说：“他们做不到的是，拿出经得起认证机构或审计人员检验的技术合规证据——尤其是对生成式系统而言，传统的基准报告不够用，而且迄今缺少统一标准。”QuantPi 的平台正是为了填补这一空白，把技术测试转化为不同团队在部署前后都能使用的证据。
生成式人工智能可能很有脾气：同一个问题换种问法，可能得到完全不同的答案，而平均的测试结果也可能掩盖对特定群体的不平等对待。QuantPi 项目表明，要对这类系统做出扎实的评估，需要自动化、可重复的测试，具有代表性的数据，以及从分析师到董事会所有人共用的一个证据基础。不过，哪种风险可以接受，最终仍由人说了算。
5 个问题 · 一分钟
English
Čeština
Deutsch
Español
Français
Magyar
Italiano
Polski
Português
Русский
Slovenčina
Türkçe
Українська
العربية
中文