探索平台

您如何检查过于复杂和不透明的东西，甚至他们的设计师也不了解它们是如何工作的?

最近，我的同事Shane Mueller和我有机会做到这一点.这篇文章将我们的项目描述为一个案例研究，并希望作为可以在不同环境中使用的想法的来源.

发生了什么事.我和Shane以及我们小组的第三位成员Robert Hoffman一直在进行DARPA(国防高级研究计划局)计划，该计划称为可解释人工智能(XAI).我已经在
较早的帖子
. XAI计划安排了11个国际AI专家小组，他们一直在努力使人们更容易使用系统来理解系统如何得出建议和决策.这很棘手. AI系统的设计人员无法完全理解其输出，因为系统依赖于机器学习，这意味着它们吸收了成千上万个(有时是数百万个)示例，并对其进行自我调整以消化这些示例，但是调优对于用户来说是不可见的.设计师.

我正在与BBN/Raytheon项目的负责人之一比尔·弗格森(Bill Ferguson)讨论这个问题. Bill试图找出图像类型和他的AI系统可以很好解决的问题，以及失败的类型.因此，他浏览了自己的数据库并确定了三个经验法则.一旦Bill向使用他的AI系统的人们介绍了这些经验法则，这些用户就可以改善他们的性能.

当我听说这件事时，我想我可以使用Bill的方法和他的数据库，并将其应用于其他AI系统.我将拥有一个Discovery Platform，这是进行AI系统发现的基础.这似乎很简单，一条通往成功的明确道路.

除了这是一个坏主意. Bill不喜欢他正在使用的数据库和界面.它旨在分析​​性能数据，而不是进行发现.因此，比尔的系统就是
不是
而不是探索平台的原型.

但是这个坏主意也是一个机会.了解Bill系统的某些局限性使我们有机会设计出我们认为更好的产品.可以帮助设计人员和用户更好地了解特定系统的工作原理，失败之处，失败原因，甚至可能是解决该失败的解决方法.

与Ferguson的访谈记录了Discovery平台所需的一些功能:

社区和模式
.比尔想研究共同点以发现一般主题. “嗯，我的AI系统正在正确解决位置问题"哦，我知道，它依赖于额外的提示，例如厨房通常配有水槽，冰箱，火炉.

例外
.它必须使查找异常，异常和离群值以及显示实际图像更加容易，以便设计人员也许可以注意到一些重要的内容.

失败
.这样应该可以很容易地排除故障-在用户弄错的情况下，以便设计人员可以诊断出这些故障的原因；例如，“我注意到大多数/所有这些照片中的关键对象都被遮盖了".

对比度.
这些情况可能是AI系统通常无法正确执行的原因-例如，Ferguson研究了贴错标签的足球照片(他的AI通常将其钉上钉子)，并注意到它们都是室内足球比赛.您还可以将AI成功的案例与AI失败的案例进行对比.比尔希望有更好的方法来轻松地建立对比.

困惑.
比尔希望能够看待混乱程度很高的人，因为那里可能正在酝酿着某些事情.

制图表达和实例.
缩图.显示照片而不是隐藏照片.弗格森需要研究个人照片.

正在运行.
Bill希望轻松地在统计视图和特定实例之间来回穿梭.

这一切似乎都太复杂了，无法实现，但这是我喜欢与Shane合作的原因之一.很快，Shane建立了执行这些操作的系统.当我们向比尔·弗格森(Bill Ferguson)和他的同事们展示它时，他们感到“粘".那是因为他们很难停止尝试它并尝试新事物.他们很难不使用它进行发现.

您可以观看YouTube视频
这里
.

您还可以访问系统本身，并进行操作[obereed.net:3838/mnist/].而且代码是开源的，因此，如果您是要在自己的分类系统上使用它的AI开发人员，则可以下载它
这里
.

我希望，发现平台的原理可以在AI系统之外更广泛地应用，以支持其他情况下的投机思维和探索.

确认和免责声明:该材料已批准公开发布.发行是无限的.本资料是根据美国空军研究实验室(AFRL，FA8650-17-2-7711协议)赞助的研究得出的.此处包含的观点和结论为作者的观点和结论，不应解释为必然代表官方政策或认可， AFRL或美国政府的明示或暗示.