人工智能的圣杯是建立真正理解人类语言并能从复杂细致的段落中解读意义的机器。但是，任何试图与像Siri这样的虚拟助手进行对话的人都知道当前的计算机还有很长的路要走。
马里兰大学的研究人员表示，他们正在将人工智能(AI)目标与一个由1,200多个人工智能问题组成的新数据集的开发联系起来，这些问题全部由人和计算机协同工作产生。他们的工作发表在“ 计算语言学协会交易 ”期刊上。
UMD计算机科学副教授，该论文的高级作者Jordan Boyd-Graber说：
“大多数回答问题的计算机系统都没有解释他们为什么回答他们的做法，但我们的工作有助于我们了解计算机实际理解的内容。[...]此外，我们已经制作了一个数据集，用于在计算机上进行测试，这些数据集将揭示计算机语言系统是否实际上正在阅读并进行人类能够进行的相同类型的处理。“
目前大多数改进问答程序的工作都是使用人类作者或计算机来产生问题。这些方法的固有挑战是，当人们写问题时，他们不知道他们的问题的哪些具体要素会混淆计算机。当计算机写出问题时，他们要么写出公式化，填写空白问题，要么犯错误，有时会产生废话。
为了开发人类和计算机一起产生问题的新方法，Boyd-Graber和他的团队创建了一个计算机界面，揭示了计算机“思考”作为人类作家的问题。然后，作者可以编辑他或她的问题以利用计算机的弱点。
在新界面中，当人类作者键入问题时，计算机的猜测将按正确顺序排列在屏幕上。并且强调了导致计算机猜测的词语。
例如，如果作者写道“海顿的主题是什么作曲家的变奏是受卡尔·费迪南德·波尔的启发?”并且系统正确地回答“约翰内斯·勃拉姆斯”，界面突出显示“费迪南德波尔”这个词来表明这句话引领了它回答。使用该信息，作者可以编辑问题，使计算机更难以改变问题的含义。在这个例子中，作者取代了鼓舞勃拉姆斯的人的名字，“Karl Ferdinand Pohl”，描述了他的工作，“维也纳Musikverein的档案保管员”，并且计算机无法正确回答。但是，人类专家仍然可以轻松正确地回答编辑过的问题。
然后研究人员使用他们通过这种方法开发的1,213个问题，在计算机上与经验丰富的人类玩家进行竞争 - 从初级校队高中琐事队到“危险!”冠军。即使是最弱的人类团队也击败了最强大的计算机系统。
UMD计算机科学研究生，该论文的共同作者石峰说：
“三四年来，人们已经意识到计算机问答系统非常脆弱，很容易被愚弄。[...]但这是我们意识到的第一篇真正使用机器来帮助人类打破模型的论文。“
研究人员表示，这些问题不仅可以作为计算机科学家的新数据集，更好地了解自然语言处理失败的地方，还可以作为开发改进的机器学习算法的训练数据集。这些问题揭示了六种不同语言现象，这些现象一直困扰着计
这六种现象分为两类。第一类是语言现象：释义(例如说“从悬崖跳跃”而不是“从悬崖跳跃”)，分散注意力的语言或意外的背景(例如提及出现在关于某些无关内容的线索中的政治人物政治)。第二类包括推理技巧：需要逻辑和计算的线索，问题中元素的心理三角测量，或组合多个步骤以形成结论。
“人类可以更多地概括并看到更深层次的联系，”Boyd-Graber说。“他们没有无限的计算机记忆，但他们仍然有能力看到森林中的树木。对计算机存在的问题进行编目有助于我们理解我们需要解决的问题，这样我们就可以让计算机开始通过树木看到森林并以人类的方式回答问题。“
在此之前还有很长的路要走还有博伊德格拉伯，他还在马里兰大学高级计算机研究所(UMIACS)以及UMD的信息研究和语言科学中心共同任命。但这项工作提供了一个令人兴奋的新工具，帮助计算机科学家实现这一目
“本文正在制定未来几年的研究议程，以便我们能够让计算机更好地回答问题，”他说。