（要闻）算法界上演“猫鼠游戏”连续剧

本篇文章1679字，读完约4分钟

图片来自网络今日观点

医疗手术，无人驾驶，围棋游戏，翻译触手可及...近十年来，人工智能(ai)取得了长足的进步。这是由于人工神经网络的发展。

这种模仿我们人脑的神经网络模型，在大规模应用中也被称为深度学习。它可以自己发现数据模型，而无需显式指令。

深度学习在大数据培训中可以学到正确的工作方法，但也容易受到恶意干扰。攻击者通常通过输入恶意数据来欺骗深度学习模型，导致严重失败。

面对恶意算法欺骗，人工智能如何反击？几天前，《自然》在线版报道说，计算机科学家现在正在寻找对策，使人工智能更加安全。

艾:我受伤是因为“学习”

“学习”是人工智能的核心，是使计算机智能化的根本途径。

深度学习的主要目的是让计算机模拟或实现人类的学习行为，从而获得新的知识或技能，重组现有的知识结构，从而不断提高自身的性能。

但与此同时，深度学习算法的不可预测性使得不断挖掘成为必要。

对于家用和个人手机来说，虚拟智能助手的应用越普遍，随时发生恶意攻击的可能性就越大。有些信息看得见，听得见，没有问题，但却能“隐藏陷阱”——隐藏劫持装备的指令。

比如人工智能“看”图像的模式和人类肉眼的模式有很大的不同。通过巧妙地改变图像的某些部分，重新输入的图像看起来非常不同，即使肉眼看起来完全相同。这叫对抗性例子。

除了图像，声音也有同样的问题。只要修改一个语音段，人工智能就可能被修改成完全不同的语音命令。

你可以不偷偷摸摸地抓住攻击者

然而，在不久前举行的国际学习表征会议(iclr)上，伊利诺伊大学厄巴纳-香槟分校的计算机科学家提出了一种对抗攻击的方法。

他们编写的算法可以转录完整的音频以及单个片段。如果转录的单个片段与完整音频中的对应部分不完全匹配，算法会立即用小红旗标记，表示音频样本可能受到了攻击。

在攻击测试中，面对几种不同类型的修改，算法几乎检测到异常情况。另外，即使攻击者已经知道了防御系统的存在，在大多数情况下还是会被抓。

这个算法有惊人的稳定性。谷歌大脑团队的科学家尼古拉斯·卡利尼(Nicholas Carlini)评论说，谷歌最吸引人的特征在于“简单”。会上其他专家认为，随着对抗性攻击越来越普遍，谷歌助手、亚马逊、苹果等服务应该应用这种防御体系。

但是，在攻防之间，注定是一场持久的“能抓我就抓我”。卡里尼说:“我毫不怀疑有人已经在研究如何攻击这个防御系统了。”

提前运动，免疫攻击

一些研究团队正在采取不同的方法。

就在本周，澳大利亚联邦科学与工业研究组织下属的团队公布了一套算法，通过模仿接种疫苗的想法，帮助人工智能“培养”抗干扰能力。

所谓“疫苗算法”，是指在识别图片时，可以对图片集稍加修改或扭曲，从而刺激学习模型“掌握”更强的抗干扰能力，形成相关的自抗干扰训练模型。经过这样的小规模失真训练，最终的抗干扰训练模型将更加强大，当真正的攻击到来时，机器学习模型将具有“免疫”的功能。

这其实是专门为深度学习模式做的培训。因为它会“学”，也会学会改正错误。

邮件过滤:效果不理想

邮件过滤真的很努力了，但是效果并不理想。

这是因为防守和进攻总是齐头并进的。随着越来越多的漏洞被检测到，人工智能拥有了更多的防御能力，恶意攻击也在不断高级化。

在4月份举行的美国系统和机器学习会议(sysml)上，奥斯汀得克萨斯大学的计算机科学家揭示了机器学习算法文本理解中的漏洞。

有人认为文本不容易被攻击，因为恶意欺骗可以微调图像或声音波形，但是改变任何文本都会被检测到。但是科学家告诉我们事实并非如此。

恶意攻击会针对一些同义词，文本的含义不会改变，但深度学习算法可能因此误判——垃圾邮件变得安全，假新闻被合法推送。

科学家们展示了一个恶意攻击程序，它甚至可以检测出文本分类器在判断是否恶意时最依赖的单词。然后，它挑出关键词的同义词，替换它们，并迅速开始测试下一个关键词。在该算法的攻击下，滤波器的精度急剧下降。

然而，公开这些手段是否能提高防御能力或强化攻击手段仍有争议。此前，一些人工智能实验室拒绝披露攻击算法，担心它会被滥用。

(《科技日报》，北京，7月2日)