4G门户网
防范AI黑客“教坏”机器人南京学者论文入选国际人工智能顶级盛会
发布时间: 2021-01-02

防范AI黑客“教坏”机器人

南京学者论文入选国际人工智能顶级盛会,可提升机器自主学习的安全性 

南报网讯 (记者 查金忠) 众所周知,“机器学习”是系统自动从“数据”中学习规律,并利用规律对未知数据进行预测。可是,如果学习过程被“劫持”,轻则使系统“懵圈”,重则出现财丢人亡的悲剧。南京学者的一篇论文指出了这种可能性的具体实现路径,并于4日入选国际人工智能领域的顶级盛会“NeurIPS 2019”论文名单。 

这篇论文的题目是“深度困惑:一种利用自编码器生成恶意训练样本的方法”。论文的三位作者分别是创新工场南京国际人工智能研究院执行院长冯霁、该院研究员蔡其志和南京大学人工智能学院院长周志华。 

NeurIPS,全称是“神经信息处理系统大会”,被誉为人工智能学术领域的“华山论剑”,自1987年诞生至今已有32年的历史,其“顶会”——顶级学术交流会议中首次发表的论文,也向来备受学术界和产业界的关注。 

“目前,AI安全事件还不像传统计算机系统的病毒一样普遍,但是有理由相信,随着时间的推移,未来会变得很多。”冯霁说,这篇论文就在这一背景下产生。论文设计了一种自编码器神经网络DeepConfuse,它可以产生“有毒数据”,破坏深度学习过程,使整个过程“走歪”。 

举例来说,假如一家从事机器人视觉技术开发的公司希望训练机器人识别现实场景中的器物、人员、车辆等,却不慎被入侵者“数据下毒”,这样训练出来的深度学习模型在泛化能力上会大幅退化,驱动的机器人在真实场景中会彻底“懵圈”,陷入什么也认不出的尴尬境地。 

更有甚者,攻击者还可以精心调整“下毒”数据,使训练出来的机器人视觉模型“故意认错”某些东西,比如将障碍认成是通路,或将危险场景标记成安全场景等。这甚至会使人工智能的使用者面临生命危险。 

“对数据‘下毒’技术的研究并不单单是为了揭示类似的AI入侵或攻击技术对系统安全的威胁,更重要的是,只有深入研究相关的入侵或攻击技术,才能有针对性地制定防范‘AI黑客’的完善方案。”创新工场CTO、人工智能工程院执行院长王咏刚说,随着AI算法、AI系统在国计民生相关的领域逐渐得到普及与推广,科研人员必须透彻地掌握AI安全攻防的前沿技术,并有针对性地为自动驾驶、AI辅助医疗、AI辅助投资等涉及生命安全、财富安全的领域研发最有效的防护手段。

最新推荐
  浙江大学杭州国际科创中心首期开园 袁...
  专访丨中美贸易战下,大湾区要更开放地...
  国际 | 美众议院司法委员会投票通过...
  全新RC上市 新GS中国首秀 ...
  飞马国际股票遭“强平” 市值半年蒸发...
  国际组织代表看好海南自贸区发展机遇
  中式滋补首超国际保健品:鲜炖燕窝为啥...
  海南岛国际电影节探索更多商业模式 市...
精选推荐
  《最强大脑》队长之战 赢家组队对战国...
  国际 |《时代》杂志2019年度人物...
  腾讯与菲克中国达成战略合作,致力于打...
  第22届上海国际电影节窥见下半年电影...
  国际·一周看天下(7月13日-19日...
  人到苏州才无忧,2019年(第十一届...
  无足额资金偿还募集资金,腾邦国际资产...
  易观国际:2016年Q1中国网上零售...

Copyright © 2012-2021(news.dixingzhe.com) 版权所有 Powered by 万站群

本站部份内容来源自网络,文字、素材、图片版权属于原作者,本站转载素材仅供大家欣赏和分享,切勿做为商业目的使用。

如果侵害了您的合法权益,请您及时与我们,我们会在第一时间删除相关内容!