难缠的AI病（bìng）毒使人工（gōng）智能失控

一辆正常（cháng）行驶的自（zì）动（dòng）驾（jià）驶汽车，突然驶入了逆（nì）行车（chē）道；胸（xiōng）前贴一款特殊贴纸，犹如披上隐（yǐn）形斗篷，在监控系统中成功遁形；戴（dài）上一幅（fú）特制眼（yǎn）镜，轻松骗过人脸识（shí）别系（xì）统后，用别人的手机也可实（shí）现刷脸（liǎn）解锁或刷脸支付……

   小心，这可能是遇（yù）上了难缠的AI病毒（dú）！

   近日，清华大学人工智能研究（jiū）院（yuàn）孵（fū）化（huà）企（qǐ）业推（tuī）出了针（zhēn）对人工智（zhì）能（néng）算法模（mó）型本身安全的（de）RealSafe安全平台，据介绍（shào），该平台可快（kuài）速（sù）缓解对抗样本的攻（gōng）击威（wēi）胁。

   人工智能感（gǎn）染的是什么病毒？其安（ān）全问（wèn）题有哪些特点？人工智能时代，杀毒软件如何修（xiū）炼才能化作身怀绝（jué）技（jì）的病毒猎手？

   是敌又是友 对抗样本戴着双重面具（jù）

   RealSafe人工智能安全平台（tái），是针对（duì）AI在极端和对抗环境下的（de）算（suàn）法安（ān）全性检测与（yǔ）加固的（de）工具平台，包括模型安全测评、防（fáng）御解（jiě）决方案两大功能模块。平台（tái）内置（zhì）AI对（duì）抗攻防算法（fǎ），提供（gòng）从（cóng）安全测评到防御加固（gù）整体解决方案。

   北京理（lǐ）工大学计算机网（wǎng）络及对（duì）抗技术研究所所长闫怀志接受科技日报记者采访时表（biǎo）示，上述平台目前侧重于模（mó）型和算法安全（quán）性（xìng）检测与加固，可以（yǐ）说是人工智能（néng）算法的（de）病毒查（chá）杀工具。

   闫怀志（zhì）说，针对人工智能系（xì）统实施对抗样（yàng）本攻击的这（zhè）类恶（è）意代码，常被称为（wéi）“AI病毒”。对抗样本（běn）是（shì）指在数（shù）据（jù）集中通过（guò）故意添加细微的干扰所形（xíng）成的（de）输入样本，会导致（zhì）模型（xíng）以高置信度给出一个错误的输（shū）出。

   “其实在实验室中，使用对抗样本可（kě）以检（jiǎn）测许多（duō）训练（liàn）学习类人工（gōng）智能方（fāng）法的分类有效性，也可以利用对抗样本来进（jìn）行对抗训练，以提升人工（gōng）智（zhì）能系统的分类有效性。”闫怀志告诉科技日报记者。也就是（shì）说，对（duì）抗样本可以看成是训练人工智能的一种手段。

   “但是在现实世界，攻（gōng）击者可以利用（yòng）对抗（kàng）样（yàng）本来实施（shī）针（zhēn）对AI系统的攻（gōng）击（jī）和（hé）恶意侵扰，从而演变成令人头疼的‘AI病毒’。”闫怀志表示（shì），对抗样（yàng）本攻击可逃避检测，例如在生（shēng）物特征识别应用场景中，对抗样（yàng）本攻击可欺骗（piàn）基于人工智（zhì）能技（jì）术的身份（fèn）鉴别、活体（tǐ）检测系统。2019年（nián）4月，比利时（shí）鲁（lǔ）汶（wèn）大学（xué）研究人员发现，借助（zhù）一张（zhāng）设计（jì）的（de）打印图案（àn）就可以避开（kāi）人工（gōng）智能视频监（jiān）控系统。

   在现实世界（jiè）中，很多（duō）AI系（xì）统在对抗样本攻（gōng）击面前不堪一击（jī）。闫（yán）怀志介（jiè）绍，一方面，这是由于AI系统重应用、轻（qīng）安全的现象（xiàng）普（pǔ）遍（biàn）存在，很多AI系统（tǒng）根本没有考虑对抗样（yàng）本攻击问题；另（lìng）一方面，虽然有些AI系统经过了对抗训练，但（dàn）由于对（duì）抗样（yàng）本不完备、AI算法（fǎ）欠成熟（shú）等诸多缺陷，在对抗样本恶意攻击面前，也毫无招架之力（lì）。

   对训练数（shù）据（jù）投（tóu）毒 与传统网络攻击存在明显不同（tóng）

   360公司董事（shì）长兼（jiān）CEO周鸿祎（yī）曾（céng）表示，人工智能是大数据训练出来的，训练（liàn）的数据可以被（bèi）污染（rǎn），也叫（jiào）“数据（jù）投毒（dú）”——通过在训练数据里加入伪（wěi）装数据、恶（è）意样本（běn）等（děng）破坏数据的完（wán）整性，进而导致训练的算法模型决策出现偏差。

   中国（guó）信（xìn）息通信研究院安全研究（jiū）所发布的《人（rén）工智能（néng）数据安全白皮书（2019年）》（以下简称白（bái）皮书）也提到了这一点。白（bái）皮（pí）书指出，人工智能自身面临的数据安全风险包括（kuò）：训练数据（jù）污染导致人工智（zhì）能决（jué）策（cè）错误；运行阶段（duàn）的数据异常导致智能（néng）系统运行错（cuò）误（如对抗样本攻击）；模型（xíng）窃取攻（gōng）击对算法模（mó）型的（de）数据进行逆向还原等。

   值得（dé）警惕的（de）是，随着人工智（zhì）能与实体经济深度（dù）融合，医疗、交通、金融等行业对于数据集建设的迫切需求，使得在训练样本环节发动网络（luò）攻击成为最直接（jiē）有效的方法，潜在危害巨（jù）大。比如在军事领域，通过信息伪装的方式可诱导自主性武（wǔ）器启动或攻击（jī），带来毁（huǐ）灭（miè）性风险。

   白（bái）皮书（shū）还（hái）提到（dào），人工智（zhì）能算法模型主要反映的是数（shù）据关联（lián）性和（hé）其特征统计，没有真正获（huò）取数（shù）据之间的因（yīn）果（guǒ）关（guān）系。所（suǒ）以，针对算（suàn）法模型（xíng）这一缺陷，对抗样本通过对数据输入样例（lì），添加难以察觉的扰动，使算法模型（xíng）输出错误结果。

   如（rú）此一来，发生文（wén）章开头所谈（tán）到（dào）的一类事（shì）故就（jiù）不足为奇了（le）。

   此外（wài），模型窃取攻击也值得注意。由于算法模型在部署应用中需要将公共访问接口发布给用户（hù）使用，攻（gōng）击者就可以通过公（gōng）共访问接口对算法模型进行黑盒（hé）访问，并且在没（méi）有（yǒu）算法模（mó）型任何先验知（zhī）识（训练数（shù）据、模型参数等）的情况下，构造出与目（mù）标（biāo）模型相似度非常（cháng）高的模型，实现对算法（fǎ）模型的窃取。

   闫怀志（zhì）在采（cǎi）访中表示，AI安全更突出（chū）功（gōng）能安全问题（safety），这（zhè）通常（cháng）是指人工智能系统被恶意（yì）数据（jù）（比如对抗样（yàng）本数据）所欺骗，从而导致AI输（shū）出与预期不（bú）符乃至（zhì）产生危害性的结果。“AI功能安全问题与传统的网络安全强调的保（bǎo）密（mì）性、完整性、可用性等信息安全问题（security），存在（zài）本质不同。”

   预（yù）防“中毒”困难重重 AI技术也（yě）可构筑（zhù）网络安全利器

   闫怀志表示，目前种（zhǒng）种原因导致了预（yù）防人工智能“中毒”困难重重（chóng），原因具体（tǐ）表现在（zài）三个方（fāng）面（miàn）。

   一是很（hěn）多（duō）AI研发者（zhě）和用（yòng）户（hù）并没有（yǒu）意识到（dào）AI病毒（dú）的（de）巨（jù）大风险和危（wēi）害，重视并（bìng）解决AI病毒问题（tí）根本（běn）无从（cóng）谈起；二（èr）是由于（yú）AI正处于高速发展（zhǎn）阶段，很多AI研发者和生产（chǎn）商“萝卜（bo）快了不（bú）洗泥”，根本无暇（xiá）顾及安全问题，导致带有（yǒu）先天安全（quán）缺（quē）陷的AI系统大量涌入应用市场（chǎng）；三（sān）是（shì）部分（fèn）AI研发者和供（gòng）应商虽然意（yì）识到了AI病毒问题，但由于技（jì）术能力不足，针对该（gāi）问题并（bìng）无有效的解决办法。

   “当然，网络安全本（běn）来就是一个高（gāo）度（dù）对抗、动态发展的（de）领域，这（zhè）也（yě）给杀毒软件领（lǐng）域开辟了一个蓝海市场，AI杀（shā）毒行业面临（lín）着重大的（de）发展机遇。”闫怀志强调，杀毒软件行（háng）业首先应（yīng）该具有防范AI病（bìng）毒的意识，然后在软件技术和算法安全（quán）方面重视信息安全和功能安全问题。

   “以现实需求为牵引，以高新技术来推动，有可能将AI病毒查杀这个（gè）严峻挑战转变为杀毒（dú）软件行业（yè）发展的重大契机。”闫（yán）怀志强调，AI技（jì）术既会带来网（wǎng）络安全问（wèn）题，也可以赋能（néng）网络安全。

   一（yī）方面，人（rén）工（gōng）智能（néng）的广泛应用带来了许多安全风险。由技术性（xìng）缺陷导致的AI算法（fǎ）安全风险，包括可导致AI系统被攻击者控（kòng）制的信息安全问题；也可（kě）导（dǎo）致AI系统（tǒng）输（shū）出结果被（bèi）攻击者任意控（kòng）制（zhì）的（de）功能（néng）安全问（wèn）题。

   但另一方面（miàn），人工智能技术（shù）也可以（yǐ）成为构筑网络空间安（ān）全的利（lì）器，这主要体（tǐ）现在主（zhǔ）动防御、威胁分析、策（cè）略生（shēng）成、态势感知、攻防（fáng）对抗等诸多方面（miàn）。“包括采（cǎi）用人工神经网络技术（shù）来（lái）检测入侵（qīn）行为、蠕虫病毒等安全风（fēng）险（xiǎn）源；采用专家系统技术（shù）进行安全（quán）规划、安（ān）全运行中心管理等；此外，人工智（zhì）能（néng）方法还有助于网络空间（jiān）安全（quán）环（huán）境（jìng）的治理，比如打击网（wǎng）络（luò）诈骗。”闫（yán）怀志说。

   中国信息通信研究院安全研（yán）究所的专家称，为有效管控人工（gōng）智能安全（quán）风险并积极促进（jìn）人工智能技术在安全领域应用，可从法规政策、标准规（guī）范、技术手段（duàn）、安全评估、人才队伍、可控（kòng）生态等方面（miàn）构建人工智能安全管理（lǐ）体系。