张格：世界各国的整个制度、标准的建设肯定会滞后于 IT 技术发展，因为 IT 技术发展速度太快了，一项法律法条很难优先于技术的发展，不管怎么前瞻，都不可能适应技术的发展趋势，世界各国都是这样的。在国内大家说国家安全，或者说网络、数据安全，它覆盖面在整个总体国家安全观里面还是要分主次的，比如说 ChatGPT 在技术领域和行业应用上面，我们肯定现在是要鼓励它去发展，鼓励它更多的应用，就像现在工信提出的两化融合，现在提出的数字经济，包括大数据应用，这些都是在鼓励行业发展的。
首先是传统我们讲的 AI 安全，特别是 AI 模型安全。它讲的是 AI 模型、以及以模型作为核心模块的系统本身的安全性问题。比如说有一个子领域，就是对抗式机器学习，研究的是模型的鲁棒性、健壮性水平。例如人脸识别，在本来不应该通过门禁审核的人脸加上一些点，带上一个有色眼镜等等，扰动之后，它就能够把这个模型的结果变成另外一个结果。比如说门禁的情况，可能原先不让我通过的，现在我做了一些脸部的粉饰，加一些装饰，或者画一些图，就让我通过了。那就体现了 AI 模型它的鲁棒性不够强，我觉得这个是学术界研究比较多的，产业界也是比较关注的。
第二个方面，是我们把 AI 用到特定的任务，然后给这个任务带来一些安全性的问题。比如说我们前面讲到 ChatGPT 或者是更早一些的 AI 应用，用来做自动代码生成，之前也有研究发现，生成的代码里面包含有挺多安全漏洞的，如果你不做检查或者有个安全保障的措施，就直接拿它生成代码，看见功能是正确的，但用到系统里面有可能会被攻击，漏洞会被利用。
第三点，在 AI 模型或者系统在使用的时候，在外围带来一些安全性问题，比如说数据隐私问题，比如说现在我们要去问 ChatGPT 一些问题，可以是自然语言问一些问题，也有可能公司内部在研发的时候要想有些代码自动生成，但是它要生成代码的时候要了解上下文，就需要把公司的代码上传到 ChatGPT 里面，那代码或者自然语言就有可能暴露一些公司或者机构比较需要保密或者隐私的信息。也就是在系统输入和推理阶段的时候，可能会带来一些安全性问题。
最后一点，在训练的时候也有可能会带来一些安全性问题，比如说像很多 AI 模型可能是需要适配或者适应具体应用场景，如果要实现更好的效果，就需要一些所谓个性化训练，需要有一些本地的数据去做微调或者再训练，这样它可以有的放矢针对你这个场景的特点，效果能够做得更好，这样的一些本地数据也可能包含一些隐私数据和需要保密的数据，这里面的隐私数据安全问题，也需要审慎的应对。当然我们经过本地部署，本地再训练也是可以的，但本地有没有足够大的算力又会引发新的问题。
张耀疆：谢谢谢教授，这四点总结得蛮全面，把 AI 的前世今生和安全相关的环节都点出来了。一个是 AI 自身的模型在设计、开发环节先天的隐患，要先考虑到。然后在成长、教育、训练过程当中可能存在的一些问题。再有就是长大成人了，进入社会了，应用了，在应用过程当中带来的一些问题，当然这个是生命周期。还有一个就是我们是不是可以利用 AI 本身作为一种强大的能力去赋能于安全，我觉得这四个方面基本上涵盖了我们能想到的方方面面。
张耀疆：张所提到的这一点是站在最高的层面，以更大的视角去看待 AI 与安全的问题。就像我们之前说网络安全就是国家安全，或者说国家必须强化网络安全一样， AI 所带来的安全问题，其实上升一下就是国家安全，甚至还包括伦理、道德一系列的，衍生出来不是一个纯粹的技术安全问题了，这也是 AI 迷惑人的地方，涉及到的领域太大了。
那我们再聚焦在传统的安全领域请教 TK，ChatGPT 或者人工智能对安全工作所带来了哪些区别？
于旸：首先我觉得 AI 的安全问题，狭义来讲，至少会包括 AI 自身的安全和用 AI 去做其他的安全这两方面，比如像 AI 的数据安全问题，包括训练中的数据安全和使用中的数据安全。这一点，刚才谢教授讲了很多。我再补充一点，还有一个就是 AI 的可解释问题，因为如果 AI 不可解释的话，其实永远不可能预测它有什么潜在的安全风险在里面。对于这一点，我是比较悲观的，因为我觉得 AI 的发展速度会超过 AI 可解释技术的发展速度，最终我们会和不可解释的 AI 共存。我们如何应对这样一个不可解释的 AI？如何与这样的 AI 共存？这可能会是一个新课题，也是必须要面对的事情。
再具体一点，具体到安全行业用 AI 做安全，现在已经能看到有很多改变了。我们实验室就已经在用 AI 技术，除了我刚才讲的，还应用在很多方面，现在行业里面也做了很多尝试，我们知道网络安全设备每天要输出大量的日志，甚至是几十万行的日志，以前需要网管去筛选去看，很多单位没有人看，或者看不懂。现在大家发现可以用 GPT 每天生成一个报告，一页报告就可以了，转换成自然语言，它告诉你今天发生了什么，哪些地方要注意，可能以前好多安全设备部署在那儿没有什么用，现在就能够用起来，可以为客户创造更多的价值。
具体到安全研究领域，相关的 AI 技术在漏洞研究，甚至在编写相关的测试代码上都可以用，虽然在很多年以前行业里就在尝试自动漏洞挖掘和自动写测试代码，但一直进展不大。今年 GPT 技术出现之后，等于给这个领域又带来一个比较大的变化，甚至还可以编写木马，编写恶意软件，还有钓鱼，包括网络诈骗、杀猪盘，因为这几种犯罪手段采取的方式就是对话，这正好是 GPT 擅长的。无论是正义的一方还是邪恶的一方，都会被 GPT 技术改变，而且邪恶的一方他们会更积极拥抱新技术，因为这个对他们的刺激非常大，以前是他一个人同时可以对几个人进行诈骗，现在一个服务器可以同时诈骗一万个人，破坏力完全不一样。
另外还有一点，范围更广义一些，可能还需要考虑 AI 技术再往后发展，几年之后的 AI，如果我刚才猜测的是对的，发生了相当于蒸汽机这种级别的变化，它必然会引起社会的重塑，一定会引起很多安全问题，有些是我们现在能想到，有些现在不一定能想到。
好，这是我们从产业界来讲，就学术这块来说，谢教授，您觉得眼下，因为刚才前面也提到了，您所研究的 AI 相关的技术，它的安全可能更多还要从它的系统、算法、工程这些方面入手。但是我不知道会不会有一些像网络安全这样的领域，将被本质性颠覆这种可能性。如果我们还是说安全相关面临着巨大的挑战和威胁，如果处理得好会怎么样，如果处理得不好会怎么样？如果说 2040 年奇点来临，要不就是强人工智能取代人，要不就是人找到很好的方法，顺利平滑过渡了。是不是对我们的学术研究来讲，一个革命性的技术从安全角度也会有这么一个分水岭呢？
张耀疆：在我们学术界研究，会不会还会想到类似终极性的问题？现在还是一个技术问题，但是 AI 本身因为太强大了，它未来也会更加强大，强大到我们经常会问 “AI 会不会拥有智慧” 或者怎么样。刚才你也提到了，攻击方会利用它越来越大，防御方会很相对被动，会更担心一些。但是会不会有一天，我们突然发现其实攻击方攻击已经不单纯是利用 AI 的人了。比如黑灰产本身就是一个完全智能化的网络体系，谁都不知道背后谁是 BOSS，甚至这个 BOSS 是不是一个人都不可知。我不知道我们在研究这一块的时候，会不会前瞻到这个程度？
谢涛：这取决于给这个 AI 系统的自主性有多强，像很多年前已经讨论或者研究一个代理，就是这些事就让它去干了，不是在一个小环节上让它帮助我，而是整个事情全都代理。假如说去做攻击的时候，可能会有一种失控的效果。有可能设计这么一个代理的时候没有想着它会干这么坏的事，可能获取一些钱财就好了，但因为人类给它设的所谓激励函数，它就基于这个作为作为追求的目标，但是你在给它设置一些规则或者是加的禁区不够的时候，它可能就干出一些威慑到人身安全的事情，这不是犯罪人员的本意，但是你给了它自主权，它有可能会出现失控的情况，我觉得是需要担忧的。
图片附件: 1.jpg (2023-5-22 17:09, 61.82 KB) / 该附件被下载次数 32