第8课 人工智能安全 课件 2023——2024学年浙教版（2023）初中信息技术九年级全册

信息科技 九年级上册 浙江教育出版社（2023） 目录 学习目标 01 新知学习 02 课后小结 03 练习一下 04 学习目标 01 通过分析人工智能与安全的辩证关系，能理解人工智能既能赋能安全，又会伴生安全问题； 通过学习人工智能内生安全的内容，认识到人工智能系统的设计、制造和使用等环节须在法律法规、国家政策、伦理道德、标准规范的约束下进行。 新知学习 02 我们熟悉的语音识别或图像识别在应用中存在哪些安全隐患？ 人工智能会不会是隐私的泄密者？为什么？ 人工智能技术具有安全赋能和安全伴生两大效应。所谓安全赋能是指人工智能为保障网络空间安全、提升经济社会风险防控能力等方面提供了新手段和新途径。所谓安全伴生是指当人工智能发展到一定阶段后，在不断的应用中发现新的安全问题伴生而来，其安全性将受到更严峻的挑战。 人工智能安全 更聪明 更网络化 一、人工智能助力安全 更仿生 二、人工智能内生安全 三、人工智能安全发展 一、人工智能助力安全 在公共安全领域，人工智能依托其强大的数据分析和自主学习能力，可以充分挖掘数据价值，预测预警经济社会运行中可能存在的潜在风险，在智能安防监控、恶意代码检测、垃圾邮件检测、用户实体行为分析等方面发挥助力安全的作用。 1.智能安防监控 安防监控涉及的人工智能技术有智能视频监控、体态识别与行为预测和智能安防机器人等技术。 智能视频监控能够将人的各种属性进行关联分析与数据挖掘，实现安防监管的实时响应与预警。以往的监控摄像头把图像、视频数据传输到服务端后再由服务端进行特定处理，近年来安防行业越来越多的数据和计算从云中心迁移到摄像头、传感器等“边缘”位置，用以节省带宽、提升服务响应速度与可靠性。基于边缘计算的人脸识别摄像头能够直接在本地设备上完成识别得到相关数据 深山矿井、远海航船等网络难以覆盖的地方，搭载边缘计算的视频监控系统能够实时处理数据，及时做出响应，确保安全。 2.垃圾邮件检测 人工智能技术发展的初期，使用规则对垃圾邮件进行检测。在垃圾邮件的检测中，当邮件中出现事先指定的_ 些可能属于垃圾邮件的词语时，这封邮件很可能就是垃圾邮件，当邮件里出现网址时，也可能是垃圾邮件。但随着规则越来越多，这样的检测系统也变得越来越复杂。机器学习算法可以自动地从数据的某些特征中学习它们之间的关系，并且通过对数据的不断学习，提升垃圾邮件检测的能力和性能。 体验使用贝叶斯分类器算法进行垃圾邮件判定。 二、人工智能内生安全 人工智能可以助力安全，但人工智能系统涉及数据、框架、算法、模型、运行等多个复杂环节，这些环节都可能导致人工智能系统内 的安全问题。 1.数据安全 数据是人工智能的重要基础。数据集的质量会直接影响人工智能算法的执行效果。使用不同质量的数据集会在训练之后得到不同的模型参数，产生不同的执行效果，进而影人工智能算法的安全性。 数据集的质量取决于数据集的规模、均衡性、准确性等。人为地对数据进行修改在很大程度上能改变人工智能算法的执行效果。即便是已经用高质量数据集训练完毕的人工智能算法模型，只要对输入的数据进行一些人眼无法感知的微小扰动，即可让算法的输出产生巨大的变化，这些经过微小扰动的输入数据就是对抗样本。图8-1显示了对抗样本及其错误辨识的结果。 如果恶意使用对抗样本，可以欺骗自动驾驶汽车，使其不能正确识别道路停车标志，从而引发事故；可以欺骗语音识别系统，让系统误认为是“主人语音”而执行虚假命令；可以入侵城市交通系统甚至武器系统。这种通过对抗样本对智能系统发起的欺骗被称为“对抗性攻击”。 体验“对抗样本”对人工智能模型可靠性的影响。实践内容如下： 1.准备原始图片数据和添加噪声后的图片数据。 2.在Keras上使用RexNel分类模型。 3.查看实验结果并分析。 2.算法安全 如果想保证算法的完全正确，需要从理论上对算法进行证 证明算法在任何情况下都能产生正确的结果。 深度神经网络在很多领域能取得远超传统算法的准确率，但缺乏可解释性。针对不同任务需要多少隐藏层，每个隐藏层抽取了何种特征还未能完全说明。在一些对准确率要求高、可解释性要求强的场景中，神经网络造成的失误会产生巨大影响。人工智能算法可以借助海量数据进行自我学习和进化，可以在无人干预下自主处理问题，这也使得人工智能的行为和决策难以被事先预料和干预，从而增加安全风险。 3.模型安全 人工智能算法往往需要训练大量的模型参数，经过训练之后生成的模型一般以实体文件的形式保存在服务器。如果攻击者攻击了云端服务器，利用服务器漏洞