第8课 人工智能安全-教学课件 2024—2025学年浙教版（2023）初中信息技术九年级全册

第8课 人工智能安全 年 级：九年级 学 科：初中信息科技（浙教版） 更安全了？ 更危险了？ 2 更安全了！ 人工智能助力安全 智能安防监控 视频：人工智能助力安全-安防监控 智能视频监控能够将人的各种属性进行关联分析和数据挖掘，实现安防监管的实时响应与预警。 基于边缘计算的人脸识别摄像头能够直接在本地设备上完成识别，得到相关数据。 你知道邮箱中垃圾邮件是怎么判定的吗？ 自学教材“垃圾邮件检测”部分的内容 思考：邮箱中的垃圾邮件是怎么判定的？ 垃圾邮件检测 你知道邮箱中垃圾邮件是怎么判定的吗？ 机器学习算法 可能属于垃圾邮件的词语 网址 活动1：“垃圾邮件攻防” 体验使用贝叶斯分类器算法进行垃圾邮件判定。 跟着步骤实践，完成任务单【学习任务一】的内容。 目的 体验使用贝叶斯分类器算法进行垃圾邮件判定 要求 1.根据步骤进行体验： ①运行“活动1：垃圾邮件识别器”文件夹中的“email.py” ②根据提示，选择输入相应的数字。 2.至少选择三个邮件进行识别，并做好以下记录。 3.思考怎么实现的？观察分析程序源文件夹，进行猜测与讨论。 文件编号 是否垃圾邮件 判定结果 与实际是否一致 机器学习算法可以自动地从数据的某些特征中学习它们之间的关系，并且通过对数据的不断学习，提升垃圾邮件检测的能力和性能。 更危险了！ 人工智能内生安全 观看视频并思考： 生活中的人工智能应用存在怎样的安全问题？ 人工智能内生安全问题 数据是人工智能的重要基础。 数据集的质量会直接影响人工智能算法的执行效果。使用不同质量的数据集会在训练之后得到不同的模型参数，产生不同的执行效果，进而影响人工智能算法的安全性。 数据安全 人工智能涉及数据、框架、算法、模型、运行等多个复杂环节，这些环节都可能导致人工智能系统内在的安全问题。 对抗样本及其错误辨识结果 猫（95.5%置信度） 黄鼠狼（98.7%置信度） 活动2：“谁蒙住了计算机的眼睛” 体验“对抗样本”对人工智能模型可靠性的影响。 跟着步骤进行实践，完成任务单【学习任务二】的内容。 目的 体验“对抗样本”对人工智能模型可靠性的影响 要求 1.运行“活动2：‘对抗样本’文件夹内的‘img_rec.py’文件” 2.观察运行结果，并做好以下记录 添加噪声前 添加噪声后 预测结果 预测结果 置信度 置信度 联系生活中的人工智能应用，你觉得恶意使用对抗样本可能带来哪些安全问题？ 操作 记录 汇报 对抗性攻击 如果恶意使用对抗样本，可以欺骗自动驾驶汽车，使其不能正确识别道路标志，从而引发事故； 可以欺骗语音识别系统，让系统误认为是“主人语音”而执行虚假命令；可以入侵城市交通系统甚至武器系统。 这种通过对抗样本对智能系统发起的欺骗被称为“对抗性攻击”。 深度神经网络在很多领域能取得远超传统算法的准确率，但缺乏可解释性。 针对不同任务需要多少隐藏层，每个隐藏层抽取了何种特征还未能完全说明。在一些对准确率要求高、可解释性要求强的场景中,神经网络造成的失误会产生巨大影响。人工智能算法可以借助海量数据进行自我学习和进化，可以在无人干预下自主处理问题，这也使得人工智能的行为和决策难以被事先预料和干预，从而增加安全风险。 算法安全 人工智能算法往往需要训练大量的模型参数，经过训练之后生成的模型一般以实体文件的形式保存在服务器。如果攻击者攻击了云端服务器，利用服务器漏洞获取模型参数，可能造成严重后果。随着人工智能的普及，很多开发者将训练好的模型共享给更多用户，如果攻击者对开源的模型进行攻击，向其中注入恶意代码或参数，生成“变异”的神经网络模型并再次共享，在遇到特定情况或数据时，触发执行特定的恶意行为，会引起重大的安全问题。 模型安全 人工智能有安全风险， 那么如何促进人工智能安全发展呢？ 思考： 人工智能安全发展 活动3：个性化智能推荐安全吗？ 制定法律法规 在人工智能涉及的网络安全、数据安全、隐私保护方面，相关法律法规条款部分已在现有法律体系中体现。我国目前正在多层面推进数据安全和个人信息保护法律法规的制定，加速完善相关保护和监管准则，对人工智能相关应用进一步明确监管要求。 我的观点是：人工智能让我们更加_______了，因为_____________________________________________（举例） 我的观点 《新一代人工智能发展规划》 ①建立健全公开透明的人工智能监管体系，实行设计问责和应用监督并重的双层监管结构，实现对人工智能算法设计、产品开发和成果应用等的全流程监管; ②促进人工智能行业和企业自律，切实加强管理，加大对数据滥用、侵犯个人隐私、违背道德伦理等行为的惩戒力度”。 加强核心技术的自主可控，以自主可控为根基，通过理论创新、技术突破形成核心竞争力。 人工智能 助力安全 新一代人工智能发展规划 智能安防监控 人工 智能 安全 人工智能 内生安全 垃圾邮件检测 算法安全 制定法律法规 数据安全 模型安全 人工智能 安全发展 课堂小结 课后作业 请同学们课后利用网络搜索，学习我国有关人工智能安全的政策文件并完成自我评价。 作业评价表 找到有关人工智能安全的政策文件数量 □3个及以上 □2个 □1个及以下 文件与人工智能安全的相关性 □非常相关 □相关 □有点相关 找到资料的速度 □非常快 □正常 □有点慢 $$