5.3 数据的分析 课件 2026-2027学年粤教版高中信息技术必修一

| 35页
| 59人阅读
| 0人下载
普通

内容正文:

高中信息技术 必修1《数据与计算》 5.3 数据的分析 特征探索 · 关联分析 · 聚类与分类 教师:【姓名】 班级:【班级】 教材第111—116页 5.3 数据的分析 学习目标与课堂重点 5.3 数据的分析 学习目标 1. 说出数据分析的含义和五个环节 2. 知道特征探索要做什么 3. 理解关联分析的支持度与置信度 4. 区分聚类与分类 重点与难点 重点 · 预处理的缺失值/异常值 · 关联分析的思路 · K-Means 聚类 难点 · 支持度、置信度的区别 · 聚类与分类的区别 5.3 数据的分析 本节学习路径:四步走 5.3 数据的分析 第 1 步 数据分析是什么 在大批杂乱数据中找结构、建模型、变知识 第 2 步 特征探索 清洗数据、看分布、算统计量 第 3 步 关联分析 找出“同时出现”的规律(购物篮分析) 第 4 步 聚类与分类 自动分组 vs 按已有标签判断 5.3 数据的分析 导入:数据怎么帮我们做决策 5.3 数据的分析 边看边思考 ① 视频里的图表说明了什么? ② 政府为什么能据此决策? ③ 从数据到决策, 中间经历了什么? 来源:央视网 CCTV-9 纪录片《大数据时代》第三集《决策之智》(片长 45 秒) 5.3 数据的分析 什么是数据分析 教材第111页 “数据分析就是在一大批杂乱无章的数据中,运用数字化工具和技术,探索数据内在的结构和规律,构建数学模型,并进行可视化表达,通过验证将模型转化为知识,为诊断过去、预测未来发挥作用。” 数据 → 找规律 → 建模型 → 可视化表达 → 验证 → 知识 两个作用: 诊断过去(为什么发生) 预测未来(可能会怎样) 5.3 数据的分析 数据分析的五个环节 教材第111页 环节 做什么 本节对应 ① 特征探索 预处理、看分布、算统计量 5.3.1 ② 关联分析 找“同时出现”的规律 5.3.2 ③ 聚类与分类 自动分组 / 按标签判断 5.3.3、5.3.4 ④ 建立模型 用数学方法描述规律 贯穿其中 ⑤ 模型评价 检验模型准不准 贯穿其中 5.3 数据的分析 5.3.1 特征探索:先给数据“洗澡” 教材第112页 “数据特征探索的主要任务是对数据进行预处理,发现和处理缺失值、异常数据,绘制直方图,观察分析数据的分布特征,求最大值、最小值、极差等描述性统计量。” ① 预处理 处理缺失值、异常值 ② 看分布 画直方图观察集中/分散 ③ 算统计量 最大值、最小值、极差 ④ 算组距 把数据分成若干组 5.3 数据的分析 预处理:缺失值与异常值 教材第112页 问题 例子 怎么处理 缺失值 价格一栏是 0 或空 填成平均值/众数,或标记为 None 后补 异常值 某商品价格 99999 元,明显不对 画散点图找出来,删除或单独分析 data['price'][data['price']==0] = None for i in data.columns: for j in range(len(data)): if (data[i].isnull())[j]: data[i][j] = '64' # 补一个值 教材做法: 先用散点图把异常点“看”出来, 再决定删除还是保留。 5.3 数据的分析 描述性统计:最大值、最小值、极差、组距 教材第112—113页 统计量 公式 例子(价格) 最大值 max() pricemax = 1299 最小值 min() pricemin = 19 极差 最大值 − 最小值 1280 组距 极差 ÷ 组数(如 13 组) 1280 ÷ 13 ≈ 98.5 组距的作用:把连续的数据分成若干区间,才能画直方图看分布。 5.3 数据的分析 直方图怎么读 教材第113页 • 横轴:数据分组区间 • 纵轴:落在该区间的数量 • 中间高、两边低 → 数据集中在中间 • 偏左或偏右 → 数据分布不均 形状 说明 对称 多数数据在中部 左偏 低价商品多 右偏 高价商品多 教材程序:用 pyl.hist() 画直方图,先算好 min、max、组距,再用 npy.arange() 生成分组边界。 5.3 数据的分析 直方图长什么样 5.3 数据的分析 示意:中间高、右侧拖长 —— 低价商品多、高价商品少(右偏) 5.3 数据的分析 程序5-3:预处理七步 教材第112—113页 步骤 做什么 ① 数据清洗 把价格为 0 的当作缺失值 ② 缺失值处理 用循环补全(教材补 '64') ③ 画散点图 发现异常值 ④ 求最大值、最小值 max() / min() ⑤ 求极差 max − min ⑥ 求组距 极差 ÷ 13 ⑦ 画直方图 pyl.hist() 看分布 5.3 数据的分析 5.3.2 关联分析:找“同时出现”的规律 教材第113页 “关联分析就是分析并发现存在于大量数据之间的关联性或相关性,从而描述一个事物中某些属性同时出现的规律和模式。” 经典例子:超市发现“买尿布的人常常也买啤酒”——于是把两样摆在一起,销量都涨了。 购物篮 同时出现 {面包, 牛奶} 经常一起买 {尿布, 啤酒} 常一起买(意外发现) 5.3 数据的分析 关联分析的基本算法(四步) 教材第113页 1 扫描历史数据,统计每项出现的频率 2 构建候选项集 C1,计算支持度(出现次数 ÷ 总数) 3 按最小支持度筛选,得到频繁项集 L1 4 频繁项集两两连接生成 C2,重复直到得到频繁 K 项集 记住两个词:支持度(出现得多不多)、置信度(A 出现时 B 出现的概率) 5.3 数据的分析 支持度与置信度:算一遍就懂 教材第113—114页 假设 100 笔订单中:买面包 40 笔,买牛奶 30 笔,两者都买 20 笔。 指标 公式 计算 含义 支持度 support 同时出现的次数 ÷ 总订单数 20 ÷ 100 = 0.2 两个一起买的比例 置信度 confidence 同时出现 ÷ 前件出现 20 ÷ 40 = 0.5 买面包的人里有 50% 也买牛奶 为什么要两个指标?只有支持度高、置信度也高的规则,才值得用来做推荐。 5.3 数据的分析 支持度与置信度:画成图更好懂 5.3 数据的分析 两个集合的交集 = 同时购买;支持度看总占比,置信度看前件里的占比 5.3 数据的分析 5.3.3 聚类分析:K-平均算法 教材第115页 教材图5-10:聚类分析 K-平均算法 聚类是什么 不必事先给分类标准, 从样本数据出发, 自动把相似的分到一起。 “物以类聚,人以群分”。 from sklearn.cluster import KMeans kms = KMeans(n_clusters=3) y = kms.fit_predict(x) 5.3 数据的分析 K-平均算法:三步循环 教材第115页 ① 选中心 随机选 K 个点作为初始聚集中心 ② 分归属 其余每个点算到 K 个中心的距离,归到最近的那个 ③ 更新中心 重新计算每个簇的平均值作为新中心,重复直到稳定 结束条件:达到设定迭代次数,或中心点不再明显移动。 5.3 数据的分析 K-Means:分组前 vs 分组后 5.3 数据的分析 左:数据混在一起;右:按距离归到最近的簇中心 5.3 数据的分析 聚类与分类的区别(易混) 教材第115—116页 对比项 聚类分析 数据分类 有没有标准 事先没有分类标准 已有带标签的样本 怎么分 按相似度自动分组 用训练好的分类器判断 典型算法 K-Means 贝叶斯分类等 例子 把客户自动分成 3 群 判断某客户是重要/普通客户 一句话:聚类是“不知道有几类,让数据自己抱团”;分类是“已经知道类别,往里装”。 5.3 数据的分析 5.3.4 数据分类与贝叶斯分类 教材第116页 • 分类:用样本训练出分类函数(分类器) • 分类器能把待分类数据映射到某个类别 • 分类与回归都可用于预测 • 贝叶斯分类:对已分类样本训练,学出分类函数 分类 vs 回归 对离散变量预测 → 分类 对连续变量预测 → 回归 5.3 数据的分析 案例:这位客户是重要客户吗? 教材第116页 表5-4 已知某客户的特征 A=182.8、B=58.9、C=26,判断他是重要客户还是普通客户。 客户 特征A 特征B 特征C 重要客户 182.8 81.6 30 重要客户 180.4 86.1 29 普通客户 152.4 45.3 24 普通客户 167.6 68.0 26 怎么看 A、C 接近重要客户, B=58.9 偏低, 介于两类之间。 实际要用分类器算概率。 结论:机器分类的依据是“跟哪一类更接近”,而不是拍脑袋。 5.3 数据的分析 5.3 思维导图 5.3 数据的分析 5.3 数据的分析 5.3.1 特征探索 · 预处理 处理缺失值(补值)与异常值(散点图发现) · 统计量 最大值、最小值、极差 · 可视化 组距 = 极差 ÷ 组数;直方图看分布 5.3.2 关联分析 · 目标 找属性“同时出现”的规律 · 支持度 同时出现次数 ÷ 总记录数 · 置信度 同时出现 ÷ 前件出现 5.3.3 / 5.3.4 聚类与分类 · 聚类 无标准自动分组,K-Means 三步迭代 · 分类 有标签训练分类器,贝叶斯分类 · 区别 聚类“自己抱团”,分类“往里装” 5.3 数据的分析 要点练习一:特征探索 5.3 数据的分析 1 数据分析的五个环节中,最先做的是( ) A. 关联分析  B. 特征探索  C. 聚类分析  D. 建立模型 2 某商品价格填成了 0,这属于( ) A. 异常值  B. 缺失值(需处理)  C. 正常值  D. 最大值 3 极差的计算方法是( ) A. 最大值 + 最小值  B. 最大值 − 最小值  C. 极差 ÷ 组数  D. 平均值 × 组数 单击进入下一页,逐题显示答案 5.3 数据的分析 要点练习一:特征探索|第 1 题答案 5.3 数据的分析 1 数据分析的五个环节中,最先做的是( ) A. 关联分析  B. 特征探索  C. 聚类分析  D. 建立模型 答案:B —— 先探索特征、做预处理。 2 某商品价格填成了 0,这属于( ) A. 异常值  B. 缺失值(需处理)  C. 正常值  D. 最大值 3 极差的计算方法是( ) A. 最大值 + 最小值  B. 最大值 − 最小值  C. 极差 ÷ 组数  D. 平均值 × 组数 单击进入下一页,逐题显示答案 5.3 数据的分析 要点练习一:特征探索|第 2 题答案 5.3 数据的分析 1 数据分析的五个环节中,最先做的是( ) A. 关联分析  B. 特征探索  C. 聚类分析  D. 建立模型 答案:B —— 先探索特征、做预处理。 2 某商品价格填成了 0,这属于( ) A. 异常值  B. 缺失值(需处理)  C. 正常值  D. 最大值 答案:B —— 价格为 0 通常意味着缺失。 3 极差的计算方法是( ) A. 最大值 + 最小值  B. 最大值 − 最小值  C. 极差 ÷ 组数  D. 平均值 × 组数 单击进入下一页,逐题显示答案 5.3 数据的分析 要点练习一:特征探索|第 3 题答案 5.3 数据的分析 1 数据分析的五个环节中,最先做的是( ) A. 关联分析  B. 特征探索  C. 聚类分析  D. 建立模型 答案:B —— 先探索特征、做预处理。 2 某商品价格填成了 0,这属于( ) A. 异常值  B. 缺失值(需处理)  C. 正常值  D. 最大值 答案:B —— 价格为 0 通常意味着缺失。 3 极差的计算方法是( ) A. 最大值 + 最小值  B. 最大值 − 最小值  C. 极差 ÷ 组数  D. 平均值 × 组数 答案:B —— 极差 = max − min。 5.3 数据的分析 要点练习二:关联分析 5.3 数据的分析 1 关联分析主要用来发现( ) A. 数据的最大值  B. 属性“同时出现”的规律  C. 数据的平均值  D. 数据的存储位置 2 100 笔订单中 20 笔同时买了面包和牛奶,支持度是( ) A. 0.2  B. 0.5  C. 20  D. 2 3 买面包的 40 单里有 20 单也买牛奶,置信度是( ) A. 0.2  B. 0.5  C. 0.8  D. 2 单击进入下一页,逐题显示答案 5.3 数据的分析 要点练习二:关联分析|第 1 题答案 5.3 数据的分析 1 关联分析主要用来发现( ) A. 数据的最大值  B. 属性“同时出现”的规律  C. 数据的平均值  D. 数据的存储位置 答案:B —— 关联分析找同时出现的规律。 2 100 笔订单中 20 笔同时买了面包和牛奶,支持度是( ) A. 0.2  B. 0.5  C. 20  D. 2 3 买面包的 40 单里有 20 单也买牛奶,置信度是( ) A. 0.2  B. 0.5  C. 0.8  D. 2 单击进入下一页,逐题显示答案 5.3 数据的分析 要点练习二:关联分析|第 2 题答案 5.3 数据的分析 1 关联分析主要用来发现( ) A. 数据的最大值  B. 属性“同时出现”的规律  C. 数据的平均值  D. 数据的存储位置 答案:B —— 关联分析找同时出现的规律。 2 100 笔订单中 20 笔同时买了面包和牛奶,支持度是( ) A. 0.2  B. 0.5  C. 20  D. 2 答案:A —— 20 ÷ 100 = 0.2。 3 买面包的 40 单里有 20 单也买牛奶,置信度是( ) A. 0.2  B. 0.5  C. 0.8  D. 2 单击进入下一页,逐题显示答案 5.3 数据的分析 要点练习二:关联分析|第 3 题答案 5.3 数据的分析 1 关联分析主要用来发现( ) A. 数据的最大值  B. 属性“同时出现”的规律  C. 数据的平均值  D. 数据的存储位置 答案:B —— 关联分析找同时出现的规律。 2 100 笔订单中 20 笔同时买了面包和牛奶,支持度是( ) A. 0.2  B. 0.5  C. 20  D. 2 答案:A —— 20 ÷ 100 = 0.2。 3 买面包的 40 单里有 20 单也买牛奶,置信度是( ) A. 0.2  B. 0.5  C. 0.8  D. 2 答案:B —— 20 ÷ 40 = 0.5。 5.3 数据的分析 要点练习三:聚类与分类 5.3 数据的分析 1 聚类分析与数据分类最主要的区别是( ) A. 聚类不需要计算机  B. 聚类事先没有分类标准  C. 分类不能预测  D. 两者完全相同 2 K-平均(K-Means)算法中,K 表示( ) A. 数据点个数  B. 聚类中心个数  C. 迭代次数  D. 特征数 3 把已知标签的样本训练成分类器,用于判断新数据,属于( ) A. 聚类分析  B. 数据分类  C. 特征探索  D. 关联分析 单击进入下一页,逐题显示答案 5.3 数据的分析 要点练习三:聚类与分类|第 1 题答案 5.3 数据的分析 1 聚类分析与数据分类最主要的区别是( ) A. 聚类不需要计算机  B. 聚类事先没有分类标准  C. 分类不能预测  D. 两者完全相同 答案:B —— 聚类从数据出发自动分组。 2 K-平均(K-Means)算法中,K 表示( ) A. 数据点个数  B. 聚类中心个数  C. 迭代次数  D. 特征数 3 把已知标签的样本训练成分类器,用于判断新数据,属于( ) A. 聚类分析  B. 数据分类  C. 特征探索  D. 关联分析 单击进入下一页,逐题显示答案 5.3 数据的分析 要点练习三:聚类与分类|第 2 题答案 5.3 数据的分析 1 聚类分析与数据分类最主要的区别是( ) A. 聚类不需要计算机  B. 聚类事先没有分类标准  C. 分类不能预测  D. 两者完全相同 答案:B —— 聚类从数据出发自动分组。 2 K-平均(K-Means)算法中,K 表示( ) A. 数据点个数  B. 聚类中心个数  C. 迭代次数  D. 特征数 答案:B —— K 是初始聚集中心的数量。 3 把已知标签的样本训练成分类器,用于判断新数据,属于( ) A. 聚类分析  B. 数据分类  C. 特征探索  D. 关联分析 单击进入下一页,逐题显示答案 5.3 数据的分析 要点练习三:聚类与分类|第 3 题答案 5.3 数据的分析 1 聚类分析与数据分类最主要的区别是( ) A. 聚类不需要计算机  B. 聚类事先没有分类标准  C. 分类不能预测  D. 两者完全相同 答案:B —— 聚类从数据出发自动分组。 2 K-平均(K-Means)算法中,K 表示( ) A. 数据点个数  B. 聚类中心个数  C. 迭代次数  D. 特征数 答案:B —— K 是初始聚集中心的数量。 3 把已知标签的样本训练成分类器,用于判断新数据,属于( ) A. 聚类分析  B. 数据分类  C. 特征探索  D. 关联分析 答案:B —— 有标签训练即分类。 $

资源预览图

5.3 数据的分析 课件 2026-2027学年粤教版高中信息技术必修一-第1页
1
5.3 数据的分析 课件 2026-2027学年粤教版高中信息技术必修一-第2页
2
5.3 数据的分析 课件 2026-2027学年粤教版高中信息技术必修一-第3页
3
5.3 数据的分析 课件 2026-2027学年粤教版高中信息技术必修一-第4页
4
5.3 数据的分析 课件 2026-2027学年粤教版高中信息技术必修一-第5页
5
5.3 数据的分析 课件 2026-2027学年粤教版高中信息技术必修一-第6页
6

由于学科网是一个信息分享及获取的平台,不确保部分用户上传资料的 来源及知识产权归属。如您发现相关资料侵犯您的合法权益,请联系学科网,我们核实后将及时进行处理。