5.3 数据的分析 课件 2026-2027学年粤教版高中信息技术必修一
|
35页
|
59人阅读
|
0人下载
普通
内容正文:
高中信息技术 必修1《数据与计算》
5.3
数据的分析
特征探索 · 关联分析 · 聚类与分类
教师:【姓名】 班级:【班级】
教材第111—116页
5.3 数据的分析
学习目标与课堂重点
5.3 数据的分析
学习目标
1. 说出数据分析的含义和五个环节
2. 知道特征探索要做什么
3. 理解关联分析的支持度与置信度
4. 区分聚类与分类
重点与难点
重点
· 预处理的缺失值/异常值
· 关联分析的思路
· K-Means 聚类
难点
· 支持度、置信度的区别
· 聚类与分类的区别
5.3 数据的分析
本节学习路径:四步走
5.3 数据的分析
第 1 步
数据分析是什么
在大批杂乱数据中找结构、建模型、变知识
第 2 步
特征探索
清洗数据、看分布、算统计量
第 3 步
关联分析
找出“同时出现”的规律(购物篮分析)
第 4 步
聚类与分类
自动分组 vs 按已有标签判断
5.3 数据的分析
导入:数据怎么帮我们做决策
5.3 数据的分析
边看边思考
① 视频里的图表说明了什么?
② 政府为什么能据此决策?
③ 从数据到决策,
中间经历了什么?
来源:央视网 CCTV-9 纪录片《大数据时代》第三集《决策之智》(片长 45 秒)
5.3 数据的分析
什么是数据分析
教材第111页
“数据分析就是在一大批杂乱无章的数据中,运用数字化工具和技术,探索数据内在的结构和规律,构建数学模型,并进行可视化表达,通过验证将模型转化为知识,为诊断过去、预测未来发挥作用。”
数据 → 找规律 → 建模型 →
可视化表达 → 验证 → 知识
两个作用:
诊断过去(为什么发生)
预测未来(可能会怎样)
5.3 数据的分析
数据分析的五个环节
教材第111页
环节 做什么 本节对应
① 特征探索 预处理、看分布、算统计量 5.3.1
② 关联分析 找“同时出现”的规律 5.3.2
③ 聚类与分类 自动分组 / 按标签判断 5.3.3、5.3.4
④ 建立模型 用数学方法描述规律 贯穿其中
⑤ 模型评价 检验模型准不准 贯穿其中
5.3 数据的分析
5.3.1 特征探索:先给数据“洗澡”
教材第112页
“数据特征探索的主要任务是对数据进行预处理,发现和处理缺失值、异常数据,绘制直方图,观察分析数据的分布特征,求最大值、最小值、极差等描述性统计量。”
① 预处理
处理缺失值、异常值
② 看分布
画直方图观察集中/分散
③ 算统计量
最大值、最小值、极差
④ 算组距
把数据分成若干组
5.3 数据的分析
预处理:缺失值与异常值
教材第112页
问题 例子 怎么处理
缺失值 价格一栏是 0 或空 填成平均值/众数,或标记为 None 后补
异常值 某商品价格 99999 元,明显不对 画散点图找出来,删除或单独分析
data['price'][data['price']==0] = None
for i in data.columns:
for j in range(len(data)):
if (data[i].isnull())[j]:
data[i][j] = '64' # 补一个值
教材做法:
先用散点图把异常点“看”出来,
再决定删除还是保留。
5.3 数据的分析
描述性统计:最大值、最小值、极差、组距
教材第112—113页
统计量 公式 例子(价格)
最大值 max() pricemax = 1299
最小值 min() pricemin = 19
极差 最大值 − 最小值 1280
组距 极差 ÷ 组数(如 13 组) 1280 ÷ 13 ≈ 98.5
组距的作用:把连续的数据分成若干区间,才能画直方图看分布。
5.3 数据的分析
直方图怎么读
教材第113页
• 横轴:数据分组区间
• 纵轴:落在该区间的数量
• 中间高、两边低 → 数据集中在中间
• 偏左或偏右 → 数据分布不均
形状 说明
对称 多数数据在中部
左偏 低价商品多
右偏 高价商品多
教材程序:用 pyl.hist() 画直方图,先算好 min、max、组距,再用 npy.arange() 生成分组边界。
5.3 数据的分析
直方图长什么样
5.3 数据的分析
示意:中间高、右侧拖长 —— 低价商品多、高价商品少(右偏)
5.3 数据的分析
程序5-3:预处理七步
教材第112—113页
步骤 做什么
① 数据清洗 把价格为 0 的当作缺失值
② 缺失值处理 用循环补全(教材补 '64')
③ 画散点图 发现异常值
④ 求最大值、最小值 max() / min()
⑤ 求极差 max − min
⑥ 求组距 极差 ÷ 13
⑦ 画直方图 pyl.hist() 看分布
5.3 数据的分析
5.3.2 关联分析:找“同时出现”的规律
教材第113页
“关联分析就是分析并发现存在于大量数据之间的关联性或相关性,从而描述一个事物中某些属性同时出现的规律和模式。”
经典例子:超市发现“买尿布的人常常也买啤酒”——于是把两样摆在一起,销量都涨了。
购物篮 同时出现
{面包, 牛奶} 经常一起买
{尿布, 啤酒} 常一起买(意外发现)
5.3 数据的分析
关联分析的基本算法(四步)
教材第113页
1
扫描历史数据,统计每项出现的频率
2
构建候选项集 C1,计算支持度(出现次数 ÷ 总数)
3
按最小支持度筛选,得到频繁项集 L1
4
频繁项集两两连接生成 C2,重复直到得到频繁 K 项集
记住两个词:支持度(出现得多不多)、置信度(A 出现时 B 出现的概率)
5.3 数据的分析
支持度与置信度:算一遍就懂
教材第113—114页
假设 100 笔订单中:买面包 40 笔,买牛奶 30 笔,两者都买 20 笔。
指标 公式 计算 含义
支持度 support 同时出现的次数 ÷ 总订单数 20 ÷ 100 = 0.2 两个一起买的比例
置信度 confidence 同时出现 ÷ 前件出现 20 ÷ 40 = 0.5 买面包的人里有 50% 也买牛奶
为什么要两个指标?只有支持度高、置信度也高的规则,才值得用来做推荐。
5.3 数据的分析
支持度与置信度:画成图更好懂
5.3 数据的分析
两个集合的交集 = 同时购买;支持度看总占比,置信度看前件里的占比
5.3 数据的分析
5.3.3 聚类分析:K-平均算法
教材第115页
教材图5-10:聚类分析 K-平均算法
聚类是什么
不必事先给分类标准,
从样本数据出发,
自动把相似的分到一起。
“物以类聚,人以群分”。
from sklearn.cluster import KMeans
kms = KMeans(n_clusters=3)
y = kms.fit_predict(x)
5.3 数据的分析
K-平均算法:三步循环
教材第115页
① 选中心
随机选 K 个点作为初始聚集中心
② 分归属
其余每个点算到 K 个中心的距离,归到最近的那个
③ 更新中心
重新计算每个簇的平均值作为新中心,重复直到稳定
结束条件:达到设定迭代次数,或中心点不再明显移动。
5.3 数据的分析
K-Means:分组前 vs 分组后
5.3 数据的分析
左:数据混在一起;右:按距离归到最近的簇中心
5.3 数据的分析
聚类与分类的区别(易混)
教材第115—116页
对比项 聚类分析 数据分类
有没有标准 事先没有分类标准 已有带标签的样本
怎么分 按相似度自动分组 用训练好的分类器判断
典型算法 K-Means 贝叶斯分类等
例子 把客户自动分成 3 群 判断某客户是重要/普通客户
一句话:聚类是“不知道有几类,让数据自己抱团”;分类是“已经知道类别,往里装”。
5.3 数据的分析
5.3.4 数据分类与贝叶斯分类
教材第116页
• 分类:用样本训练出分类函数(分类器)
• 分类器能把待分类数据映射到某个类别
• 分类与回归都可用于预测
• 贝叶斯分类:对已分类样本训练,学出分类函数
分类 vs 回归
对离散变量预测 → 分类
对连续变量预测 → 回归
5.3 数据的分析
案例:这位客户是重要客户吗?
教材第116页 表5-4
已知某客户的特征 A=182.8、B=58.9、C=26,判断他是重要客户还是普通客户。
客户 特征A 特征B 特征C
重要客户 182.8 81.6 30
重要客户 180.4 86.1 29
普通客户 152.4 45.3 24
普通客户 167.6 68.0 26
怎么看
A、C 接近重要客户,
B=58.9 偏低,
介于两类之间。
实际要用分类器算概率。
结论:机器分类的依据是“跟哪一类更接近”,而不是拍脑袋。
5.3 数据的分析
5.3 思维导图
5.3 数据的分析
5.3
数据的分析
5.3.1 特征探索
· 预处理 处理缺失值(补值)与异常值(散点图发现)
· 统计量 最大值、最小值、极差
· 可视化 组距 = 极差 ÷ 组数;直方图看分布
5.3.2 关联分析
· 目标 找属性“同时出现”的规律
· 支持度 同时出现次数 ÷ 总记录数
· 置信度 同时出现 ÷ 前件出现
5.3.3 / 5.3.4 聚类与分类
· 聚类 无标准自动分组,K-Means 三步迭代
· 分类 有标签训练分类器,贝叶斯分类
· 区别 聚类“自己抱团”,分类“往里装”
5.3 数据的分析
要点练习一:特征探索
5.3 数据的分析
1
数据分析的五个环节中,最先做的是( )
A. 关联分析 B. 特征探索 C. 聚类分析 D. 建立模型
2
某商品价格填成了 0,这属于( )
A. 异常值 B. 缺失值(需处理) C. 正常值 D. 最大值
3
极差的计算方法是( )
A. 最大值 + 最小值 B. 最大值 − 最小值 C. 极差 ÷ 组数 D. 平均值 × 组数
单击进入下一页,逐题显示答案
5.3 数据的分析
要点练习一:特征探索|第 1 题答案
5.3 数据的分析
1
数据分析的五个环节中,最先做的是( )
A. 关联分析 B. 特征探索 C. 聚类分析 D. 建立模型
答案:B —— 先探索特征、做预处理。
2
某商品价格填成了 0,这属于( )
A. 异常值 B. 缺失值(需处理) C. 正常值 D. 最大值
3
极差的计算方法是( )
A. 最大值 + 最小值 B. 最大值 − 最小值 C. 极差 ÷ 组数 D. 平均值 × 组数
单击进入下一页,逐题显示答案
5.3 数据的分析
要点练习一:特征探索|第 2 题答案
5.3 数据的分析
1
数据分析的五个环节中,最先做的是( )
A. 关联分析 B. 特征探索 C. 聚类分析 D. 建立模型
答案:B —— 先探索特征、做预处理。
2
某商品价格填成了 0,这属于( )
A. 异常值 B. 缺失值(需处理) C. 正常值 D. 最大值
答案:B —— 价格为 0 通常意味着缺失。
3
极差的计算方法是( )
A. 最大值 + 最小值 B. 最大值 − 最小值 C. 极差 ÷ 组数 D. 平均值 × 组数
单击进入下一页,逐题显示答案
5.3 数据的分析
要点练习一:特征探索|第 3 题答案
5.3 数据的分析
1
数据分析的五个环节中,最先做的是( )
A. 关联分析 B. 特征探索 C. 聚类分析 D. 建立模型
答案:B —— 先探索特征、做预处理。
2
某商品价格填成了 0,这属于( )
A. 异常值 B. 缺失值(需处理) C. 正常值 D. 最大值
答案:B —— 价格为 0 通常意味着缺失。
3
极差的计算方法是( )
A. 最大值 + 最小值 B. 最大值 − 最小值 C. 极差 ÷ 组数 D. 平均值 × 组数
答案:B —— 极差 = max − min。
5.3 数据的分析
要点练习二:关联分析
5.3 数据的分析
1
关联分析主要用来发现( )
A. 数据的最大值 B. 属性“同时出现”的规律 C. 数据的平均值 D. 数据的存储位置
2
100 笔订单中 20 笔同时买了面包和牛奶,支持度是( )
A. 0.2 B. 0.5 C. 20 D. 2
3
买面包的 40 单里有 20 单也买牛奶,置信度是( )
A. 0.2 B. 0.5 C. 0.8 D. 2
单击进入下一页,逐题显示答案
5.3 数据的分析
要点练习二:关联分析|第 1 题答案
5.3 数据的分析
1
关联分析主要用来发现( )
A. 数据的最大值 B. 属性“同时出现”的规律 C. 数据的平均值 D. 数据的存储位置
答案:B —— 关联分析找同时出现的规律。
2
100 笔订单中 20 笔同时买了面包和牛奶,支持度是( )
A. 0.2 B. 0.5 C. 20 D. 2
3
买面包的 40 单里有 20 单也买牛奶,置信度是( )
A. 0.2 B. 0.5 C. 0.8 D. 2
单击进入下一页,逐题显示答案
5.3 数据的分析
要点练习二:关联分析|第 2 题答案
5.3 数据的分析
1
关联分析主要用来发现( )
A. 数据的最大值 B. 属性“同时出现”的规律 C. 数据的平均值 D. 数据的存储位置
答案:B —— 关联分析找同时出现的规律。
2
100 笔订单中 20 笔同时买了面包和牛奶,支持度是( )
A. 0.2 B. 0.5 C. 20 D. 2
答案:A —— 20 ÷ 100 = 0.2。
3
买面包的 40 单里有 20 单也买牛奶,置信度是( )
A. 0.2 B. 0.5 C. 0.8 D. 2
单击进入下一页,逐题显示答案
5.3 数据的分析
要点练习二:关联分析|第 3 题答案
5.3 数据的分析
1
关联分析主要用来发现( )
A. 数据的最大值 B. 属性“同时出现”的规律 C. 数据的平均值 D. 数据的存储位置
答案:B —— 关联分析找同时出现的规律。
2
100 笔订单中 20 笔同时买了面包和牛奶,支持度是( )
A. 0.2 B. 0.5 C. 20 D. 2
答案:A —— 20 ÷ 100 = 0.2。
3
买面包的 40 单里有 20 单也买牛奶,置信度是( )
A. 0.2 B. 0.5 C. 0.8 D. 2
答案:B —— 20 ÷ 40 = 0.5。
5.3 数据的分析
要点练习三:聚类与分类
5.3 数据的分析
1
聚类分析与数据分类最主要的区别是( )
A. 聚类不需要计算机 B. 聚类事先没有分类标准 C. 分类不能预测 D. 两者完全相同
2
K-平均(K-Means)算法中,K 表示( )
A. 数据点个数 B. 聚类中心个数 C. 迭代次数 D. 特征数
3
把已知标签的样本训练成分类器,用于判断新数据,属于( )
A. 聚类分析 B. 数据分类 C. 特征探索 D. 关联分析
单击进入下一页,逐题显示答案
5.3 数据的分析
要点练习三:聚类与分类|第 1 题答案
5.3 数据的分析
1
聚类分析与数据分类最主要的区别是( )
A. 聚类不需要计算机 B. 聚类事先没有分类标准 C. 分类不能预测 D. 两者完全相同
答案:B —— 聚类从数据出发自动分组。
2
K-平均(K-Means)算法中,K 表示( )
A. 数据点个数 B. 聚类中心个数 C. 迭代次数 D. 特征数
3
把已知标签的样本训练成分类器,用于判断新数据,属于( )
A. 聚类分析 B. 数据分类 C. 特征探索 D. 关联分析
单击进入下一页,逐题显示答案
5.3 数据的分析
要点练习三:聚类与分类|第 2 题答案
5.3 数据的分析
1
聚类分析与数据分类最主要的区别是( )
A. 聚类不需要计算机 B. 聚类事先没有分类标准 C. 分类不能预测 D. 两者完全相同
答案:B —— 聚类从数据出发自动分组。
2
K-平均(K-Means)算法中,K 表示( )
A. 数据点个数 B. 聚类中心个数 C. 迭代次数 D. 特征数
答案:B —— K 是初始聚集中心的数量。
3
把已知标签的样本训练成分类器,用于判断新数据,属于( )
A. 聚类分析 B. 数据分类 C. 特征探索 D. 关联分析
单击进入下一页,逐题显示答案
5.3 数据的分析
要点练习三:聚类与分类|第 3 题答案
5.3 数据的分析
1
聚类分析与数据分类最主要的区别是( )
A. 聚类不需要计算机 B. 聚类事先没有分类标准 C. 分类不能预测 D. 两者完全相同
答案:B —— 聚类从数据出发自动分组。
2
K-平均(K-Means)算法中,K 表示( )
A. 数据点个数 B. 聚类中心个数 C. 迭代次数 D. 特征数
答案:B —— K 是初始聚集中心的数量。
3
把已知标签的样本训练成分类器,用于判断新数据,属于( )
A. 聚类分析 B. 数据分类 C. 特征探索 D. 关联分析
答案:B —— 有标签训练即分类。
$