内容正文:
5.3.2 关联分析
1
2
20世纪90年代的美国某超市中。一个有心的超市管理人员发现啤酒和尿布往往会一同出现在消费者的购物篮里,而且以年轻男士居多。
经过进一步调查发现:在美国有婴儿的家庭中,一般是母亲在家中照看婴儿,年轻的父亲前去超市购买尿布。父亲在购买尿布的同时,往往会顺便为自己购买啤酒,这样就会出现啤酒与尿布这两件看上去不相干的商品经常会出现在同一个购物篮的现象。
于是超市就将啤酒和尿布放在一起,从而导致两种物品销量大增。
3
1.超市管理人员通过什么确定啤酒跟尿布是有联系的物品。
2.超市有大量的销售记录,就像一堆杂乱无章的数据,但是从尿布和啤酒的销售数据中发现了有趣的联系。这是什么原理呢?
大量数据
数据挖掘
4
关联分析
分析并发现存在于大量数据之间的关联性或相关性,从而描述一个事物中某些属性同时出现的规律和模式。
Apriori算法
5
学习目标:
一.通过探究一活动,明白最小支持度的概念,能独自完成频繁项集C1的填写。
二.通过体验Apriori算法,理解算法原理,能得出关联规则。
三.通过观察程序运行得到的关联规则,了解用置信度判断其可靠程度的概念。
6
项目实践——设计超市促销活动
请根据超市销售清单,找出其中关联性最强的物品,进行捆绑销售。
7
探究一:找出有意义的数据
小组讨论:我们有必要探索所有物品之间的关联性吗?你认为哪些物品之间可能存在相关性?请给出理由。
8
出现频率高的物品
在数据中比较常见
与其他元素间联系更紧密
蕴含更有价值的关联关系
出现频率低的物品
具有偶然性
没有统计必要
9
支持度
概念
公式
项集在事务中出现的概率
Support(X)
X出现的次数
事务总数
{啤酒、尿布}支持度
{啤酒、尿布}出现的次数
事务总数
=
=
=
10
6
10
思考:
如果每天有成千上万的交易。如何快速筛选出哪些商品值得进一步研究?
11
最小支持度m
项集
频繁项集
支持度≥m
最小支持度m
最小支持度:人为设定,用来筛选掉不符合需求的项集
12
学习任务一:
最小支持度设置为0.3,请写出以下频繁项集C1。
13
探究二:体验Apriori算法流程
通过反复迭代和筛选,从单个物品开始,逐步生成多个物品的候选集,并剔除不满足最小支持度的组合,最终形成最大频繁项集。
Apriori算法流程
14
数据库D
扫描D并计数
比较产生C1
过程中最小支持度为0.3
15
扫描
比较
产生C2
连接
16
扫描
比较
产生C2
{啤酒,鸡蛋,可乐}
最大频繁项集
连接
17
关联规则
啤酒→尿布
啤酒、鸡蛋→可乐
18
频繁项集
E
A
D
B
C
关联规则
事物间的相互联系,反映了一个事物与其他事物之间的相互依存性和关联性。
A→D
B→D
C→E
筛选
19
学习任务二:
1.根据算法的详细流程,将Apriori算法流程图补充完整
20
扫描数据库,统计数据出现的频率次数
构建候选项集L1
形成频繁项集C1
开始
结束
是
否
计算支持度:频率次数/总数
连接构成候选项集Ln+1
扫描数据库
统计数据出现的频率次数
支持度≥最小支持度
21
探究三:关联规则的可靠程度
运行程序一,观察由Apriori函数得到的关联规则
思考:
得到的关联规则都能在现实中使用吗?
怎么来判断这个规则是否可靠?
22
置信度
概念
公式
在前件出现的情况下,
后件出现的概率
Confidence(X→Y)
{X,Y}支持度
{X}支持度
{啤酒}→{尿布}
置信度
{啤酒、尿布}支持度
{啤酒}支持度
=
=
=
8
6
23
置信度代表着这个关联规则的可靠程度,那我们需要跟支持度一样,人为设定一个最小值吗?
最小置信度
24
最小置信度n
关联规则
强关联规则
置信度≥n
最小置信度n
A→B
A→C
B→C
A,B→C
B,C→D
A→B
B→C
A→C
B,C→D
A,B→C
25
项目实践——设计超市促销活动
修改程序二中的支持度和置信度,得出超市促销活动的套餐。
最小支持度选择有(0.01,0.02,0.03)
最小置信度选择有(0.4,0.5,0.6)
26
最小支持度设置为0.02
最小置信度设置为0.5
{白菜, 酸奶} → {全脂牛奶}
27
课堂总结
关联分析
Apriori算法
支持度
置信度
28
29
课堂展望
生活中关联分析还能用在哪些地方?
网络安全
医疗诊断
30
谢 谢!
31
$