内容正文:
5.3 数据的分析
CONTENT
1
特征探索
2
关联分析
3
聚类分析
4
数据分类
数据的分析
数据分析
就是在一大批杂乱无章的数据中,运用数字化工具和技术,探索数据内在的结构和规律,构建数学模型,并进行可视化表达,通过验证将模型转化为知识,为诊断过去、预测未来发挥作用。
5.3.1 特征探索
数据特征探索的主要任务是对数据进行预处理,发现和处理缺失值、异常数据,绘制直方图,观察分析数据的分布特征,求最大值、最小值、极差等描述性统计量。
通过可视化对数据构建初始认知
对于数据集中的某些现象原因提出假设
论证该使用何种统计推断进行分析
为后续使用合适的统计工具及技术提供支持
对进一步的数据收集及调查做基础
通常情况,对于未知的数据先进行特征探索
特征探索的作用
5.3.2 关联分析
关联分析就是分析并发现存在于大量数据之间的关联性或相关性,从而描述一个事物中某些属性同时出现的规律和模式。
通过查看哪些商品经常在一起出售,帮助商店了解用户的购物行为,用于商品定价、市场促销、存货管理等环节
从新闻网站点击流中挖掘新闻流行趋势
搜索引擎推荐,在用户输入查询时推荐同时相关的查询词项
通过不同专业学生借书情况的分析,进行书目的推荐
关联分析的应用
5.3.3 聚类分析
聚类分析是一种探索性的分析,在分类过程中,人们不必事先给出一个分类的标准,聚类分析能够从样本数据出发,自动进行分析。
聚类分析的算法有很多,其中K-平均算法是一种经典的自下而上的聚类分析方法。
商业:聚类分析被用来发现不同的客户群,并且通过购买模式刻画不同的客户群的特征。它是细分市场的有效工具,同时也可用于研究消费者行为,寻找新的潜在市场、选择实验的市场,并作为多元分析的预处理。
生物:聚类分析被用来对动植物和基因进行分类,获取对种群固有结构的认识。
因特网:聚类分析被用来在网上进行文档归类来修复信息。
聚类分析的应用
5.3.4 数据分类
数据分类是数据分析处理中最基本的方法。
数据分类通常的做法是,基于样本数据先训练构建分类函数或者分类模型(分类器),该分类器具有将待分类数据映射到某一特点类别的功能。
贝叶斯分类技术在众多分类技术中占有重要地位。
数据分类的应用:阅读课本P116【问题】
贝叶斯与概率分类:阅读课本P117【拓展】
$