1.3大数据及其作用与价值

1.3 大数据及其作用与价值 数据与大数据 1 体验思考 电子图书网站向小申推荐图书的依据是什么? 问题1 举例说明,日常生活中还有哪些场景具有类似的智能推荐功能。 问题2 1.数据规模大 已经从TB级别跃升为PB级别 大数据 特征 2.数据类型多 3.处理速度快 4.价值密度低 从二维表格表示的关系数据,扩展为文本数据、网络日志、音频、视频、图片、地理位置信息 包括数据产生得快,也要求数据处理得快 大数据是有价值的,价值密度的高低与数据总量的大小几乎成反比 P27 理解大数据 大数据处理过程 大数据的采集是大数据处理过程中的最初环节,它可以通过射频识别技术(RFID)、传感器技术、社交网络媒体等方式,获得各种类型的海量数据。 1.数据采集： P29 射频 识别技术(RFID) 传感器技术 社交网络媒体 手持实验技术 社交网络媒体 共享单车 用户身份识别卡(SIM) 大数据处理过程 大数据采集过程中通常有一个或多个数据源,所采集的数据易受到噪声数据、数据缺失、数据冲突等影响。因此,需要对采集的数据进行预处理,以保证大数据分析与预测结果的准确性与价值。 2.数据预处理： P30 社交网络媒体 Index（索引号） Number(车牌号） 位置 时间 2739 沪ABCD12 （105，34） 2022-08-06：32 2739 沪ABCD12 （105，34） 2022-08-06：32 2740 沪ABCD12 2022-08-08：44 2741 沪ABCD34 （109，22） 2022-08-09：08 2742 沪ABCD34 （109，23） 2022-08-09：33 2743 沪ABCD34 （109，24） 2022-08-09：57 2744 沪ABCD34 （109，25） 2022-08-10：03 缺失值 重复值 大数据处理过程 数据分析是大数据处理中的关键环节。根据大数据应用情境与决策需求,选择合适的数据分析技术,提高大数据分析结果的可用性、准确性和价值。这个过程的主要特点就是目的清晰,按照一定的规则进行处理,才能得到有效分析。 3.数据分析： P30 乘客出行时段与 地区热力图 如图所示,在0 00~6 00,出租车用车数量较少;在12 00~18 00,红色区域表 示出租车用车数量较多。 大数据处理过程 经过数据分析,可以描述出事物的变化状况,找出其中的规律,将分析结果运用到实践中。 4.数据挖掘应用： P30 用户画像通常是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个具有特征标识的用户模型。构建用户画像的核心工作是通过分析用户信息得到高度精炼的特征标识。 1.大数据的作用 大数据的作用及社会影响 （1）反映社会现象 （2）预测发展趋势 （3）指导决策的制订 通过大数据技术,人们可以获得所希望的数据,并能得到与之相关联的分析结果,从而能更全面地认识事物的特征及发展趋势,为行动决策奠定基础。 在大数据分析过程中,通过分析不同类型数据的相互关联,描述数据的动态变化,就可以比较清晰地展示事件的脉络关系,预测其发展趋势。 借助大数据,能够反映出人们的意图、情感、观点和需求,这些情感因素会决定人们在决策或行动时所采取的方式和所选择的方法。 2.大数据对社会发展的影响 大数据的作用及社会影响 （1）优化社会管理模式 （2）创新提升服务质量 （3）科学研究的新途径 借助对大数据的分析研究,能够发现医学、物理、经济和社会等领域的新现象,揭示自然与社会中的新规律,并预测未来趋势 通过分析用户的消费数据,商家可以有指向性地向用户推送商品。 政府部门通过分析社会中各领域的大数据,可以改善城市生活,提升城市管理水平,促进智慧城市的建设。 课后习题 2.结合个人网络学习体验(如慕课学习、在线课程等),从学习诊断、资源推送、过程管理等方面,思考大数据是如何支持个性化学习的。 1.在日常出行中,越来越多的人开始使用电子地图进行导航。电子地图在GPS导航系统的支持下,能够较为准确地显示行进的路线和路况,并能实时地进行调整。请分析为什么GPS导航系统能根据路况实时调整行进的路线? 它又是如何知道路况变化情况的呢? 课堂小结 1.1数据 信息 与知识 数据与大数据 12 $$