4.2.1 大数据处理基本思想 课件—2021-2022学年浙教版（2019）高中信息技术必修1

大数据处理的基本思想与架构 1 2 3 4 5 这些精确的数据是如何统计得到的？ 2021 年微博发布的《微博用户发展报告》显示微博已经有 5.3 亿活跃用户，包括个人用户、企业用户、组织集体用户等等。而每天发布的内容有短文字长文章、表情、图像、视频等等，除了原创微博，还有转发。 假如每条微博包含 100 个字，那么两个月有多少个字？ 530000000*100*60=3180000000000 这还只能算是其中很小一部分的数据。 如果要从这些数据中找出这两个月出现频率最高的 100 个字，要怎么做？ 我们还能使用电子表格进行处理么？ 大数据具有数据量大、数据来源与类型多样、处理速度快、价值密度低等特点 规模巨大 格式多样 1+2+3+4+5+6+7+8+9+10=？ 1+10 2+9 3+8 4+7 5+6 11 11 11 11 11 55 拆分 汇总 大任务： 小任务： 分--将问题分解为规模更小的子问题 治--将规模更小的子问题逐个击破 合--将已解决的子问题合并，最终得出原问题的解 分治 大数据处理的基本思想 自主学习课本P114：处理大数据的分治思想 回答以下问题： （1）该案例中，如何使用10台计算机统计10G微博数据中出现频率最高的词汇？ 每台计算机将计算结果汇总到主控计算机，主控计算机汇总统计最终结果 （2）使用100台计算机处理100G数据时，遇到了什么问题，如何解决？ 网络传输带宽瓶颈。 改造网络结构，每10台计算机分为一组进行汇总，最后提交给主控计算机 （3）使用1000台、1万台、十万台计算机处理更大量数据时，为什么行不通了？如何解决的？ 机器故障、网络故障风险增加。 一份数据发给多台计算机，故障时让备份数据的计算结果相互验证。 总结：在数据量很大的情况下，我们要怎么进行快速高效的处理？ 分而治之 8 静态数据：在处理时已收集完成、在计算式不会发生改变的数据 流数据：是指不间断地、持续地到达的实时数据，随着时间的流逝，流数据的价值也随之降低，通过实时分析计算可以得到更有价值的分析的结果 图数据：以社交网络、道路交通等数据为例的众多