内容正文:
第18课
数据分析与处理
让数据产生价值
第四单元
简易物联系统实践
学习目标
学习目标
本课将关注以下问题
了解常见的数据处理工具,
会在物联网服务平台中查看和
常见的数据处理工具有哪些?
下载数据
了解物联系统中处理数据的方法,
利用程序处理数据有什么优势?
能够利用程序处理简单的数据
t
t
hs
数据是新时代的石油
ot reert ponlere aunnin
gmitetothe
pecng
hot
andtrmstatio
to
entha
coding
soms
数据处理工具的演进
现代工具
演进
电子计算机
早期工具
WPS表格等电
子表格软件
通用性和自动化
FineBI、
FineBI、Hadoop专用软件
数据分析与
编程工具处理数据
图形处理
工具进化,效率飞跃
程序执行模式
电子计算机的革命
通用性
不同应用场景,从文字处理到复杂模拟设计
自动化
存储程序、程序执行模式,无需人工干预
育
医疗
娱
多领域影响
改变商业模式革新教学方式
创造全新体验
提升诊疗水平
计算机改变了数据处理的一切
常用数据处理工具
电子表格软件
专业分析软件
编程工具
WPS表格、Excel
Python编程语言
FineBI商业智能
数据编辑
pandas
大数据
直观数据
数据处理库
nvp
Hadoop分布式处理
的据编辑
生成生成
快速生成
高级分析
科学
复杂数据
计算库
数据分析
图表图未
选择合适的工具,事半功倍
学习活动
你使用过哪些
数据处理工具?
处理过什么数据?
分享你的数据处理经验
Python数据处理库安装
第一驿:安装pandas库
pip install pandas
第二驿:安装numpy库
pip install numpy
工具准备好了,开始处理数据吧
从物联网服务平台获取数据
获取数据
方式一:数据文件下载
方式二:API调用
通过API自动获取数据
登录在线MQTT服务务
自动化
进入主题管理页面
无需手动操作
下载(查看详情并下载数据文件
API调用代码示例
API调用代码示例
点击下载
选择合适的方式获取数据
学习活动2:体验数据获取
方式一:电子表格处理
方式二
:API
编程获
下载数据件
填⼊⽤⼾名密码主题的参数
进行程序自动获取数据的代
用电子表格软件打开
Excel
数据处理
分析
程序处理数据的处理图
动手试试,体验数据获取的乐趣
数据异常情况
异常
①数据缺失
②数据重复
数据格式错误
复制
单位不一致,如身高
数据未记录
数据记录多次
身高单位的统一、
处理填充前后数据平均值
删除删除完全重复数据
数据类型作为一致如
补全
中文数字与阿拉的数字混用
处理处理空缺
数据互有缺失时缺全
修复(统一数据格式)
数据清洗,保证数据质量
处理数据的一般方法
第一步:明确目标
明确数据处理的目标和思路
通过对环境数据分析了解环境情况
第二步:选择工具
使用Python的pandas、numpy等模块
效率
提高数据处理效率
第三步:整理数据
第三步:准备
转换为DataFrame类型数据
目标明确,方法得当
为后续处理做好准备
学习活动3:数据分析实践
步骤1
最终值
…
转换为DataFrame类型
60.9%
36.4%
步骤2
排序代码示例
10.2%
4.3%
步骤3
统
动手实践,掌握数据分析方法
常用数据分析方法
①统计分析法
对比分析法
分组分析法
求最大值、最小值、平均值
对比不同数据,分析异同
根据某个条件分成若干组
例如分析物联花盆系统的温度数据
例如对比不同区域的温度数据
例如根据设备ID分组
从整体上了解数据特征
发现数据之间的差异
再进行统计和对比分析
选择合适的方法,深入挖掘数据价值
光照强度与光照时间分析
问题
方法
数据筛选
筛选代码示例,如df[df
['valueMsg']>
=1000]
阳光对植物的生
不同位置每天能接
筛选光照强度大于
受的光照时间不同
某个阅值的数据
长有直接影响
结果
确定不同位置的光照时间段
光照强度>=1000的时间点
多条件筛选,精准提取数据
a
土壤湿度分析
问题
方法
数据配组
不同ID数据度,平均价值
根据设备ID对数据进行组
需要了解各花盘
的湿度情况
groupby("clientiff"
mean
5
计算每组土壤湿度的
设备ID
平均值
平均位壤湿度,
平均计算
mean()
mean()±
结果
都被所有花盘的
比较不同花盘的
结果
平均ID数湿组平均值计算
土壤湿度平均值
的湿度差异
.mean()
比较不同的花盘
盘的湿度差异
拓展与提升
任务一:工具对比
电子表软件数据析处理
对比
任务二:历史探究
书籍
海王星数据预测发现
书、互联网查询资料、
思考
+数据分析的科学研发中的作重工作
拓展视野,深入学习
数据分析在科学研究中的作用
提高效率和质量
加速科学研究效率
提升研究质量准确性
提供启示和思路
为科学家提供启示
开拓新研究思路
应用广泛深入
天文学应用
生命科学应用
工程技术应用
数据分析:科学研究的加速器
课程总结
数据
获取数据
采集
采集
算盘→电子计算机
物联网平台获取数据
数据
清洗数据
代码
电子表格软件
代码
采集
处理缺失/重复/格式错误
分析
编程
分析
编程工具
统计分析/对比分析/分组分析
掌握工具,掌握方法,让数据产生价值
谢谢
数据驱动未来
$