您的位置:创新中国网 > 科技

近7年上海天气数据抓取和分析含代码—分析部分

发布时间:2017年10月16日 15:47 来源:geceo.com 编辑:创新中国   阅读量:6140   
导读:感谢关注天善智能,走好数据之路欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定!对商业智能BI、大数据分析挖掘、机器学习,python,R等数据领域感兴趣的同学加微信:ts...

感谢关注天善智能,走好数据之路

欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定!

对商业智能BI、大数据分析挖掘、机器学习,python,R等数据领域感兴趣的同学加微信:tstoutiao,邀请你进入数据爱好者交流群,数据爱好者们都在这儿。

前言

在近7年上海天气数据抓取和分析(含代码)—爬虫部分 一文中我们介绍了如何使用R语言对天气网进行爬虫,抓取上海近7年的天气数据,相信大家按部就班的操作文章代码时,应该觉得用R语言爬虫很简单了吧。今天,我们接着抓取的天气数据,使用R语言中的ggplot2包对其进行探索性分析。

开始探索

一、数据处理

探索之前,我们再来看一下抓取下来的数据结构。

近7年上海天气数据抓取和分析含代码—分析部分
近7年上海天气数据抓取和分析含代码—分析部分

由于爬虫后获得的数据都是字符串,所以将weather数据集读入到R内,所有变量都成了因子型变量,为了下面的进一步分析,我们需要将数据集中的变量进行类型的转换。

近7年上海天气数据抓取和分析含代码—分析部分
近7年上海天气数据抓取和分析含代码—分析部分

除此之外,我们还需要将日期数据进行拆分,拆分为年、月和日,同时将年月日转化为因子,除此还根据每天的最高温和最低温,计算温差。

近7年上海天气数据抓取和分析含代码—分析部分
近7年上海天气数据抓取和分析含代码—分析部分

二、数据探索

上海近7年的最高或最低温度的趋势如何?

近7年上海天气数据抓取和分析含代码—分析部分
近7年上海天气数据抓取和分析含代码—分析部分

图形非常像我们以前学的y=sin(x)函数,非常具有规律性,反映了最高气温和最低气温存在周期波动性。既然气温在一年四季内存在明显的波动,那么温差会不会比较平稳呢?

上海近7年温差是如何波动的?

近7年上海天气数据抓取和分析含代码—分析部分
近7年上海天气数据抓取和分析含代码—分析部分

你会发现,每天的温差基本上还是比较平稳的,落在3~8度之间,当然也会存在一些气温异常的时候,温差能够达到10度以上。了解了整体近7年的温度趋势和温差波动情况,是不是可以纵向对比一下近3年各个月的温度情况。

近3年各月最低气温对比

近7年上海天气数据抓取和分析含代码—分析部分
近7年上海天气数据抓取和分析含代码—分析部分

对比发现,在近三年的5/6/8/9月份,最低气温趋势还是非常一致的,三条线几乎重合。而在7月份,2015年相对比较凉爽。再看其他月份,2016年的1月23号左右,气温骤降的特别厉害,还记得去年1月份上海的好多小区水管爆裂吗?而在2016年10月21日,气温居然降到了0度附近。。。。

同理,我们再贴上近3年最高气温趋势图和温差波动图的代码。

近7年上海天气数据抓取和分析含代码—分析部分
近7年上海天气数据抓取和分析含代码—分析部分
近7年上海天气数据抓取和分析含代码—分析部分

通过上面的图形对比,我们可以发现关于气温的一些规律,以及少数的异常天气。如果我想在一张图上,完全展示每一天的最高或最低气温,可以借助于热力图来完成。

热力图展示每天的最高气温分布

近7年上海天气数据抓取和分析含代码—分析部分
近7年上海天气数据抓取和分析含代码—分析部分

一眼就可以发现中间段的亮黄色是气温比较高的月份,即6/7/8月份,再往两边扩展,逐渐进入冷紫色,气温开始下降,基本上就是年初和年末的两个季度了。

前面分析的内容全都是基于温度相关的时间序列图形,从抓取下来的数据集中,还包含了关于天气的字段,如晴、多云、小雨这样的信息。接下来我们就来看看近一年中,每个月上海的天气分布状况,从而有助于了解各个月的天气特征。

近7年上海天气数据抓取和分析含代码—分析部分
近7年上海天气数据抓取和分析含代码—分析部分

从图中可知,9月份和10月,分别近半个月都在滴滴答答的下雨,正是处于梅雨季节。11月,12月及次年的1月雨水相对会少一些,更多的是多云和阴天天气。在整个近一年中,4月份的晴天天气是最多的,其次是2月份。

好啦,今天就介绍这么多,感兴趣的朋友可以跟着文章中的代码,练一练ggplot2的绘图功能。关于绘图,后期也会陆陆续续的出一些相关文章,期待大家的讨论与学习。

本文作者:天善智能社区 刘顺祥每天进步一点点2015

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

专题报道