微信号:gh_f0737a722782

介绍:SegmentFault (www.sf.gg)开发者社区,是中国年轻开发者喜爱的极客社区,我们为开发者提供最纯粹的技术交流和分享平台.

使用机器学习预测天气(第一部分)

2018-01-13 08:00 xiaochao

概述

本章是使用机器学习预测天气系列教程的第一部分,使用Python和机器学习来构建模型,根据从Weather Underground收集的数据来预测天气温度。该教程将由三个不同的部分组成,涵盖的主题是:

  • 数据收集和处理(本文)

  • 线性回归模型(第2章)

  • 神经网络模型(第3章)

本教程中使用的数据将从Weather Underground的免费层API服务中收集。我将使用python的requests库来调用API,得到从2015年起Lincoln, Nebraska的天气数据。 一旦收集完成,数据将需要进行处理并汇总转成合适的格式,然后进行清理。

第二篇文章将重点分析数据中的趋势,目标是选择合适的特性并使用python的statsmodels和scikit-learn库来构建线性回归模型。 我将讨论构建线性回归模型,必须进行必要的假设,并演示如何评估数据特征以构建一个健壮的模型。 并在最后完成模型的测试与验证。

最后的文章将着重于使用神经网络。 我将比较构建神经网络模型和构建线性回归模型的过程,结果,准确性。

Weather Underground介绍

Weather Underground是一家收集和分发全球各种天气测量数据的公司。 该公司提供了大量的API,可用于商业和非商业用途。 在本文中,我将介绍如何使用非商业API获取每日天气数据。所以,如果你跟随者本教程操作的话,您需要注册他们的免费开发者帐户。 此帐户提供了一个API密钥,这个密钥限制,每分钟10个,每天500个API请求。

获取历史数据的API如下:

 
           
  1. http://api.wunderground.com/api/API_KEY/history_YYYYMMDD/q/STATE/CITY.json  

  • API_KEY: 注册账户获取

  • YYYYMMDD: 你想要获取的天气数据的日期

  • STATE: 州名缩写

  • CITY: 你请求的城市名

调用API

本教程调用Weather Underground API获取历史数据时,用到如下的python库。

名称 描述 来源
datetime 处理日期 标准库
time 处理时间 标准库
collections 使用该库的namedtuples来结构化数据 标准库
pandas 处理数据 第三方
requests HTTP请求处理库 第三方
matplotlib 制图库 第三方

好,我们先导入这些库:

 
           
  1. from datetime import datetime, timedelta  

  2. import time  

  3. from collections import namedtuple  

  4. import pandas as pd  

  5. import requests  

  6. import matplotlib.pyplot as plt  

接下里,定义常量来保存APIKEY和BASEURL,注意,例子中的API_KEY不可用,你要自己注册获取。代码如下:

 
           
  1. API_KEY = '7052ad35e3c73564'  

  2. # 第一个大括号是API_KEY,第二个是日期

  3. BASE_URL = "http://api.wunderground.com/api/{}/history_{}/q/NE/Lincoln.json"  

然后我们初始化一个变量,存储日期,然后定义一个list,指明要从API返回的内容里获取的数据。然后定义一个namedtuple类型的变量DailySummary来存储返回的数据。代码如下:

 
           
  1. target_date = datetime(2016, 5, 16)  

  2. features = ["date", "meantempm", "meandewptm", "meanpressurem", "maxhumidity", "minhumidity", "maxtempm",  

  3.            "mintempm", "maxdewptm", "mindewptm", "maxpressurem", "minpressurem", "precipm"]

  4. DailySummary = namedtuple("DailySummary", features)  

定义一个函数,调用API,获取指定target_date开始的days天的数据,代码如下:

 
           
  1. def extract_weather_data(url, api_key, target_date, days):  

  2.    records = []

  3.    for _ in range(days):

  4.        request = BASE_URL.format(API_KEY, target_date.strftime('%Y%m%d'))

  5.        response = requests.get(request)

  6.        if response.status_code == 200:

  7.            data = response.json()['history']['dailysummary'][0]

  8.            records.append(DailySummary(

  9.                date=target_date,

  10.                meantempm=data['meantempm'],

  11.                meandewptm=data['meandewptm'],

  12.                meanpressurem=data['meanpressurem'],

  13.                maxhumidity=data['maxhumidity'],

  14.                minhumidity=data['minhumidity'],

  15.                maxtempm=data['maxtempm'],

  16.                mintempm=data['mintempm'],

  17.                maxdewptm=data['maxdewptm'],

  18.                mindewptm=data['mindewptm'],

  19.                maxpressurem=data['maxpressurem'],

  20.                minpressurem=data['minpressurem'],

  21.                precipm=data['precipm']))

  22.        time.sleep(6)

  23.        target_date += timedelta(days=1)

  24.    return records

首先,定义个list records,用来存放上述的DailySummary,使用for循环来遍历指定的所有日期。然后生成url,发起HTTP请求,获取返回的数据,使用返回的数据,初始化DailySummary,最后存放到records里。通过这个函数的出,就可以获取到指定日期开始的N天的历史天气数据,并返回。

获取500天的天气数据

由于API接口的限制,我们需要两天的时间才能获取到500天的数据。你也可以下载我的测试数据,来节约你的时间。

 
           
  1. records = extract_weather_data(BASE_URL, API_KEY, target_date, 500)  

格式化数据为Pandas DataFrame格式

我们使用DailySummary列表来初始化Pandas DataFrame。DataFrame数据类型是机器学习领域经常会用到的数据结构。

 
           
  1. df = pd.DataFrame(records, columns=features).set_index('date')

特征提取

机器学习是带有实验性质的,所以,你可能遇到一些矛盾的数据或者行为。因此,你需要在你用机器学习处理问题是,你需要对处理的问题领域有一定的了解,这样可以更好的提取数据特征。

我将采用如下的数据字段,并且,使用过去三天的数据作为预测。

  • mean temperature

  • mean dewpoint

  • mean pressure

  • max humidity

  • min humidity

  • max dewpoint

  • min dewpoint

  • max pressure

  • min pressure

  • precipitation

首先我需要在DataFrame里增加一些字段来保存新的数据字段,为了方便测试,我创建了一个tmp变量,存储10个数据,这些数据都有meantempm和meandewptm属性。代码如下:

 
           
  1. tmp = df[['meantempm', 'meandewptm']].head(10)  

  2. tmp  

对于每一行的数据,我们分别获取他前一天、前两天、前三天对应的数据,存在本行,分别以属性_index来命名,代码如下:

 
           
  1. # 1 day prior

  2. N = 1

  3. # target measurement of mean temperature

  4. feature = 'meantempm'

  5. # total number of rows

  6. rows = tmp.shape[0]

  7. # a list representing Nth prior measurements of feature

  8. # notice that the front of the list needs to be padded with N

  9. # None values to maintain the constistent rows length for each N

  10. nth_prior_measurements = [None]*N + [tmp[feature][i-N] for i in range(N, rows)]

  11. # make a new column name of feature_N and add to DataFrame

  12. col_name = "{}_{}".format(feature, N)  

  13. tmp[col_name] = nth_prior_measurements  

  14. tmp  

我们现在把上面的处理过程封装成一个函数,方便调用。

 
           
  1. def derive_nth_day_feature(df, feature, N):  

  2.    rows = df.shape[0]

  3.    nth_prior_measurements = [None]*N + [df[feature][i-N] for i in range(N, rows)]

  4.    col_name = "{}_{}".format(feature, N)

  5.    df[col_name] = nth_prior_measurements

好,我们现在对所有的特征,都取过去三天的数据,放在本行。

 
           
  1. for feature in features:  

  2.    if feature != 'date':

  3.        for N in range(1, 4):

  4.            derive_nth_day_feature(df, feature, N)

处理完后,我们现在的所有数据特征为:

 
           
  1. df.columns  

  2. Index(['meantempm', 'meandewptm', 'meanpressurem', 'maxhumidity',  

  3.       'minhumidity', 'maxtempm', 'mintempm', 'maxdewptm', 'mindewptm',

  4.       'maxpressurem', 'minpressurem', 'precipm', 'meantempm_1', 'meantempm_2',

  5.       'meantempm_3', 'meandewptm_1', 'meandewptm_2', 'meandewptm_3',

  6.       'meanpressurem_1', 'meanpressurem_2', 'meanpressurem_3',

  7.       'maxhumidity_1', 'maxhumidity_2', 'maxhumidity_3', 'minhumidity_1',

  8.       'minhumidity_2', 'minhumidity_3', 'maxtempm_1', 'maxtempm_2',

  9.       'maxtempm_3', 'mintempm_1', 'mintempm_2', 'mintempm_3', 'maxdewptm_1',

  10.       'maxdewptm_2', 'maxdewptm_3', 'mindewptm_1', 'mindewptm_2',

  11.       'mindewptm_3', 'maxpressurem_1', 'maxpressurem_2', 'maxpressurem_3',

  12.       'minpressurem_1', 'minpressurem_2', 'minpressurem_3', 'precipm_1',

  13.       'precipm_2', 'precipm_3'],

  14.      dtype='object')

数据清洗

数据清洗时机器学习过程中最重要的一步,而且非常的耗时、费力。本教程中,我们会去掉不需要的样本、数据不完整的样本,查看数据的一致性等。

首先去掉我不感兴趣的数据,来减少样本集。我们的目标是根据过去三天的天气数据预测天气温度,因此我们只保留min, max, mean三个字段的数据。

 
           
  1. # make list of original features without meantempm, mintempm, and maxtempm

  2. to_remove = [feature  

  3.             for feature in features

  4.             if feature not in ['meantempm', 'mintempm', 'maxtempm']]

  5. # make a list of columns to keep

  6. to_keep = [col for col in df.columns if col not in to_remove]

  7. # select only the columns in to_keep and assign to df

  8. df = df[to_keep]  

  9. df.columns

  10. Index(['meantempm', 'maxtempm', 'mintempm', 'meantempm_1', 'meantempm_2',  

  11.       'meantempm_3', 'meandewptm_1', 'meandewptm_2', 'meandewptm_3',

  12.       'meanpressurem_1', 'meanpressurem_2', 'meanpressurem_3',

  13.       'maxhumidity_1', 'maxhumidity_2', 'maxhumidity_3', 'minhumidity_1',

  14.       'minhumidity_2', 'minhumidity_3', 'maxtempm_1', 'maxtempm_2',

  15.       'maxtempm_3', 'mintempm_1', 'mintempm_2', 'mintempm_3', 'maxdewptm_1',

  16.       'maxdewptm_2', 'maxdewptm_3', 'mindewptm_1', 'mindewptm_2',

  17.       'mindewptm_3', 'maxpressurem_1', 'maxpressurem_2', 'maxpressurem_3',

  18.       'minpressurem_1', 'minpressurem_2', 'minpressurem_3', 'precipm_1',

  19.       'precipm_2', 'precipm_3'],

  20.      dtype='object')

为了更好的观察数据,我们使用Pandas的一些内置函数来查看数据信息,首先我们使用info()函数,这个函数会输出DataFrame里存放的数据信息。

 
           
  1. df.info()

  2. <class 'pandas.core.frame.DataFrame'>  

  3. DatetimeIndex: 1000 entries, 2015-01-01 to 2017-09-27  

  4. Data columns (total 39 columns):  

  5. meantempm          1000 non-null object  

  6. maxtempm           1000 non-null object  

  7. mintempm           1000 non-null object  

  8. meantempm_1        999 non-null object  

  9. meantempm_2        998 non-null object  

  10. meantempm_3        997 non-null object  

  11. meandewptm_1       999 non-null object  

  12. meandewptm_2       998 non-null object  

  13. meandewptm_3       997 non-null object  

  14. meanpressurem_1    999 non-null object  

  15. meanpressurem_2    998 non-null object  

  16. meanpressurem_3    997 non-null object  

  17. maxhumidity_1      999 non-null object  

  18. maxhumidity_2      998 non-null object  

  19. maxhumidity_3      997 non-null object  

  20. minhumidity_1      999 non-null object  

  21. minhumidity_2      998 non-null object  

  22. minhumidity_3      997 non-null object  

  23. maxtempm_1         999 non-null object  

  24. maxtempm_2         998 non-null object  

  25. maxtempm_3         997 non-null object  

  26. mintempm_1         999 non-null object  

  27. mintempm_2         998 non-null object  

  28. mintempm_3         997 non-null object  

  29. maxdewptm_1        999 non-null object  

  30. maxdewptm_2        998 non-null object  

  31. maxdewptm_3        997 non-null object  

  32. mindewptm_1        999 non-null object  

  33. mindewptm_2        998 non-null object  

  34. mindewptm_3        997 non-null object  

  35. maxpressurem_1     999 non-null object  

  36. maxpressurem_2     998 non-null object  

  37. maxpressurem_3     997 non-null object  

  38. minpressurem_1     999 non-null object  

  39. minpressurem_2     998 non-null object  

  40. minpressurem_3     997 non-null object  

  41. precipm_1          999 non-null object  

  42. precipm_2          998 non-null object  

  43. precipm_3          997 non-null object  

  44. dtypes: object(39)  

  45. memory usage: 312.5+ KB

注意:每一行的数据类型都是object,我们需要把数据转成float。

 
           
  1. df = df.apply(pd.to_numeric, errors='coerce')  

  2. df.info()

  3. <class 'pandas.core.frame.DataFrame'>  

  4. DatetimeIndex: 1000 entries, 2015-01-01 to 2017-09-27  

  5. Data columns (total 39 columns):  

  6. meantempm          1000 non-null int64  

  7. maxtempm           1000 non-null int64  

  8. mintempm           1000 non-null int64  

  9. meantempm_1        999 non-null float64  

  10. meantempm_2        998 non-null float64  

  11. meantempm_3        997 non-null float64  

  12. meandewptm_1       999 non-null float64  

  13. meandewptm_2       998 non-null float64  

  14. meandewptm_3       997 non-null float64  

  15. meanpressurem_1    999 non-null float64  

  16. meanpressurem_2    998 non-null float64  

  17. meanpressurem_3    997 non-null float64  

  18. maxhumidity_1      999 non-null float64  

  19. maxhumidity_2      998 non-null float64  

  20. maxhumidity_3      997 non-null float64  

  21. minhumidity_1      999 non-null float64  

  22. minhumidity_2      998 non-null float64  

  23. minhumidity_3      997 non-null float64  

  24. maxtempm_1         999 non-null float64  

  25. maxtempm_2         998 non-null float64  

  26. maxtempm_3         997 non-null float64  

  27. mintempm_1         999 non-null float64  

  28. mintempm_2         998 non-null float64  

  29. mintempm_3         997 non-null float64  

  30. maxdewptm_1        999 non-null float64  

  31. maxdewptm_2        998 non-null float64  

  32. maxdewptm_3        997 non-null float64  

  33. mindewptm_1        999 non-null float64  

  34. mindewptm_2        998 non-null float64  

  35. mindewptm_3        997 non-null float64  

  36. maxpressurem_1     999 non-null float64  

  37. maxpressurem_2     998 non-null float64  

  38. maxpressurem_3     997 non-null float64  

  39. minpressurem_1     999 non-null float64  

  40. minpressurem_2     998 non-null float64  

  41. minpressurem_3     997 non-null float64  

  42. precipm_1          889 non-null float64  

  43. precipm_2          889 non-null float64  

  44. precipm_3          888 non-null float64  

  45. dtypes: float64(36), int64(3)  

  46. memory usage: 312.5 KB  

现在得到我想要的数据了。接下来我们调用describe()函数,这个函数会返回一个DataFrame,这个返回值包含了总数、平均数、标准差、最小、25%、50%、75%、最大的数据信息。

接下来,使用四分位的方法,去掉25%数据里特别小的和75%数据里特别大的数据。

 
           
  1. # Call describe on df and transpose it due to the large number of columns

  2. spread = df.describe().T

  3. # precalculate interquartile range for ease of use in next calculation

  4. IQR = spread['75%'] - spread['25%']

  5. # create an outliers column which is either 3 IQRs below the first quartile or

  6. # 3 IQRs above the third quartile

  7. spread['outliers'] = (spread['min']<(spread['25%']-(3*IQR)))|(spread['max'] > (spread['75%']+3*IQR))

  8. # just display the features containing extreme outliers

  9. spread.ix[spread.outliers,]  

评估异常值的潜在影响是任何分析项目的难点。 一方面,您需要关注引入虚假数据样本的可能性,这些样本将严重影响您的模型。 另一方面,异常值对于预测在特殊情况下出现的结果是非常有意义的。 我们将讨论每一个包含特征的异常值,看看我们是否能够得出合理的结论来处理它们。

第一组特征看起来与最大湿度有关。 观察这些数据,我可以看出,这个特征类别的异常值是非常低的最小值。这数据看起来没价值,我想我想仔细看看它,最好是以图形方式。 要做到这一点,我会使用直方图。

 
           
  1. %matplotlib inline

  2. plt.rcParams['figure.figsize'] = [14, 8]  

  3. df.maxhumidity_1.hist()  

  4. plt.title('Distribution of maxhumidity_1')  

  5. plt.xlabel('maxhumidity_1')  

  6. plt.show()

查看maxhumidity字段的直方图,数据表现出相当多的负偏移。 在选择预测模型和评估最大湿度影响的强度时,我会牢记这一点。 许多基本的统计方法都假定数据是正态分布的。 现在我们暂时不管它,但是记住这个异常特性。

接下来我们看另外一个字段的直方图

 
           
  1. df.minpressurem_1.hist()  

  2. plt.title('Distribution of minpressurem_1')  

  3. plt.xlabel('minpressurem_1')  

  4. plt.show()

要解决的最后一个数据质量问题是缺失值。 由于我构建DataFrame的时候,缺少的值由NaN表示。 您可能会记得,我通过推导代表前三天测量结果的特征,有意引入了收集数据前三天的缺失值。 直到第三天我们才能开始推导出这些特征,所以很明显我会想把这些头三天从数据集中排除出去。

再回头再看一下上面info()函数输出的信息,可以看到包含NaN值的数据特征非常的少,除了我提到的几个字段,基本就没有了。因为机器学习需要样本字段数据的完整性,因为如果我们因为降水量那个字段为空,就去掉样本,那么会造成大量的样本不可用,对于这种情况,我们可以给为空的降水量字段的样本填入一个值。根据经验和尽量减少由于填入的值对模型的影响,我决定给为空的降水量字段填入值0。

 
           
  1. # iterate over the precip columns

  2. for precip_col in ['precipm_1', 'precipm_2', 'precipm_3']:  

  3.    # create a boolean array of values representing nans

  4.    missing_vals = pd.isnull(df[precip_col])

  5.    df[precip_col][missing_vals] = 0

填入值后,我们就可以删掉字段值为空的样本了,只用调用dropna()函数。

 
           
  1. df = df.dropna()  

总结

这篇文章主要介绍了数据的收集、处理、清洗的流程,本篇文章处理完的处理,将用于下篇文章的模型训练。

对你来说,这篇文章可能很枯燥,没啥干货,但好的样本数据,才能训练处好的模型,因此,样本数据的收集和处理能力,直接影响你后面的机器学习的效果。

英文原文:http://stackabuse.com/using-machine-learning-to-predict-the-weather-part-1/

转自我的博客【捕蛇者说】 http://www.bugcode.cn/mlweatherpart01.html


相关文章推荐


为什么大家都不戳破深度学习的本质?


欢迎关注 SegmentFault 微信公众号 :)

 
SegmentFault 更多文章 负载均衡中使用 Redis 实现共享 Session SegmentFault 年终盘点 - 2017 Top Rank PHP 高级面试题 - 如果没有 mb 系列函数,如何切割多字节字符串 如何做一个小程序口令红包功能 WebSocket:5分钟从入门到精通
猜您喜欢 单元测试和集成测试业务应用程序(上篇) 周报05 | 我是如何赚取第二份收入的?| 狸木匠 13种方法,32张PPT,从“心相”到“皮相”详解情感化设计(附PDF文件下载) React中一个没人能解释清楚的问题——为什么要使用Virtual DOM 架构视角解读PaaS和容器平台