微信号:datakong

介绍:以分析的视角为切入点,蕴含以互联网、移动互联、IT等科技领域为主的一体化综合型信息服务平台.商务合作:qq:2677585642

2018年春运火车票今天开售,手把手教你用python抢票回家过年....

2018-01-03 09:41 数据挖掘与数据分析

说明:本文编辑protream 和marvin的文章成篇


首先看看如何快速查看剩余火车票?


作者 protream 

原文:http://www.jianshu.com/p/f411d7e10c41


当你想查询一下火车票信息的时候,你还在上12306官网吗?或是打开你手机里的APP?下面让我们来用Python写一个命令行版的火车票查看器, 只要在命令行敲一行命令就能获得你想要的火车票信息!如果你刚掌握了Python基础,这将是个不错的小练习。


接口设计


一个应用写出来最终是要给人使用的,哪怕只是给你自己使用。所以,首先应该想想你希望怎么使用它?让我们先给这个小应用起个名字吧,既然及查询票务信息,那就叫它tickets好了。我们希望用户只要输入出发站,到达站以及日期就让就能获得想要的信息,所以tickets应该这样被使用:

$ tickets from to date

另外,火车有各种类型,高铁、动车、特快、快速和直达,我们希望可以提供选项只查询特定的一种或几种的火车,所以,我们应该有下面这些选项:


  • -g   高铁

  • -d    动车

  • -t    特快

  • -k    快速

  • -z    直达


这几个选项应该能被组合使用,所以,最终我们的接口应该是这个样子的:

$ tickets [-gdtkz] from to date

接口已经确定好了,剩下的就是实现它了。


开发环境


写Python程序的一个良好实践是使用virtualenv这个工具建一个虚拟的环境。我们的程序使用Python3开发,下面在你的工作目录下建一个文件夹tickets,进去创建一个虚拟环境:

$ virtualenv -p /usr/bin/python3 venv

通过下面的命令激活它:

$ . venv/bin/activate

解析参数


Python有很多写命令行应用的工具,如argparse, docopt, options...这里,我们选用docopt这个简单易用的工具,我们先安装它:

$ pip3 install docopt

docopt可以按我们在文档字符串中定义的格式来解析参数,在tickets.py中:


# coding: utf-8

"""Train tickets query via command-line. Usage:    tickets [-gdtkz] <from> <to> <date> Options:    -h,--help        显示帮助菜单    -g               高铁    -d               动车    -t               特快    -k               快速    -z               直达 Example:    tickets 南京 北京 2016-07-01    tickets -dg 南京 北京 2016-07-01 """

from docopt import docopt

def cli():    """command-line interface"""    arguments = docopt(__doc__)    print(arguments)

if __name__ == '__main__':    cli()

下面我们运行一下这个程序:

$ python3 tickets.py 上海 北京 2016-07-01

我们得到下面的参数解析结果:

{'-d': False, '-g': False, '-k': False, '-t': False, '-z': False, '<date>': '2016-07-01', '<from>': '上海', '<to>': '北京'}

获取数据


参数已经解析好了,下面就是如何获取数据了,这也是最主要的部分。首先我们打开12306,进入余票查询页面,如果你使用chrome,那么按F12打开开发者工具,选中Network一栏,在查询框钟我们输入上海北京,日期2016-07-01, 点击查询,我们在调试工具发现,查询系统实际上请求了这个URL

https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate=2016-07-01&from_station=SHH&to_station=BJP


并且返回的是Json格式的数据!接下来问题就简单了,我们只需要构建请求URL然后解析返回的Json数据就可以了。但是我们发现,URL里面from_stationto_station并不是汉字,而是一个代号,而用户输入的是汉字,我们要如何获取代号呢?我们打开网页源码看看有没有什么发现。


啊哈!果然,我们在网页里面找到了这个链接:https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8955。这里面貌似是包含了所有车站的中文名,拼音,简写和代号等信息, 我们在项目目录下将它保存为stations.html。但是这些信息挤在一起,而我们只想要中文名和大写字母的代号信息,怎么办呢?


BINGO!正则表达式,我们写个小脚本来匹配提取出想要的信息吧, 在parse.py中:

# coding: utf-8

import re
from pprint import pprint

with open('stations.html', 'r') as f:    text = f.read()    stations = re.findall(u'([\u4e00-\u9fa5]+)\|([A-Z]+)', text)    pprint(dict(stations), indent=4)

我们运行这个脚本,它将以字典的形式返回所有车站和它的大写字母代号, 我们将结果重定向到stations.py中,

$ python3 parse.py > stations.py

我们为这个字典加名字,stations, 最终,stations.py文件是这样的:

stations = {    
    '一间堡': 'YJT',    '一面坡': 'YPB',
     ... 
    '龙镇': 'LZA',    '龙骨甸': 'LGM'
}

现在,用户输入车站的中文名,我们就可以直接从这个字典中获取它的字母代码了:

...
from stations import stations

def cli():    arguments = docopt(__doc__)    from_staion = stations.get(arguments['<from>'])    to_station = stations.get(arguments['<to>'])    date = arguments['<date>']    # 构建URL    url = 'https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate={}&from_station={}&to_station={}'.format(        date, from_staion, to_station )

万事俱备,下面我们来请求这个URL获取数据吧!这里我们使用requests这个库, 先安装它:

$ pip3 install requests

它提供了非常简单易用的接口,

...
import requests

def cli():    ...    # 添加verify=False参数, 不验证证书    r = requests.get(url, verify=False)    print(r.json())

从结果中,我们可以观察到,与车票有关的信息需要进一步提取:

def cli():
    ...
    r = requsets.get(url);
    rows = r.json()['data']['datas']

显示结果


数据已经获取到了,剩下的就是提取我们要的信息并将它显示出来。prettytable这个库可以让我们它像MySQL数据库那样格式化显示数据。

$ pip3 install prettytable

这样使用它:

...
from prettytable import PrettyTable

def cli():    ...    headers = '车次 车站 时间 历时 商务 一等 二等 软卧 硬卧 软座 硬座 无座'.split()    pt = PrettyTable()    pt._set_field_names(headers)
   for row in rows:
       # 从row中根据headers过滤信息, 然后调用pt.add_row()添加到表中        ...    print(pt)

其次我们看看如何自动抢:


作者:marvin,互联网从业者,现居上海张江


使用Python+Splinter自动刷新抢票,可以成功抢到。(依赖自己的网络环境太厉害,还有机器的好坏)

Splinter是一个使用Python开发的开源Web应用测试工具,它可以帮你实现自动浏览站点和与其进行交互,Splinter执行的时候会自动打开你指定的浏览器,访问指定的URL。然后你所开发的模拟的任何行为,都会自动完成,你只需要坐在电脑面前,像看电影一样看着屏幕上各种动作自动完成然后收集结果即可。

12306抢票Python代码片段

1、实现自动登录的函数:

2、开始购票的函数



源代码地址下载:https://pan.baidu.com/s/1eSClOXW


从2018年1月1日开始,调价至498


圈子介绍:

额,又涨了...打call


圈子圈友感受:

被我安利的那些人,如今觉得.....

凌晨两点还在敲代码,我究竟进了一个什么组织!



欢迎加入终身学习数据分析圈子,一次缴费,永久免费学



加入方式:

1、加我微信:seedata      

转账498,先拉微信群,再邀请进小密圈

(数据君亲自为你做客服)


2:扫码加入



犹豫的、不懂的、咨询的不要加,加了也是僵尸,时间宝贵,你我都珍惜

 
数据挖掘与数据分析 更多文章 详解 | 如何用Python实现机器学习算法 网易云音乐刷了我的过去... 买课送书活动最后1天 你知道为什么被18岁的爆照刷了吗? 百度×科赛 PaddlePaddle AI 大赛开赛啦
猜您喜欢 通过消息通道实现Web Workers间的通信 ASP.NET Core 开发:中间件 浅谈大型网站中基础架构与云平台部门的重要性 重新理解:ASP.NET 异步编程 Nodejs RESTFul架构实践之api