微信号:PythonTZXY

介绍:每天更新,更新python相关的知识.希望诸君有所收获!

爬取朋友圈,Get年度关键词

2017-11-03 15:39 圣杰

环境准备

本文所写爬虫基于python2.7 + scrapy + jieba + wordcloud,使用VS Code IDE。

  1. Scrapy为Python中比较流行的爬虫框架。

  2. Jieba是比较好用的中文分词模块。

  3. Wordcloud 用于生成词云。

生成爬虫项目

第一步:命令行执行scrapy startproject weixin_moment,生成Scrapy爬虫项目。
第二步:进入创建的weixin_moment目录,执行scrapy genspider 'moment' 'chushu.la'创建朋友圈爬虫。
执行以上两步后的文件夹结构如下:


分析数据源

数据的准确抓取,需要对数据源进行准确分析。这一步我们就要来分析【出书啦】生成的微信书链接的数据加载方式。老规矩,F12开发者工具用起来。


从上图我们可以看出这是一个get请求,返回的json类型格式数据。

点击Preview页签可以看到如下图所示的数据:

从图中可以看到返回的目录导航数据包,其数据是按月份进行加载的。当点击导航按钮,其加载对应月份的朋友圈数据。

我们点击【2014-3】再观察网络请求,发现如下请求:

从以上数据我们可以明细看出,其采用的是用json传参的post的方式请求数据包。点击Preview页签,看到返回的分页JSON数据包。

展开某个节点,我们可以发现朋友圈数据藏在data/paras节点下。

至此,我们完成数据的来源分析。

蜘蛛来也

完成了数据源分析,我们只需构造数据请求,并进行正确的数据解析,即可拿到我们想要的数据!

请求导航数据包

修改moment.py定义start_requests方法:

bookid = '12345678'  #请填写【出书啦】返回链接中的数字部分def start_requests(self):        """        使用get方式请求导航数据包        """        url = 'http://chushu.la/api/book/chushula-{0}?isAjax=1'.format(self.bookid)  #获取目录的url        yield scrapy.Request(url, callback=self.parse)

重载parse方法,解析获取到的导航数据包:

def parse(self, response):        """        处理获取到的导航数据包        """        json_body = json.loads(response.body)  #加载json数据包        catalogs = json_body['book']['catalogs']  #获取json中的目录数据包

发送导航请求,抓取朋友圈数据

根据上面跟踪到发出的http导航请求,要想抓取到朋友圈数据,我们需要根据发出的请求参数构造参数。

从上图可知,主要包含五个参数:

  1. type:"year_month"为默认值

  2. year: 年份

  3. month: 月份

  4. index: 第几页

  5. value : 由年月拼接的字符串

继续修改我们的parse方法,遍历我们第一步抓取到的导航数据包构造请求参数:

def parse(self, response):
        """        处理获取到的导航数据包        """
        json_body = json.loads(response.body)  #加载json数据包
        catalogs = json_body['book']['catalogs']  #获取json中的目录数据包
        url = 'http://chushu.la/api/book/wx/chushula-{0}/pages?isAjax=1'.format(self.bookid) #分页数据url
        start_page = int(catalogs[0]['month'])  #获取起始月份作为index传值
        for catalog in catalogs:
            year = catalog['year']
            month = catalog['month']
            formdata = {                "type": 'year_month',                "year": year,                "month": month,                "index": str(start_page),                "value": 'v_{0}{1}'.format(year, month)
            }
            start_page += 1

因为从我们跟踪到的http请求来看是基于json传参的post请求:
所以我们要这样发起请求:

yield scrapy.Request(
                url,
                method='POST',
                body=json.dumps(formdata),
                headers={'Content-Type': 'application/json'},
                callback=self.parse_moment)

同样我们需要定义一个回调函数用来处理返回的朋友圈数据。定义parse_moment方法,根据返回的json数据包进行数据提取:

def parse_moment(self, response):
        """        朋友圈数据处理        """
        json_body = json.loads(response.body)
        pages = json_body['pages']
        pattern = re.compile(u"[\u4e00-\u9fa5]+")  #匹配中文
        item = WeixinMomentItem()        for page in pages:            if (page['type'] == "weixin_moment_page"):# 仅抓取朋友圈分页数据
                paras = page['data']['paras']                if paras:
                    moment = ''
                    for content in paras[0]['rows']:
                        result = re.findall(pattern,
                                            content['data'])  #使用正则匹配所有中文朋友圈
                        moment += ''.join(result)
                    item['moment'] = moment
                    item['date'] = page['data']['dateText']#获取时间
                    yield item

以上用到了定义的WeixinMomentItem。修改items.py,做如下修改:

class WeixinMomentItem(scrapy.Item):
    """    朋友圈Item    """
    # define the fields for your item here like:
    # name = scrapy.Field()
    date = scrapy.Field()  #日期
    moment = scrapy.Field()  #朋友圈文字

至此我们完成爬虫的书写。是不是迫不及待跑一下。

蜘蛛爬起来

命令行执行scrapy crawl moment -o moment.json,稍等片刻,热乎的朋友圈数据就生成到moment.json文件中了。

分词处理

jieba中文分词提供了便利的接口用于分词和词频统计。我们直接调用jieba.cut方法即可得到分词结果。在此之前我们需要加载我们爬取的朋友圈数据,即保存到moment.json文件中的数据,并拼接所有朋友圈文本传参至jieba.cut即可。
新添加一个analyse.py文件,定义analyse_words方法:

# -*- coding: utf-8 -*-"""分析导出的朋友圈数据"""import jsonimport osimport jiebafrom wordcloud import WordClouddef analyse_words():
    """    分析抓取到的朋友圈数据,使用jieba进行分词,使用wordcloud生成词云    """
    curr_path = os.path.dirname(__file__)  # 当前文件文件夹所在目录
    parent_path = os.path.dirname(curr_path)  # 上层目录
    file_path = os.path.join(parent_path, 'moment.json')
    font_path = os.path.join(parent_path, "simhei.ttf")    if not os.path.isfile(file_path):        return
    with open(file_path) as moment_file:
        data = json.load(moment_file)  # 使用json加载文件
        moments = [item.get('moment', '') for item in data]  # 获取朋友圈文字数组
        contents = ' '.join(moments)  # 拼接为长文本
        cut_texts = ' '.join(jieba.cut(contents))  # 使用结巴分词进行中文分词

生成关键词词云

词云需要基于上一步的分词结果生成词云。代码也很简单:

cloud = WordCloud(font_path=font_path)
        wordcloud = cloud.generate(cut_texts)  #生成词云
        wordcloud.to_file('keys.png')  #保存图片
        image = wordcloud.to_image()  # 转化为图片
        image.show()  # 展示图片

最后在文件末尾调用analyse_words(),命令行执行python analyse.py即可生成关键词!

你可能嫌弃以上生成的词云比较丑,没关系,你可以使用wordart做出各种酷炫的效果。


作者:圣杰

源自:http://www.cnblogs.com/sheng-jie/p/7776495.html

声明:文章著作权归作者所有,如有侵权,请联系小编删除




 
Python学习交流 更多文章 利用Python实现微博监控 Python精选面试题 Python基础:多线程编程 小测试:你是“保守派程序员”还是“自由派程序员” 每天叫醒我的:不是闹钟,而是梦想!
猜您喜欢 Hello World 程序的起源与历史 电脑C盘空间越来越小怎么办?教你释放你的C盘,赶紧分享吧! 母鸡与前端工程师 低学历也能拿高薪|大专生学达内java斩获月薪12K 推荐系统的苟且和远方