微信号:opensourcepie

介绍:介绍新奇,有趣,实用的免费开源软件,为IT爱好者提供了一个发现、使用、并交流开源技术的平台

开源爬虫WebHubBot

2018-01-16 18:35 天马逍遥

WebHubBot是基于Python和MongoDB的开源网络爬虫,主要是爬取全球著名网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接,  10个线程同时请求, 爬取PornHub视频的速度可以达到500万/天以上(速度具体视个人网络情况)。

特色:

  • 主要使用 scrapy 爬虫框架

  • 从Cookie池和UA池中随机抽取一个加入到Spider

  • start_requests 根据 PorbHub 的分类,启动了5个Request,同时对五个分类进行爬取。

  • 并支持分页爬取数据,并加入到待爬队列。

启动配置:

  • 安装MongoDB,并启动,不需要配置

  • 安装Scrapy

  • 安装Python的依赖模块:pymongo、json、requests

  • 根据自己需要修改 Scrapy 中关于 间隔时间、启动Requests线程数等得配置

启动:

  • python PornHub/quickstart.py


开源派红包福利

【人人可领,天天可领,抢领大红包!】#吱口令#长按复制此消息,打开支付宝就能领取!GptxsZ439Q

------------------------------------------------------

微信订阅号:开源派 (opensourcepie)

↓点击阅读原文,查看下载链接

 
开源派 更多文章 巴塞罗纳市政局拥抱 Linux 跨平台的数据管理开源工具SQL Operations Studio 非官方的微信桌面客户端-weweChat 开源匿名爆料平台SecureDrop联合创始人 James Dolan自杀 文件上传开源组件WebUploader
猜您喜欢 2017年前端最热门链接汇总,你都看过了吗? 探索skynet(二):skynet如何启动一个服务 Python字符串关键点总结 基于gatling&jenkins快速打造性能测试平台 PyTips 0x1a - Python 浮点数运算