微信号:programmer_club

介绍:程序员第一自媒体,与你探讨码农人生路上遇到的各类泛技术话题,定期为你推荐码农人生思考、感悟以及启迪!

小白都懂的Python爬虫之网易云音乐下载

2018-10-10 22:00 程序员之家

微信又改版了,为了方便第一时间看到我们的推送,请按照下列操作,设置“置顶”:点击上方蓝色字体“程序员之家”-点击右上角“…”-点击“设为星标”。

可以啦,让我们继续相互陪伴。


源 /  网络

目标

偶然的一次机会听到了房东的猫的《云烟成雨》,瞬间迷上了这慵懒的嗓音和学生气的歌词,然后一直去循环听她们的歌。然后还特意去刷了动漫《我是江小白》,好期待第二季…

我多想在见你,哪怕匆匆一眼就别离…
好了,不说废话了。这次的目标主要是根据网易云中歌手的ID,下载该歌手的热门音乐的歌词和音频,并保存到本地的文件夹中。

配置基础

Python

Selenium(配置方法参照:Selenium配置)

Chrome浏览器(其它的也可以,需要进行相应的修改)

分析

如果爬取过网易云的网站的小伙伴都应该知道网易云是有反爬取机制的,POST时需要对一些信息的参数进行加密函数的模拟。但是这里为了简便,小白也能理解。直接使用了Selenium来模拟登录,然后使用接口来直接下载音乐和歌词。

实验步骤:

  • 根据歌手ID获取该歌手的热门歌曲列表,歌曲名称和链接,并保存到csv文件中;

  • 读取csv文件,根据歌曲链接,提取歌曲ID,然后利用相应的接口,下载音乐和歌词;

  • 将音乐和歌词保存到本地。

Python实现

该部分将对几个关键的函数进行介绍…

获取歌手信息
利用Selenium我们就不需要看对网页的请求了,直接可以从网页源码中提取相应的信息。查看歌手页面源码可以发现,我们需要的信息在iframe框架内,所以我们先需要切换到iframe:

browser.switch_to.frame('contentFrame')

继续往下看,发现我们需要的歌曲名字和链接是在id=”hotsong-list”的标签中,然后每一行对应的是一个tr标签。所以先获取所有的tr内容,然后遍历单个tr。

data = browser.find_element_by_id("hotsong-list").find_elements_by_tag_name("tr")

注意:前一个是find_element,后一个是find_elements,后者返回一个列表。

接下来就是解析单个tr标签的内容,获取歌曲名字和链接,可以发现两者在class=”txt”标签中,而且链接是href属性,名字是title属性,可以直接通过get_attribute()函数获取。

for i in range(len(data)):
   content = data[i].find_element_by_class_name("txt")
   href = content.find_element_by_tag_name("a").get_attribute("href")
   title = content.find_element_by_tag_name("b").get_attribute("title")
   song_info.append((title, href))

下载歌词

网易云有个获取歌词的接口,链接为:http://music.163.com/api/song…

链接中的数字就是歌曲的id,所以我们拥有歌曲id后,可以直接从该链接下载歌词,歌词文件是json格式,所以我们需要用到json包。

而且直接获取的歌词中,每行有一个时间轴,需要用正则表达式来剔除,完整代码如下:

def get_lyric(self):
   url = 'http://music.163.com/api/song/lyric?' + 'id=' + str(self.song_id) + '&lv=1&kv=1&tv=-1'
   r = requests.get(url)
   json_obj = r.text
   j = json.loads(json_obj)
   lyric = j['lrc']['lyric']
   # 利用正则表达式去除时间轴
   regex = re.compile(r'\[.*\]')
   final_lyric = re.sub(regex, '', lyric)
   return final_lyric

下载音频

网易云也提供了音频文件的接口,链接为:http://music.163.com/song/med…

链接中的数字为歌曲的id,可以直接根据歌曲的id来下载音频文件。完整代码如下:

def get_mp3(self):
   url = 'http://music.163.com/song/media/outer/url?id=' + str(self.song_id)+'.mp3'
   try:
       print("正在下载:{0}".format(self.song_name))
       urllib.request.urlretrieve(url, '{0}/{1}.mp3'.format(self.path, self.song_name))
       print("Finish...")
   except:
       print("Fail...")

Reference
python 根据网易云歌曲的ID 直接下载歌曲  https://blog.csdn.net/qq_38282706/article/details/80300546
Windows上安装Selenium爬取网易云歌曲  https://zhuanlan.zhihu.com/p/42078956
源码地址

Github:https://github.com/blueberryc/web_crawler/blob/master/code/WYmusic.zip


公众号内回复“1”带你进粉丝群

 
程序员之家 更多文章 为什么阿里飞猪、滴滴、携程都被质疑滥用大数据杀熟? 抖音一姐直播笑唱国歌被封,网友:早就该封了! 程序员不满薪资拒绝offer,HR怒称:估计你一辈子就是个程序员 明天又上班了,真好~ 越同意,越放肆!国人隐私不值钱?
猜您喜欢 18个你可能不相信是用CSS制作出来的东西 漫画:“架构师”小赵的故事 改变自己的9个细节 Python基础教程4:变量类型 通过构建微服务来学习Docker(上)