微信号:Kesciw

介绍:kesci.com - 科赛网,专业的大数据竞赛平台,帮助中国青年收获数据领域的伙伴和经验,锻炼数据才能,对接发展机会.

分析完2550个TED,数据说这40个值得看丨附演讲链接、源代码

2018-12-18 20:00 小科

TED,由技术(Technology),娱乐(Entertainment)和设计(Design)中各取一个首字母组成,1984年由Richard Saulman创办,召集众多领域的杰出人物进行演讲,现在已经是第24年了。



TED演讲大多只有短短十几分钟,却能让你大呼“值得”,这三点也是它如此著名的原因:

  • 开拓眼界

  • 提升认知

  • 解决问题


但这么多演讲,没法每个都看,不如让数据帮忙选择,分析哪些演讲更受欢迎。


数据集来源

2017年9月21日之前上传到官方网站TED.com的所有TED Talks演讲录制信息


  • https://www.kaggle.com/rounakbanik/ted-data-analysis/notebook


  数据总览  


简单查看一下数据集,发现共有2550行数据17列特征


17列特征中蕴含的信息包括:

演讲名称、演讲内容、播放量、评论数量、主要发言人、主要发言人的职业、发言人数量、主题标签、可选语言、演讲时长、演讲评级、演讲所属活动、拍摄时间、发布时间、相关推荐、URL链接


一般来说,从播放量和评论数就可以看出哪些视频受欢迎,但既然有这么多的特征,不如再做一些更有趣的观察。


先用ted.describe()进行简单的描述性统计:

  • 单人演讲居多,占97.7%,最多5人同时上台;

  • 演讲时长在2-88分钟之间,79.1%的演讲小于18分钟;

  • 评论数在2-6404条之间,平均值在191.5条左右;

  • 平均播放量为170w,最高达到4700w;

  • TED提供多种语言的选择,最多达72种。


话不多说,我们先从这2550个演讲中找出人气最高的吧。


  人气最高的演讲  



浏览量前十榜单


排名

演讲名称

播放量

1

Do schools kill creativity?

4722w

2

Your body language may shape who you are

4316w

3

How great leaders inspire action

3431w

4

The power of vulnerability

3117w

5

10 things you didn't know about orgasm    

2227w

6

How to speak so that people want to listen

2159w

7

My stroke of insight

2119w

8

Why we do what we do

2069w

9

This is what happens when you reply to spam email

2048w

10

Looks aren't everything. Believe me, I'm a model

1979w


最受欢迎的演讲是 Do Schools Kill Creativity? ,播放量高达47 million,该演讲也是在2006年6月27日第一批被发布到TED官网上的演讲之一;


但在画出的分布图中,“长尾”太长了,根本看不出浏览量的分布状况。



回顾描述性统计,93.5%的演讲浏览量低于4 million,不如把浏览量小于40 million的视频再画一个分布图:


视频播放量的平均值是1.7 million,中位数是1.1 million,可见TED视频的流行程度还是很高的。


评论数前十榜单


讨论人气视频时,评论数也是不可忽视的因素,所以,我们又找到评论数排名前十的视频。

PS:数据集中只收集了一级评论的数量,接下来的分析也以这个数量作为标准。我们假定,有更多一级评论的视频,讨论人数更多。


排名

演讲名称

评论数

1

Militant atheism

6404

2

Do schools kill creativity?

4553

3

Science can answer moral questions

3356

4

My stroke of insight

2877

5

How do you explain consciousness?

2673

6

Taking imagination seriously

2492

7

On reading the Koran

2374

8

Your body language may shape who you are

2290

9

The danger of science denial

2272

10

How great leaders inspire action

1930


 Militant atheism 是讨论最热烈的TED演讲,一共有6404条一级评论,尽管其播放量仅是 Do Schools Kill Creativity? 的十分之一。


但画出的分布图中依然严重被outlier影响。


由于93.3%的评论少于500条的,我们把小于500评论数的分布图画出来:

仅仅在官网,评论数的平均值就有191条,中位数是118条,他们的讨论度还是不错的。


播放量与评论数的相关关系


 Do Schools Kill Creativity? 既是播放量第一、又是评论数第二,但评论数最多的 Militant atheism 甚至没有进入播放量前十榜单,那播放量和评论数会不会有相关关系呢?


我们接下来进行更深入的研究。


播放量

评论数

播放量

1.000000

0.530939

评论数

0.530939

1.000000


从联合分布图&相关矩阵可以看出,播放量和评论数的pearson相关系数为 0.53,是中等到强相关的程度。


讨论最热烈的视频


分析完这两项,我有了新的灵感:

  • 哪些视频讨论更热烈?


说干就干,定义一个新特征:讨论指数

  • 讨论指数 = 评论量/浏览量*10000


得到讨论指数最高的10个视频:

排名

演讲名称

讨论指数

1

The case for same-sex marriage

22.2

2

E-voting without fraud

15.3

3

Militant atheism

14.6

4

Inside a school for suicide bombers

14.2

5

Taking imagination seriously

13.6

6

On reading the Koran

12.9

7

Curating humanity's heritage

12.6

8

The danger of science denial

12.4

9

How do you explain consciousness?

12.4

10

Dance to change the world

12.3


讨论指数最高的视频是 The Case for Same Sex Marriage,讨论美国关于婚姻平等立法的问题。同性婚姻往往与宗教、政治、人权等一系列容易引起争议的话题标签相连,因此引起热议并不令人惊奇。


纵观评论指数前10名的演讲,大部分含有“宗教”、“科学”或者“政治”的标签,可见相比于“文化”、“艺术”,这些话题更容易引起人们的争议和探讨。


  按主题分析  


流行主题变迁


TED原本专注于Technology,Entertainment和Design,但发展到今天,其包含的主题已经非常多样化。


在所有的演讲视频中,TED一共定义了416个不同标签,这10个标签最为受欢迎:


technology

science

global issues

culture

TEDx

design

business

entertainment

health

innovation



正如我们所料,“技术”是最流行的演讲主题,随后是“科学”“全球问题”“文化”“娱乐”“设计”也进入了前十,分别排在第8名和第6名。


这些流行主题的发展趋势又是如何演变的?


排除TEDx这个不相关的标签,我们选取了前7个演讲主题(技术、科学、全球问题、文化、设计、商业、娱乐),并分析2009-2017年间这些话题的占比,希望看到流行话题的演变过程:



可以看到,技术类话题的比例基本稳步上升,考虑到区块链,深度学习,AR等新技术的爆发,这在意料之中;与之相反的是,文化类话题下降严重,2017年,其比例已经降到最低。


吸引观众的主题


下面调查一下哪些主题对观众的吸引力更强。


我们筛选出含有前10名主题的演讲视频,按主题分类,观察不同类别的视频播放量的分布情况。


我们可以看出,尽管“文化”主题占比逐年减少,但这个主题还是很受欢迎的,其视频浏览量的中位数和上四分位数都高于其他主题。或许TED应该考虑适当增加一些文化类演讲的数量?


  评价分析  


TED提供了14个评价词,用户可以在其中选择词语对演讲进行评价。

Funny

Beautiful

Ingenious

Courageous

Longwinded

Confusing

Informative

OK

Fascinating

Unconvincing

Persuasive

Jaw-dropping

Obnoxious

Inspiring


生活这么累,那就找找有趣的视频吧:

排名

演讲名称

Funny

被提次数

1

Do schools kill creativity?

19645

2

This is what happens when you reply to spam email

7731

3

Lies, damned lies and statistics (about TEDTalks)

5552

4

It's time for "The Talk"

4025

5

Did you hear the one about the Iranian-American?

4013

6

Bring on the learning revolution!

3000

7

8 secrets of success

2966

8

Nerdcore comedy

2799

9

Why people believe weird things

2751

10

The shared experience of absurdity

2401


高居榜首的又是我们熟悉的 Do Schools Kill Creativity?


所以,TED视频的浏览量和视频有趣程度是否相关呢?

使用全部数据

pearson系数=0.4

中度相关

使用浏览量< 4 million的数据

pearson系数=0.15

弱相关


很遗憾,视频的有趣程度和播放量有一定相关性,但并不大。


  演讲者分析  



演讲者出场次数


再把目光转向拥有杰出思想的演讲者们,这10位演讲者出场次数最多:

Hans Rosling

Juan Enriquez

Rives

MarcoTempest

Clay Shirky

Nicholas Negroponte

Julian Treasure

Dan Ariely

Jacqueline Novogratz

Bill Gates


  • Hans Rosling 是来自瑞士的健康领域的专家。他显然是最受欢迎的TED演讲者,一共出现了9次;

  • 第二名是Juan Enriquez,出现了7次;

  • 并列第三名是RivesMarco Tempest,出现了6次。


他们被TED邀请会不会和职业也有关系呢?


演讲者职业分布



  • 显然,作家最受欢迎,有超45位演讲者把自己定义为“作家”这个职业;

  • 艺术家 和 设计师 排在第二位,每个类别有35位左右;

  • 但分析可能存在不准确的地方,因为很多人认证了多种职业,例如“作家/企业家”;

  • 如果想要得到更准确的结果,需要对职业这一列进行数据清理,将多重职业拆分,方便进一步的分析。


各职业的视频浏览量


目光转回观众,某些特定职业的演讲是否会吸引更多的观众?来看看这十大热门职业的演讲浏览量。



显然,观众们对作家和心理学家的演讲更加感兴趣。


  相关视频分析  


观看TED演讲的时候,旁边都有“相关视频推荐”,这些相关视频真的相关吗?


网络分析走一波。

  • 使用网络分析构图时,每一个视频单独构成一个点,两个视频之间如果有推荐关系,则添加一条边。

  • 在这里,我们使用networkx库实现画图功能。

emmmm...好像大家都比较统一,网络非常的密集。


这也给了我们一个启示:无论演讲的主题多么的多样化,他们之间总会有一些联系,不存在“遗世而独立”的现象,例如一个行业问题,可能会同时用到生物学、心理学、市场营销等知识。


  演讲词汇云图  


TED演讲者最常用的词汇有哪些?我们用WordCloud库创造一个云图:

最常见的词汇有one, now, people, know, think, see,看起来TED很强调对人和知识的观察、理解和思考


  其他有趣观察  


在这个数据集中,我们还能观察到其他有意思的现象。


用Heatmap看TED演讲视频近几年的数量演变:

近几年迎来TED的数量迎来爆发式增长。



TED演讲嘉宾最多达到5个,原来这是一场舞蹈表演,A dance to honor Mother Earth



平均来说,一个TED演讲视频拥有27种语言的文稿,最多达到了72种语言—— Try something new for 30 days,浏览量达到8 million。



TED的著名之处在于限制时间的短演讲,一般少于18分钟的,但也有意外。


最短的演讲是TED2007上的 The ancestor of language ,一共2分12秒。


最长的演讲并不是TED自己的演讲,而是University of California的活动——Parrots, the universe and everything ,长达87.6分钟。



还有很多人用TED练英语,那么我们看一下演讲文本中的词汇量。



平均每个演讲含有1972个单词,最长的演讲含有9044个单词。标准差很大,有1009个单词。


而演讲者的平均速度是每分钟142个单词,最快的演讲者每分钟说247个单词,而正常的英语语速度在125-150个单词/每分钟。


我们看看是TED华少是谁:


Mae Jemison的 Teach arts and sciences together


但这也值得商榷,因为她的语速并没有想象中快。


  福利时间  


1.

>>>TED链接<<<


公众号后台回复“ted

获取浏览量前十的TED直达链接

开始你的TED之旅



2.

>>>项目源码<<<


点击“阅读原文”,查看源码

点击Fork,调教你的数据集


 
Kesci数据实践 更多文章 年前最后一个免费训练营丨「2018GAMMA 智能营销实习僧专属训练营」招募中 One of Not Many丨线性资本实习生计划启动 一顿麦当劳吃了0卡路里?Plotly告诉你点这几样不会胖 悬赏五万!寻找技术帝丨「2018 GAMMA 智能营销科技大赛」开始报名 距离你成功入门人工智能,只剩21天!
猜您喜欢 【数据分析】R语言获取Excel数据 爸爸的木匠小屋-大寒-爸爸和他的微型家具 IT圈装逼速成指南 吴喜之:作为科学的统计 太拼了!张朝阳的一张作息表刷爆朋友圈