微信号:shushuojun

介绍:数据分析师之家.旨在为数据人提供一个学习、分享、互帮互助的家园.

复习 | 2017 知识点总结测验

2018-02-21 17:32 数说工作室


2018 伊始,以题目形式总结了 2017 年的知识点,供大家复习回顾,答案就附在文末:


1、TF-IDF 常被用来抽取文本中的关键词,它综合考虑了词的“存在感”和“代表性”,其中被用来衡量词的“存在感”的值是:

(A) TF值   (B) IDF值   (C) UDF值   (D) IF值 


2、由谷歌研发、专门用于机器学习,并且用于 AlphaGo 的处理器为:

(A) GPU   (B) CPU   (C) SPU   (D) TPU


3、下列哪一个是我国的经济领土

(A) 驻上海的波兰使领馆   (B) 设在北京的亚投行   

(C) 中国驻美国大使馆   (D) 设立在美国的国际货币基金组织


4、Python 函数式编程中,被称为匿名函数的是:

(A) map函数   (B) lambda表达式   (C) Reduce函数   (D) 没有这个函数


5、朴素贝叶斯中,“朴素”是指:

(A) 贝叶斯本人作风简朴,冠以“朴素”以纪念学习 

(B) 属性之间不存在依赖关系,属性值互相条件独立   

(C) 贝叶斯定理的一个简化版本  (D) 形容贝叶斯定理很简单直白


6、下列哪一个不是哈希函数的特征:

(A) 单向性   (B) 唯一性   (C) 碰撞   (D) 高灵敏度


7、Twitter 开发的d第二代流处理系统是:

(A) storm   (B) Spark streaming   (C) Flink   (D) Heron


8、核算一个国家经济指标,世界上曾有过两大方法体系,分别是:                 


9、有 list = [2, 4, 6, 7, 8],用一行代码生成一个new_list,每个元素是原来的平方:

                    


10、谷歌最新研发出来一种训练 AI 的新模式,可以直接在用户的手机上训练并改进 AI 算法,多台手机之间还能进行协作训练,共享预测模型,这种模式叫做:          


11、请写出曼哈顿距离的表达式。有x=[1,1,0,1] 和 y=[1,0,1,0] 两个向量,请用 Python 计算他们的曼哈顿距离(用现成的库)


12、请用 Python 写一个类human,有属性 name,并实例化这个类,生成一个具体的 Jim,其属性name为Jim。


13、简述流式计算的特点


14、有如下表格中,想计算 engine size >=3 的数据数,请问用什么 SQL 语句?



15、想对table1表做如下自关联,相同对只出现一次,如有a-b,就不需要b-a了,请问 SQL 语句应该怎么写?


16、写出一句你最想对数说君说的话:              




解析:

1、A

TF-IDF(Term Frequency–Inverse Document Frequency),综合考虑了词的存在感和代表性,由两个部分相乘得到:TF × IDF,其中

用来量化词的存在感,TF值越大,词的存在感越强。

知识链接:治啰嗦利器~TF-IDF!| 文本分析


2、D

TPU 全称 Tensor Processing Unit 张量处理器,是谷歌自己研发、专门用于提高机器学习的运算效率的处理器,其处理速度比当前GPU和CPU快15~30倍(对比的分别是英伟达的Tesla K80和英特尔的至强E5-2699 v3)。


CPU、GPU 以及 TPU 的具体介绍、以及区别,可以见知识点链接:

懂点硬件 | AlphaGo、图像搜索、街景......背后都有它的影子:TPU


3、C

是指一国政府 控制 或 拥有 的地理领土。请注意(敲黑板!),一国的经济领土,除了本国的地理范围,还应包括该国驻外使领馆、新闻机构、科研站和援助机构等,并相应地扣除外国驻本国的上述机构。

知识链接:达康书记的GDP,是怎么算出来的?


4、C

lambda表达式,又叫匿名函数,它用来创建一个函数,取代def这个功能。

知识链接:循环、分支...都可以在Python中用函数实现! | 函数式编程,打开另一个世界的大门


5、B

如果用三个属性值X1、X2、X3,来推测类别C=?,那么假定:

P(X1,X2,X3|C=i)= P(X1|C=i)*P(X2|C=i)*P(X3|C=i)

即属性间相互独立,不存在依赖关系。这一假定是为了简化所需计算,也因此该算法被冠“朴素的”定语。


6、B

哈希函数是一种单项密码体制,具有单向性;哈希之后的取值,其范围是有限的,因此不是唯一的,存在冲突或碰撞的可能。且哈希之后的取值,是固定长度,当一个输入发生变化时,输出会有很大变化,具有高灵敏度。

知识链接:哈希函数的套路 | 文本分析:大规模文本处理(1)


7、D

知识链接:什么是流式计算 | 另一个世界系列


8、MPSSNA

  • 物质产品平衡表体系,简称MPS(System of Material Product Balances),发源于前苏联和东欧社会主义国家,是计划经济国家的核算体系。

  • 国民经济账户体系,简称SNA(System of National Accounts),是根据欧美发达国家的核算理论和实践制定出来的方法体系。它的核算内容全面、核算方法系统,是目前世界上主流的经济核算体系。

知识链接:达康书记的GDP,是怎么算出来的?


9、new_list=map(lambda a: a*a, [2, 4, 6, 7, 8])

Map函数,是用函数的方式来实现一个循环运算,类似for的功能:

new_list = Map(func, list),将list中每个元素都进行一个func函数的计算,生成一个新的list。

知识链接:循环、分支...都可以在Python中用函数实现! | 函数式编程,打开另一个世界的大门


10、Federated Learning,联盟学习

知识链接:手机里跑个 AI 模型 | 谷歌 Federated Learning 联盟学习


11、曼哈顿距离:

有x=[1,1,0,1] 和 y=[1,0,1,0] 两个向量,对应的 Python距离距离计算方式为:


a=[x,y]

pairwise_distances(a,metric='manhattan')


知识链接:文本分析 | 常用距离/相似度 一览

文中列举了主流的几种距离计算公式,以及 Python 用 pairwise_distances 的实现。


12、Python代码如下:

class human():

    def __init__(self, name):

          self.name=name


Jim = human('Jim')


使用 __init__初始化参数,知识链接:class 类—老司机的必修课 | 统计师的Python日记 第11课


13、流式计算是对数据流进行实时计算,其三个特点是:

① 实时、低延迟

② 无界,数据是不断无终止的

③ 连续,计算持续进行,计算完之后数据即丢弃

知识链接:什么是流式计算 | 另一个世界系列


14、sum(case when Engine>=3 then 1 else 0 end)

15、只需要在关联的时候加上条件 where a.id<b.id 即可相同重复对只出现一次。

知识链接:小明的 SQL 问题解决日志(1)


16、请大家畅所欲言。新的一年,数说君会努力写更多的实用好文章给大家,也请大家多提意见,祝大家新年快乐,2018事业蒸蒸日上!




更多 SQL 连载、Python 连载、SAS 教程 请关注 数说工作室


【统计师的 Python 系列】连载

  • 第1天:谁来给我讲讲Python?

  • 第2天:再接着介绍一下Python呗

  • 第3天:Numpy你好

  • 第4天:欢迎光临Pandas

  • 第5天:Pandas,露两手

  • 第6天:数据合并

  • 第7天:数据清洗(1)

  • 第8天:数据清洗(2)文本处理

  • 第9天:正则表达式

  • 第10天:数据聚合

  • 第11天:class-类


【文本挖掘系列】连载

  • 1、文本相似度思想

  • 2、词频与余弦相似度算法

  • 3、TF-IDF 治啰嗦利器

  • 4、常用相似度一览

  • 5、哈希函数的套路


【分类战车SVM】系列

  • 开题话

  • 线性分类

  • 最大间隔分类器

  • 拉格朗日对偶问题

  • 核函数

  • SMO算法

  • 用Python做SVM模型


SAS系列,包括 【SAS IML系列】、【SAS 正则表达式系列】、【SAS 基础系列】

金融数据挖掘系列、量化投资系列、生物大数据系列 等等更多干货......

 
数说工作室 更多文章 招聘 | 蚂蚁金服-风险决策中心 | 第三弹 2017年Python这些重要的事件 什么是流式计算 | 另一个世界系列 数说工作室 2017年干货总结 哈希函数的套路 | 文本分析:大规模文本处理(1)
猜您喜欢 比特币P2P网络简介(上) 蘑菇街 App 的组件化之路 React Native开源项目-高仿「ONE·一个」,兼容Android、iOS双平台 多高的AUC才算高? 如何应对节日高峰—QQ会员活动运营系统架构实践