微信号:hsares

介绍:恒生研发中心是恒生电子的核心技术部门,致力于前沿科技创新研究和复用。目前,已形成完善的ARES平台体系,提供技术平台、产品平台、基础产品和金融云等全面的技术解决方案

大数据开启的“上帝视角”,将如何帮我们找到金融行业的真相?

2016-11-30 10:19 林金曙

科技的进步依赖理性的思考,理性的思考背靠数据的论证。从纸笔记录到现在的信息化存储,数据越来越多,汇聚也变得越来越容易。数据的庞大让很多人看到它潜在的价值,却也让人困惑:有据可循的挖掘渠道和分析方法到底是什么?本文就和你聊聊,这大数据背后的价值和行之有效的挖掘方式。


大数据是伪命题还是真理?


为什么要讨论这个问题呢?因为大数据这个概念被炒得很热,但在热的同时很多人认为大数据是虚幻的,是概念性的。在市场上诞生一个又一个以大数据为包装的金融产品之时,我们甚至无法分清这些产品是噱头还是大数据的确在起作用。这些问题的存在都是因为我们没能理解大数据真正的核心价值,只有理解了大数据的核心价值,我们才能够从此出发,验证大数据能不能为金融提供未来的解决方案。


大数据的核心价值


大数据未来对于金融的真正价值远大于你我的想象,因为大数据和金融具有相同的核心价值:资源优化配置。无论是大数据在农业的应用,还是工业的应用,抑或是在金融行业的应用,最终都是通过大数据技术来获知事情发展的真相,并最终利用这个“真相”来更加合理地配置资源。讲到这里,很多金融行业的专家肯定觉得似曾相识,因为金融的定义与其十分相像,教科书上是这么定义“金融”这两个词的:金融就是对现有资源进行重新整合之后,实现价值和利润的等效流通。在投资过程中,我们一次又一次地希望发现价值洼地,投资一个又一个有成长性的项目。不正是一次又一次的资源优化配置,才将资金流向更具潜力的企业和项目吗?


而大数据正是这样一种神奇的技术,通过全量的数据挖掘对全部样本进行分析,得出事情发展的客观事实,准确地反映事物发展的趋势,这样神奇的功能,不正是金融行业急需的神奇技能吗?在这之前,我们都使用着肉眼凡胎的“凡人视角”观察这个我们既熟悉又陌生的世界。直到大数据的出现,它的最大魅力在于开启了人类的“上帝视角”,使人类得以从一个前所未有的角度俯瞰这个世界,知道全国乃至全世界的商品流动情况,知道每个商圈的繁荣情况,知道全球的经济发展状况等,而这一切,都可以作为我们判断未来经济趋势的最重要依据,这是人类前所未有的预测能力。


“三步走”实现资源优化配置


下面让我们的“上帝视角”落地,讲一讲大数据技术是如何一步步实现资源优化配置的。具体来说,要实现大数据的核心价值,还需要两个重要的步骤,第一步是通过“众包”的形式收集海量数据,第二步是通过大数据的技术途径进行“全量数据挖掘”,最后利用分析结果进行“资源优化配置”。

只说概念大家肯定没法直观地理解上文的观点,那就举几个咱们都接触过的例子,讲一讲大数据是如何通过这三步发挥核心价值的。


1、通过“众包”产生和收集数据

高德地图、百度地图都有实时路况的功能,但大家有没有想过实时路况的数据是怎么收集的?它实际上经过了三个阶段:第一个阶段是跟交通入口的一些公司合作,获取交通流量监测设备的数据,这个方法缺陷很明显,一个是受制于人,一个是想扩大监测范围就要部署大量设备,费时费力,而且还受法律制约。于是,第二个阶段,一些专门做路况的公司开始用出租车当浮动车收集数据。但这种办法还是无法覆盖大量的大小路段。第三个阶段,随着移动互联网的普及,高德地图的APP能够实时上传大量机动车的速度和位置信息,经过去噪和综合分析,就形成了覆盖率极高的实时路况信息。这就是一个典型的“众包”过程。


严谨一点来说,众包指的是一个公司或机构把过去由员工执行的工作任务,以自由自愿的形式外包给非特定的(而且通常是大型的)大众网络的做法。大数据的“海量数据”就是由“众包”产生的。广义上,用户的行为数据,各种传感器的数据,也都是“众包”的形式,只要是由过去集中式的产生模式扩散到分布式的模式,都是众包的形式。


2、全量数据挖掘

曾有调查指出,分析中国移动全年的数据就可得到全国经济发展的趋势。其数据不仅体现中国移动的运营情况,其实也部分反映了整个中国的经济运行情况。而且这些数据不是通过采样得来的,就是真真切切的“全量数据”。此时,再也不用通过“管中窥豹”的形式来推测全局,而是直接通过“上帝视角”来窥视真相。这就是大数据的魅力,我们获得了前所未有的获取真相的能力,而且对于大型互联网公司来说,即使是PB级别的数据分析也是准实时的,我们下一个小时就能够得知上一个小时的全量数据分析结果,这样的能力是前所未有的。


3、大数据的核心价值——“资源优化配置”

滴滴打车曾通过投票和订单分析得出北上广深四地的加班大楼排行榜,但事实真的是即使加班很晚也很难打到车啊!所以滴滴打车更名为“滴滴出行”之后,也抛出了他们伟大的愿景,那就是利用大数据分析实时综合调度“快车”、“专车”、“出租车”、“顺风车”甚至是滴滴巴士的资源,实现全局的交通资源优化。事实也是如此,滴滴的司机们越来越多地需要完成“指派任务”,而不是集中去抢高净值客户。也许对于个别单体来说,他们的利益降低了,但全局的资源配置却避免了资源浪费和过度竞争,无疑大大提高了交通资源的使用效率。


大数据与金融的志同道合


由上文分析可知基于大数据分析的结果进行资源优化配置,才是大数据应用的落地点和真正价值。而“资源优化配置”的价值,又远远超出我们的想象,在资本寒冬即将来临的大背景下,利用大数据实现资源的高效利用,显得更加重要。广告行业利用DMP(Data Management Platform)、DSP(Demand Side Platform)进行广告的精准投放,房地产行业利用大数据分析价值洼地,宜信利用大数据建设征信系统降低坏账率,券商陆续推出大数据基金,全部都是广义的“资源优化配置”的体现。大数据也远远不再停留在学术和“分析现象”的阶段,而是在各行各业实现了落地并发挥着非常重要的价值。


举个最简单的例子来说明大数据在广告资源优化配置上的作用,宝洁的产品有非常强的用户性别倾向性:护舒宝的广告就应该投给女性,投给男性就是赤裸裸的浪费;而吉列的目标用户就只是男性。之前宝洁集团是怎么做广告的?就是海投品牌广告,不分性别的海投,那这个做法在投放之前就已经确切无疑的知道有一半广告费用是浪费的。但没有办法,因为当时没有大数据技术来发掘用户的性别。而随着DMP技术的不断成熟,越来越多的广告主建立起自己的用户数据中心,可以不断积累用户的行为数据, 进而判断出用户的性别, 再通过DSP系统定向投放,这样可以为宝洁节省一半的广告预算。现在大家应该能明白:为什么我在淘宝、京东浏览了什么商品,结果浏览其他网页弹出的广告都是这些类似的产品了。


上文只为帮大家理解一句话,大数据的核心价值就在于“资源优化配置”。而金融的“资源优化配置”价值是毋庸置疑的,二者有如此同根同源的核心价值,化学反应还会远吗?



 
恒生技术之眼 更多文章 “区块链+”时代来临,恒生为金融IT从业者准备了什么? 恒生柳正龙:带你零基础入门Docker 致梦想|与我们一起布局未来 C++大会|章乐焱:金融行业高频极速交易系统架构与关键技术探索 重磅|恒生加入Hyperledger,开启全新区块链征程
猜您喜欢 【约吗?】当物流调度遇见PostgreSQL - GIS, routing,机器学习 程序员的相关笑话 程序员的知识管理 科学上网:Surge.conf for Geeks 抓包,只为让DBA过的更开心