微信号:bigdatalab

介绍:宽客俱乐部旗下美国大数据实验室,大数据研究应用.

高盛拥有9000名工程师,布局机器学习和大数据

2016-04-08 07:26 大数据实验室


选自EFinancialNews


作者:Anna Irrera

机器之心编译出品

编译:李久喻、微胖


高盛的技术部门雇佣了大约9,000名工程师。这家华尔街公司的技术团队已经接近世界上估值最高的互联网公司的总人数。Facebook在全球雇佣了大约12,690名员工,雅虎大约有10,400名员工,Twitter有大约3,900名员工。



不过,就像在其他大银行,高盛的工程师并不都会花时间开发新技术。高盛华尔街总部的技术总管 Don Duet 说,近三分之一的工程师会花很多时间监控银行5,000个关键系统,运行测试,发现问题。


Duet 表示,随着科技人才在银行和各个行业发挥越来越重要的作用,释放一些人才可能会产生显著影响。他说:「单从人才使用潜力的角度来看,试想一下,解放那些工程师,让他们从事新的创新性产品研究,而不是仅仅是运行你们所有的。机会将是巨大的。」


高盛认为,机器学习可以提供这方面的帮助。过去一年中,这家银行一直忙于 「AppBank」的项目,力图让机器学习派上用场。换句话说,高盛正试图让计算机学会照顾自己,减少系统失灵进而影响商业活动的风险。


Duet解释说:「我们想把许多繁重的手工工作交给机器,减少手工工作带来的风险。我们的部分解决方案是,真的将经典机器学习和建模结合起来,从统计和归纳上理解这些复杂系统的行为。」


AppBank由新业务部门负责运行,这个新部门包括数据科学家和机器学习专家。银行表示,新部门的目标是提升「大型自动化」,虽然部门会特别关注操作技术,但是也会解决每个业务单位的应用问题。


Duet说:「我们的目标是提供系统健康和运行方面的洞见。我们将它视为我们的『检查发动机灯』产品。」就像汽车仪表盘上的灯亮表示车有问题,当有东西阻止银行技术基础结构畅通运行时,这款软件会通知用户。当然,5,000个银行关键系统,这份任务比诊断汽车问题复杂非常多。Duet解释说:「这些关键系统需要数百道程序 ,才能将成千上万的代码协调成单一形式。这意味着,如果有任何差错,功亏一篑。」


这个项目是要解决银行业过渡到数字时代所面临的核心挑战:需要简化现有的IT基础架构,降低成本、为创新创造空间。


一份最近的Accenture报告指出,投资银行历来舍得为科技花钱,过去二十年里,已经采用了新的编程语言,数据库,操作系统,短信平台和硬件。Accenture表示,虽然这一积累有助于行业成长,但是,也催生了管理起来非常昂贵的复杂系统,也抑制了创新。该报告称:「一代技术的积累已经让系统架构昂贵又复杂,并不适合绝大多数投资银行。」「银行已经在高支持成本、常规措施上花费了大量的IT成本,用于创新和新应用开发的可自由裁量的资金水平以及主要人员却是次优的。」


除此之外,由于每个银行都有以自己的方式积累的技术系统,因此,没有一个庞大的说明手册讲清楚说明整个银行的技术基础设施。相反,是那些要么写出程序或与程序打了多年交道的工程师,他们才知道程序的运行状态:怎么破坏,如何修复。但是,当人们去了新工作或者新公司,这些知识经常就被丢了,运营风险也增高了。


高盛认为,用机器学习这些复杂系统的运行方式很有帮助,不仅解放人们去专注于更具创新性的工作,同样也是一种减少运营风险的方法。Duet说:「人虽然精通很多事,但也创造了很多风险。」


Duet表示,高盛并不相信电脑可以做一切事,但他指出,即使银行拿回那些工程师的一小部分时间,也算是巨大的胜利:「无论你从哪方面考虑,钱、产能还是改变企业和创新,它的影响都是巨大的。」他说,过去几年,银行高层领导优先考虑创新,技术部门一直都很重要。


然而,他补充道:「每个组织的改变都是困难的」,这些改变依赖于企业愿意颠覆自己的意愿。


Duet说:「我们的工程师是变相的代理商,他们与企业最前线的人密切合作,了解问题并制定解决方案。技术采纳面临的最大问题之一是共识。我们作为一个组织已经非常大胆,愿意颠覆自己。」


大数据也是高盛寻找创新的关键领域之一。像许多竞争对手一样,它正试图从收集、储藏的海量数据中获取业务洞察力。Duet说:「我们正在考虑如何通过应用技术,将业务转型为更加依赖数据驱动的模式。」让银行业务过程复杂的原因,不是银行储存的大量数据,而是数据管理方式。几十年来,银行还没有数据收集在一个大的数据库里,而是分散在数以千计的数据库。


因此,尽管不同银行部门可以和相同客户做生意,收集相关交易信息,但是,计算机很难捕捉到不同数据组的相互作用。


Duet说:「我们有大量信息,但是,传统上,银行并没有进行集中化或标准化管理。因此,不同公司部门管理自己的数据资源,这让跨孤岛的数据发现、查询和分析变得很困难。」


两年前,银行发起了Data Lake项目,这个项目试图将所有数据储存在一个可访问的位置,数据可以得以快速分析——采取所有必要的控制确保数据仅由授权人员使用。


Duet说:「这是关于如何将信息转移变成资产,还有应用和基础设施。」







2016年4月15日、16日,上海


春末巨献,股票实战培训班报名啦
与大师面对面,传授稳定盈利秘籍


咨询电话/微信:13061694649


 
大数据实验室 更多文章 用户画像数据建模方法 李光斗:警方是如何利用大数据抓到王全安的 降楼价,新加坡居然靠的是无人驾驶! 小数法则和经验主义 什么性格的人适合 Quant 这个职位?能否描述一下 Quant 一天的生活是怎样的?
猜您喜欢 梯度下降法求解线性回归之matlab实现 CDH大数据平台搭建 花呗、白条套现 如何获取NGINX多层转发或使用CDN之后的用户真实IP