微信号:PostgresChina

介绍:致力于PostgreSQL数据库的技术推广和中文社区用户会活动发布.

Greenplum VS Oracle POC测试

2016-05-25 17:52 汪洋
背景介绍

ORACLE数据库中,部分应用计算模型存储过程跑批任务时间超长影响作业,其中只禁毒模型运行时间就为45分钟左右,涉及表的数据量大概在400G左右。为了解决此类性能问题,DBA初步将优化方案定位在oracle,GreenPlum上,下面是针对greenplum和oacle做的优化及POC测试。


总结
1.GP为MPP并行,share nothing的架构,数据在合理的hash散列的基础上,并行处理的性能整体优于oracle并行(并行查询和DML并行)。
2.由于目前GP是基础postgresql8.2.15的版本开发,所以很多postgresql新版本的特性都无法支持。比如pg_stat_statement,auto_explain,debuger等。严重期待后面GP的版本能够跟上目前PG的最新版。

3.GP 在节点扩充的过程中需要重启集群(耗时较短),但是在数据重分布的过程中需要锁表,如果是大表,耗时较长(这部分还未测试,后续补充)。


测试结果

POC结果对比分析

采用oracle资源消耗:

存储IO:

网络IO:
Oracle为单点,不涉及网络IO


采用greenplum资源消耗:
master:


存储IO:


网络IO:
Average:        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
Average:           lo     40.42     40.42     60.80     60.80      0.00      0.00      0.00
Average:        bond0    108.99    154.03     68.42    163.20      0.00      0.00      1.02
slave1:


存储IO:


@font-face {  font-family: "Times New Roman";}@font-face {  font-family: "宋体";}@font-face {  font-family: "Calibri";}p.MsoNormal { margin: 0pt 0pt 0.0001pt; text-align: justify; font-family: Calibri; font-size: 10.5pt; }span.msoIns { text-decoration: underline; color: blue; }span.msoDel { text-decoration: line-through; color: red; }div.Section0 {  }

网络IO

Average:        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s

Average:           lo     31.03     31.03     74.54     74.54      0.00      0.00      0.00

Average:        bond0    166.12    100.02    179.40     66.53      0.00      0.00      1.02

slave2:


存储IO:


网络IO:
Average:        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
Average:           lo     17.79     17.79     31.17     31.17      0.00      0.00      0.00
Average:        bond0    110.17    117.45     91.99    110.38      0.00      0.00      1.03


主要优化项


其中:GP去掉游标,调整DK分布键和索引对性能提升较大,oracle加入DML并行和并行查询对性能也有大幅提升。当然以上优化项可能做的并不够,相信oracle和GP都还是有优化空间的。


----------我是一条简陋的分割线------------

欢迎大家投稿到PostgreSQL微信公众号

投稿邮箱:press@postgres.cn

邮件主题:投稿+文章标题

 
postgres用户会 更多文章 Pivotal 招聘Greenplum\/HAWQ 数据库内核开发工程师 基于PostgreSQL的内存计算引擎 LeMCS设计开发经验之谈 系列文章:PostgreSQL for Oracle DBA 2017.4.8 PostgreSQL象行中国 [杭州站] 【​2017象行中国】 杭州站-- 4.8
猜您喜欢 程序是我的生命,但我相信爱她甚过爱我的生命。 揭示互联网企业对算法&机器学习岗的要求 猴年大吉 | 达内科技祝您新年快乐! Disucz 插件漏洞挖掘 华为发布最强手机,售价10000元,秒杀苹果!但,华为的牛逼可不止是手机