当前位置: 亚洲城ca88 > 计算机网络 > 正文

数据库的七种武器,城商行都在使用什么数据库

时间:2020-04-09 16:29来源:计算机网络
中国工商银行 Oracle:数据文件包括:控制文件、数据文件、重做日志文件、参数文件、归档文件、密码文件。这是根据文件功能行进行划分,并且所有文件都是二进制编码后的文件,对

中国工商银行

  1. Oracle: 数据文件包括:控制文件、数据文件、重做日志文件、参数文件、归档文件、密码文件。这是根据文件功能行进行划分,并且所有文件都是二进制编码后的文件,对数据库算法效率有极大的提高。由于Oracle文件管理的统一性,就可以对SQL执行过程中的解析和优化,指定统一的标准:
    RBO(基于规则的优化器)、CBO(基于成本的优化器)
    通过优化器的选择,以及无敌的HINT规则,给与了SQL优化极大的自由,对CPU、内存、IO资源进行方方面面的优化。
  2. MySQL:最大的一个特色,就是自由选择存储引擎。每个表都是一个文件,都可以选择合适的存储引擎。常见的引擎有 InnoDB、 MyISAM、 NDBCluster等。但由于这种开放插件式的存储引擎,比如要求数据库与引擎之间的松耦合关系。从而导致文件的一致性大大降低。在SQL执行优化方面,也就有着一些不可避免的瓶颈。在多表关联、子查询优化、统计函数等方面是软肋,而且只支持极简单的HINT。
  3. SQL Server :数据架构基本是纵向划分,分为:Protocol Layer(协议层), Relational Engine(关系引擎), Storage Engine(存储引擎), SQLOS。SQL执行过程就是逐层解析的过程,其中Relational Engine中的优化器,是基于成本的(CBO),其工作过程跟Oracle是非常相似的。在成本之上也是支持很丰富的HINT,包括:连接提示、查询提示、表提示。

============================================================

工商银行核心业务系统多跑在DB2、Oracle之上。在开源MySQL应用方面,工商银行重点推进在人工智能、物联网等创新领域广泛使用,并匹配银行特点在架构部署、参数调优等方面进行多项创新,成为后续OLTP关系型数据库转型的重点方向, 目前已上线数百套系统。

如果要说明三者的区别,首先就要从历史入手。

1、定位:开源、多平台、关系型数据库,功能最强大的开源数据库。

与其他银行不同的是,江苏银行在使用的数据库中,我们看到更多了国产数据库的身影,其中Gbase数据库为南大通用的国产列式分布式数据库,据了解,主要用于江苏银行的部分分析类系统;GoldenDB为中兴通讯的分布式关系型数据库,目前用于江苏银行的部分后台系统。上海星环的TDH,在江苏银行已广泛应用在数据集市、客户标签、流计算等多方面。

注:本人经验尚浅,且未从事过DBA相关职业,欢迎纠正错误及共同学习。

2、特点:

功能:数据文件存储格式为BSON,模式自由,整体架构与关系型数据库有对应关系,具有较好的高可用性和伸缩性,有插件式存储引擎,新版本默认是writedtiger存储引擎;

部署:  部署比较简答,下载软件,设置好配置文件即可启动服务;

使用:不支持SQL语句,使用与SQL对应的json方式管理数据库;

监控:有比较丰富的监控和性能命令,官方有比较完善的图形监控系统,但需要购买;

备份:支持冷备份和热备份,可以使用mongoexport/mongimport进行逻辑备份,也可以使用基于oplog的mongodump/mongorestore物理热备份;

高可用:MongoDB master-slave主从复制:在master节点上加 --master参数,从数据库加 -slave和-source参数,就可以实现同步,这种目前不建议;

ReplicaSets复制集,在mongodb 1.6之后,开发了新的 replicaset,着呢家了故障自动切换和自动修复成员节点,各个DB将数据一致,建议使用这种方式;可以测试读写分离和故障转移;

扩展:mongodb海量数据水平拆分,将数据分别存储在sharding各个节点上,构建出分布式集群。Sharding架构由 底层多个mongodb Shared Server,config水平拆分配置库config server,前端路由 route process,三部分构成。Sharding集群底层可以是mongodb单实例,也可以高可用的replicaSet复制集。

 3、适用场景:

网站后台数据库:mongodb非常适合实话实说插入、更新与查询,并可以实时复制和高伸缩性,适合更新迭代快、需求变更多、以对象为主的网站应用;

小文件系统:对于json文件,二进制数据,适合用mongodb进行存储和查询

日志分析系统:对于数据量大的日志文件,IM会话消息记录,适合用mongodb来保存和查询;

缓存系统:mongodb数据库也会使用大量的内存,合理的设计,也可以作为缓存系统使用;不过目前缓存系统使用更多的方案是 memcached和redis。

浦发银行

SQL,在这里我理解成SQL Server。三者是目前市场占有率最高(依安装量而非收入)的关系数据库,而且很有代表性。排行第四的DB2(属IBM公司),与Oracle的定位和架构非常相似,就不赘述了。

第三种武器:Oracle数据库

计算机网络 1

(特别说明:部分受访者所属部门局限,因此,以下所列企业业务线对应数据库并不全面,仅列出主要应用数据库,供参考。)

架构。其实要说执行的区别,主要还是架构的区别。正是架构导致了相同SQL在执行过程中的解释、优化、效率的差异。这里只做粗略说明,就不细说了:

4、选择注意:

Postgresql的架构、使用难度、功能性介于Oracle数据库和MySQL数据库之间,但因其开源的推动,各方面也有不错的发展;

Postgresql目前还没有比较主流和好用的监控平台,这是postgresql数据库目前存在的一个不足。

浦发银行在数据库的选择上更为多元化,既有商用数据库Oracle、DB2、Informix、SQLserver、Sybase,也有数据仓库和OLAP类:Teradata、GreenPlum。还有开源数据库MySQL,Redis,Hbase。

  1. Oracle:中文译作甲骨文,这是一家传奇的公司,有一个传奇的大老板Larry Ellision。 Ellision 32岁还一事无成,读了三个大学,没得到一个学位文凭,换了十几家公司,老婆也离他而去。开始创业时只有1200美元,却使得Oracle公司连续12年销售额每年翻一番。
    Oracle成立于1977年,早期的理论基础,反而来自于一篇IBM的论文《A Relational Model of Data for Large Shared Data Banks》【1】。作者CODD选取了关系代数的五种运算,并基于运算,架构了一种新型的数据存储模型。基于这种模型,Oracle成为了一个非常典型的关系数据库。因此也变的严谨、安全、高速、稳定,并且变的越来越庞大。
    由于其诞生早、结构严谨、高可用、高性能等特点,使其在传统数据库应用中大杀四方,金融、通信、能源、运输、零售、制造等各个行业的大型公司基本都是用了Oracle,早些年的时候,世界500强几乎100%都是Oracle的用户。
  2. MySQL :MySQL的最初的核心思想,主要是开源、简便易用。其开发可追溯至1985年,而第一个内部发行版本诞生,已经是1995年。到1998年,MySQL已经可以支持10中操作系统了,其中就包括win平台。但依然问题多多,如不支持事务操作、子查询 、外键、存储过程和视图等功能。下图是一个截止至2006年的数据库市场占有率【2】:
    计算机网络 2
  3. 图中可以看出,MySQL的爆发实际是在01、02年,尤其是02年发布的4.0 Beta版,正式选定InnoDB作为默认引擎,对事务处理能力及数据缓存能力有了极大的提高。同年4.1版开始支持子查询,至此MySQL终于蜕变成一个成熟的关系型数据库系统。05年的5.0版本又添加了存储过程、服务端游标、触发器、查询优化以及分布式事务功能,但同年被Oracle抄了后路,InnoDB被Oracle收编。08年,MySQL被Sun收购,09年,Oracle收购了Sun和MySQL。
    由于MySQL的早期定位,其主要应用场景就是互联网开发。基本上,互联网的爆发成就了MySQL,LAMP架构风靡天下。而由于MySQL更多的的追求轻量、易用,以及早期的事物操作及复杂查询优化的缺失,在传统的数据库应用场景中,份额极少。
  4. SQL Server:一提到SQL Server,大家一般都只想到Microsoft SQL Server,而非Sybase SQL Server。SQL Server最初是由Microsoft, Sybase and Ashton-Tate三家公司拦下的生意,是为IBM(又出现了)公司的OS/2操作系统开发的。随着OS/2项目的失败,大家也分道扬镳。 Microsoft自然转向自己的win操作系统,作为windows NT软件方案的一部分。而Sybase则专注于Linux/Unix方向的数据库开发。
    MS SQL Server主要面向中小企业。其最大的优势就是在于集成了MS公司的各类产品及资源,提供了强大的可视化界面、高度集成的管理开发工具,在快速构建商业智能(BI)方面颇有建树。 MS SQL Server是MS公司在软件集成方案中的重要一环,也为WIN系统在企业级应用中的普及做出了很大贡献。

4、选择注意:

SQL Server与微软技术体系结合比较紧密,绝大多数工作,都是通过图形界面完成,对于习惯使用命令行的DBA可能会有不习惯;

SQL server对双引号,大小写,元信息的管理和处理方式,与其他数据库很不相同,需要注意;

使用SQL Server满足OLTP业务,会有比较好的效果,但对于大数据量的OLAP业务,最好还是选用专门的OLAP架构,不要在同一个SQL Server实例上混用OLTP和OLAP业务;

SQL server属于商业软件,需要注意版权和licence授权费用;

中国工商银行是四大银行之一,拥有中国最大的客户群,2016年末,公司客户578.4万户,个人客户5.30亿户,连续第4年蝉联《银行家》全球1000家大银行、美国《福布斯》全球企业2000强和美国《财富》“500强商业银行子榜单”3个权威排行榜的榜首。

  1. Oracle。Oracle的应用,主要在传统行业的数据化业务中,比如:银行、金融这样的对可用性、健壮性、安全性、实时性要求极高的业务;零售、物流这样对海量数据存储分析要求很高的业务。此外,高新制造业如芯片厂也基本都离不开Oracle;电商也有很多使用者,如京东(正在投奔Oracle)、阿里巴巴(计划去Oracle化)。而且由于Oracle对复杂计算、统计分析的强大支持,在互联网数据分析、数据挖掘方面的应用也越来越多。一个典型场景是这样的:
    某电信公司(非国内)下属某分公司的数据中心,有4台Oracle Sun的大型服务器用来安装Solaris操作系统和Oracle并提供计算服务,3台Sun Storage磁盘阵列来提供Oracle数据存储,12台IBM小型机,一台Oracle Exadata服务器,一台500T的磁带机用来存储历史数据,San连接内网,使用Tuxedo中间件来保证扩展性和无损迁移。建立支持高并发的Oracle数据库,通过OLTP系统用来对海量数据实时处理、操作,建立高运算量的Oracle数据仓库,用OLAP系统用来分析营收数据及提供自动报表。总预算约750万美金。
  2. MySQL。MySQL基本是生于互联网,长于互联网。其应用实例也大都集中于互联网方向,MySQL的高并发存取能力并不比大型数据库差,同时价格便宜,安装使用简便快捷,深受广大互联网公司的喜爱。并且由于MySQL的开源特性,针对一些对数据库有特别要求的应用,可以通过修改代码来实现定向优化,例如SNS、LBS等互联网业务。一个典型的应用场景是:
    某互联网公司,成立之初,仅有PC数台,通过LAMP架构迅速搭起网站框架。随着业务扩张、市场扩大,迅速发展成为6台Dell小型机的中型网站。现在花了三年,终于成为垂直领域的最大网站,计划中的数据中心,拥有Dell机架式服务器40台,总预算20万美金。
  3. MS SQL Server。windows生态系统的产品,好处坏处都很分明。好处就是,高度集成化,微软也提供了整套的软件方案,基本上一套win系统装下来就齐活了。因此,不那么缺钱,但很缺IT人才的中小企业,会偏爱 MS SQL Server 。例如,自建ERP系统、商业智能、垂直领域零售商、餐饮、事业单位等等。
    1996年,Bill Gates亲自出手,从Borland挖来了大牛Anders,搞定了C#语言。微软02年搞定了 MS SQL Server赢得了部分互联网市场,其中就有曾经的全球最大社交网站MySpace,其发展历程很有代表性,可作为一个比较特别的例子【3】。其巅峰时有超过1.5亿的注册用户及每月400亿的访问量。应该算是MS SQL Server支撑的最大的数据应用了。

第七种武器:Hbase数据库

计算机网络 3

中国银行

典型应用场景
关于“大型数据库”,并没有严格的界定,有说以数据量为准,有说以恢复时间为准。如果综合数据库应用场景来说,大型数据库应用有以下特点:海量数据、高吞吐量;复杂逻辑、高计算量,以及高可用性。从这点上来说,Oracle,DB2就是比较典型的大型数据库,Sybase SQL Server也算是吧。下面分别说明之前三种数据库的应用场景。

4、选择注意:

使用MySQL进行OLTP业务时,需要注意数据量级,如果数据量级过大,需要进行水平拆分;

如果有OLAP需求,可以结合其他架构综合考虑。

中国银行在数据库的选择上更为多元化,既有商用数据库Oracle 、DB2、SQL Server,也有开源数据库MySQL、MongoDB、Hbase,还有国产数据库浪潮K-DB。

3、适用场景:大多数OLTP场景(与微软体系配合)

中国银行是1912年2月5日正式成立,是中国唯一持续经营超过百年的银行,也是中国四大银行之一。2016年,获《银行家》“全球银行品牌500强排行榜”排名第六位,世界500强排行榜名列第三十五名。

1、定位:开源、Linux平台、列存储nosql数据库

可用于海量数据存储、与Hadoop生态圈结合、定位于“大”的列存储nosql数据库

2、特点:

功能:命令执行速度非常看,读写性能可达10万/秒;数据结构是key-value类似字典的功能,可以键过期-缓存,发布订阅-消息系统,简单的事物功能;

部署:相对其他数据库,hbase的部署比较复杂,依赖Hadoop,zookeeper等组件,Hbase集群包括一个mater节点,多个regionServer,zookeeper管理所有regionServer,需要依次部署Hadoop、zookeeper之后,再部署HBASE集群;

使用:用redis-cli客户端连接,一般用简单的 set ,get,del 进行数据管理; 在单实例redis的基础上,进行可以数据持久化,主从复制,高可用和分布式等功能;

监控:在命令行界面有一些常用的命令显示状态和性能,在图形界面方面,有开源监控工具来监控和记录数据库的状态,比如cachecloud;

备份:Hbase一般用作海量数据的仓库,本身通过多层副本来保证数据安全性,不用进行专门的备份

计算机网络,高可用:HBASE集群基于Hadoop,需要依次部署Hadoop单机模式、集群模式、HA模式,通过Hadoop HA实现高可用;

扩展:HBASE以集群形式,依次是单机模式,伪分布模式,完全分布模式,底层基于HDFS,zookeeper可以很好地进行扩展;

3、适用场景:

两大用途:

用于简单数据写入和海量、结构简单数据查询的业务场景;

用于成为其他数据库备份和下沉的数据库;

实际上在长达3个月的选题采访过程中,老鱼采访的银行及行业人士远不止于此。总的来说,银行在数据库上的选择上普遍都比较多元化,一般在重要业务系统或高复杂度业务系统多以Oracle、DB2等传统商业数据库为主,普通系统也会选择MySQL等开源数据库和国产数据库产品。

第一种武器:MySQL数据库

计算机网络 4

江苏银行

=====================================

工商银行很早就开始了企业级数据仓库的建设,最早基于Teradata产品构造了企业级数据仓库体系,实现对数百个应用进行数据加工、汇总,给下游提供数据。

这些数据库作为业务底层的存储选型,每种数据库都有各自的定位和特点,结合业务,有各自的适用场景,在具体使用和运维时,也有一些特别的注意点。

调查发现,过去在银行业占有绝对优势地位的IBM DB2日子并不那么好过,开放平台DB2还好,但大机DB2受去IOE影响较大,加之IBM对于DB2没有太多作为的市场策略,虽然DB2产品很优秀,但依然抵挡不住市场份额的萎缩,有从第一梯队向第二梯队滑落趋势。甲骨文CEO马克-赫德不久前提到,“如果迁移数据库这么容易,DB2的市场份额可能就变成零了。”虽然这话是在怂对亚马逊时所说,但言语中不无对DB2日趋边缘化地位的嘲讽。

2、特点:

功能:支持事务,符合关系型数据库原理,符合ACID,支持多数SQL规范,以二维表方式组织数据;

部署: postgresql需要先准备好Python等环境,然后编译安装软件,初始化数据库,启动实例,整个部署过程相对比较清晰;

使用: postgresql数据库可以使用命令行方式进行管理,也可以通过pgadmin图形工具进行管理;各种管理功能,都比较强大;

监控: 可以再命令行中查看各种性能视图和状态视图;相对其他其他数据库,并没有太好的图形监控工具和平台;

备份:支持冷备份和热备份,可以用 COPY命令进行逻辑导出和导入;用pgdump和pgrestore进行物理备份和恢复;

高可用:postgresql 官方支持 master-standby复制;也可以用Slony-I第三方组件进行数据库同步;

扩展:postgresql可以通过修改源码实现的postgres-XC实现水平扩展;

3、适用场景:

绝大多数OLTP场景,部分OLAP

适合目前互联网需要的一些信息,比如地理位置信息处理;

以postgresql作为底层数据库的greenplum数据仓库,是主流的MPP数据仓库;

基于postgresql的TimeScaleDB,是目前比较火的时序数据库之一;

招商银行是中国第一家完全由企业法人持股的股份制商业银行,成于1987年4月8日,由香港招商局集团有限公司创办,是中国内地规模第六大的银行、香港中资金融股的八行五保之一。

1、定位:

开源、Linux平台、key-value键值型Nosql数据库

简单稳定,非常主流的、全数据in-momory、定位于“快”的键值型nosql数据库

本期内容,老鱼在采访中尽可能去涵盖更多不同类型的银行,以供大家参考。采访银行既有四大行的中国银行、中国工商银行,也有股份制银行的招行银行、浦发银行,还有城商行江苏银行。

数据库的七种武器,是我在工作维护和接触到的七种常用数据库,包括4种常用的关系型数据库,3种常用nosql数据库。

大数据已经成为国家战略,而大数据首先所面临的问题就是大数据的存储问题,这就绕不开数据库,因为数据库就是用来存储数据的应用软件。任何数据库,都有其优缺点, 无论是传统关系型数据库还是NoSQL数据库又或者NewSQL数据库。因此,到底选择哪个数据库,对企业而言这个决策过程都非常复杂。

1、定位:商业、Windows平台、关系型数据库

最早接触、与微软体系结合紧密的的商业数据库,属于“微软技术体系” 

值得注意的是,我们发现在银行业内出现了不少国产数据库的身影,如南大通用、浪潮、星环、中兴。虽然其产品并非应用于银行核心系统,但至少这是一个好的开始,意味着国产数据库在可用性和安全性上取得了长足进步,实现了在银行业0的突破。至于未来国产数据库能否更进一步,我们拭目以待。

本文按照顺序依次对这“七种武器”,进行介绍和总结,希望能够帮助大家理清每种“武器”的特点和用法,在合适的场景,使用合适的武器,构建好自己的数据存储体系。

在Win平台上的应用,主要是分行前端相关的系统,主要使用SQL Server。在x86平台的应用,数据库种类就比较多,有Oracle、MySQL,也有MongoDB,Hbase等数据库。

4、选择注意:Oracle从架构到运维,可以说是最难的数据库,学习和使用难度较高。 

采访对象:田永江,招商银行数据中心数据库及应用管理室经理。负责数据库及应用的规划建设与日常运维管理。

2、特点:

功能:支持事务,符合关系型数据库原理,符合ACID,支持多数SQL规范,以二维表方式组织数据,有插件式存储引擎,支持多种存储引擎格式

部署:用编译安装的方式,或者二进制包的方式,按照“安装软件-创建实例-库表用户初始化”,可以很快完成数据库部署

使用:使用标准的SQL语句进行数据库管理,简单SQL语句的并发和性能较好,对视图、存储过程、函数、触发器等支持的不是太好

监控:在命令行界面有一些常用的命令显示状态和性能,在图形界面方面,有比较多的开源监控工具来监控和记录数据库的状态,比如zabbix,nagios,cacti,lepus等

备份:逻辑备份 mysqldump/mysqldumper ,物理备份 用xtrabackup等工具进行备份;

高可用:MySQL高可用有多种方案,官方有基础的master-slave主从复制,新版本的innodb cluster,第三方的有MHA等高可用方案;

扩展:MySQL水平拆分,可以通过水平拆分proxy中间进行逻辑映射和拆分,扩大MySQL数据库的并发能力和吞吐量。

而Sybase在被SAP收购之后,就被其雪藏,市场上鲜有声音,从调查看,境况不佳,采访中唯一一家在用的银行也有计划将其淘汰。

第二种武器:SQL Server数据库


计算机网络 5

使用的数据库类型较多,既有传统的商用数据库,包括DB2、Oracle 、SQL Server等,又有开源数据库如MySQL等;既有关系型数据库,又有非结构化的比如Hadoop、Spark平台,还有基于Redis的分布式缓存平台用于关系型数据库补充。

作者:赵飞祥(微信号:zhaofx524175360)

现在竞技世界从事数据库相关工作, Oracle 10G OCP,11G OCM,Oracle YEP年轻专家,8年数据库运维和架构经验,对MySQL、Oracle、PostgreSQL、Greenplum、MongoDB等多种常见数据库有丰富的运维实践经验,掌握与数据库相关的前后端架构和DevOps实现技术,擅长数据库架构设计、维护优化、数据流转、Shell和Python开发;乐于技术交流,以网名 yumushui 进行了大量的技术总结和思考分享。

开放平台平台主要是Oracle 数据库,涉及大量外围系统,包括关键渠道系统、总线系统、报表处理系统和账务系统,等。

第五种武器:Mongodb数据库

计算机网络 6

采访对象:朱滔,江苏银行信息科技部系统管理团队负责人,负责总行生产及同城容灾中心内部硬件及数据库,中间件等软件的管理和维护工作。

1、定位:开源、多平台、文档型nosql数据库

非常主流的文档型nosql数据库,“最像关系型数据库”,定位于“灵活”的nosql数据库

采访对象:杨欣捷,浦发银行信息科技部架构处数据库架构师,负责数据库架构管理、设计。

2、特点:

功能: 命令执行速度非常看,读写性能可达10万/秒;数据结构是key-value类似字典的功能,可以键过期-缓存,发布订阅-消息系统,简单的事物功能;

部署: 用下载软件介质,编译安装的方式,可以很快完成数据库部署;服务启动redis-server,可以用默认配置、运行参数配置、配置文件启动,三种方式;redis在Linux平台支撑较好,官方没有Windows版本,微软维护了一个分支;

使用:用redis-cli客户端连接,一般用简单的 set ,get,del 进行数据管理; 在单实例redis的基础上,进行可以数据持久化,主从复制,高可用和分布式等功能;

监控:在命令行界面有一些常用的命令显示状态和性能,在图形界面方面,有开源监控工具来监控和记录数据库的状态,比如cachecloud;

备份:直接备份成物理问价的RDB持久化,基于AOF日志的实时AOF持久化

高可用:官方的 redis sentinel哨兵高可用集群

扩展:官方基于分配槽的 redis cluster分布式集群

3、适用场景:

缓存

基础消息队列系统

排行榜系统

计数器使用

社交网站的点赞、粉丝、下拉刷新等应用;

4、选择注意:

Redis的使用场景,是redis适合的解决的问题,也有不适合解决的问题。

从数据规模角度讲,小数据规模使用redis比较合适,大数据规模使用redis不合适;(大数据规模,在一定程度上,可以用SSDB替代redis使用);

从数据冷热角度看,热数据适合放在redis中,冷数据不适合放在redis中。

招商银行

3、适用场景:

默认的innodb存储引擎,支持高并发,简单的绝大部分OLTP场景;

Tokudb存储引擎,使用高并发insert的场景;

Inforbright存储引擎,可以进行列压缩和OLAP统计查询场景;

与互联网行业广泛使用开源的MySQL数据库不同,银行对可用性、安全性的要求更高,任何创新、业务都必须以此为前提,同时手机银行、网上银行等业务也具备客户量、交易量大,交易峰值特别高的特点,而且银行业务绝大多数情况下要满足ACID要求,不能出现数据幻象,这些都对数据库选择、架构、性能、运维带来极大的挑战。那么,银行到底都在使用哪些数据库?今天本文就将为你一一揭秘,供选型参考。

第四种武器:Postgresql数据库

计算机网络 7

其中,Oracle数据库在江苏银行主要用于传统OLTP环境应用,对于传统Oracle数据库,江苏银行改变了传统的一个应用一套数据库的模式,对数据库进行了大量的整合,最近三年新上的Oracle数据库更是全部运行在PC 服务器RAC集群上 ,每套RAC均承载多套应用。并且持续迁移老的单机版本数据库到集群环境,单机数据库的数量持续降低。

1、定位:开源、多平台、关系型数据库

目前使用最广泛、流行度最高的的开源数据库。

基于Hadoop、 spark等开源大数据库产品,工商银行自主构造了应对非结构化数据的大数据平台,目前节点超过700个 ,数据量达到6PB上,为网银、融e联等40多个应用提供数据支撑。

1、定位:

商业、多平台、关系型数据库

功能最强大、最复杂、市场占比最高的商业数据库

2、特点:

功能:支持事务,符合关系型数据库原理,符合ACID,支持多数SQL规范,以二维表方式组织数据

部署:Oracle单实例数据库部署相对容易,但Oracle RAC集群环境,部署的步骤和依赖条件都比较多;

使用:通常使用命令行工具,进行各种数据库的管理,通常也可以用shell脚本和python脚本提高Oracle数据库管理效率;各种管理功能,都比较强大;

监控:Oracle官方有比较全面的监控工具,常用的第三方监控平台,如zabbix,cacti,lepus等都有对Oracle数据库的各项指标的完善监控;

备份:支持冷备份和热备份,可以用 exp/imp , expdp/impdp等进行逻辑备份和恢复,可以使用强大的RMAN工具进行专业的物理热备份和恢复;

高可用:Oracle数据库的高可用架构,可以用第三方双机热备软件,结合Oracle单实例实现;可以使用Oracle Dataguard,实现master和standby的备份;可以使用 Oracle RAC集群实现实例级别的高可用和负载均衡,使用ASM实现存储级别的高可用;

扩展:由于Oracle集群采用共享存储的方式,一般只能通过垂直硬件升级进行升级;

 3、适用场景:绝大多数OLTP场景,部分OLAP

而Informix 、Sybase正在逐渐退出。MySQL正在一些外围和渠道系统上逐步试点和推广。在大数据平台上也有使用Hbase。

4、选择注意:

Mongodb不适合的场景:

高度事务性的系统:即传统的OLTP业务,mongodb,乃至其他nosql,对事务性支持都不太好;

传统的统计分析应用:即传统的OLAP业务,需要高度优化的查询方式,mongodb支持不好;

使用SQL语句比较方便的业务:mongodb是json类型的查询方式,虽然也灵活,但不如用SQL方便,如果业务和适合SQL,则就不太合适mongodb了。 

江苏银行在用数据库类型也很多,主要有Oracle,也有新兴的开源和分布式数据库。目前MySQL、Gbase、MongoDB、Redis、Hbase、GoldenDB、TDH在江苏银行都有小规模使用。


采访对象:吴辉,工商银行数据中心平台数据库负责人,负责开放平台10多种、数千套各类数据库的日常维护,职责主要包括各类数据库的架构部署、系统上线、高可用建设、故障诊断、升级退库等全生命周期的管理操作。

第六种武器:Redis数据库

计算机网络 8

小结

2、特点:

功能:支持事务,符合关系型数据库原理,符合ACID,支持多数SQL规范,以二维表方式组织数据

部署:在Windows平台,用图形界面进行软件安装;

使用:在Windows平台,使用SQL Server Mangement Studio图形界面进行安装;

监控:一般通过Windows资源管理和SQL server图形工具进行系统和数据库性能显示;

备份:通常用第三方备份恢复软件进行备份恢复;

高可用:通过共享存储和双机热备的方式,可以实现SQL Server数据库的高可用;

扩展: SQL Server数据库集群采用共存存储的方式,通过硬件垂直升级来对数据库集群进行扩展; 

其中,DB2主要用在主机上,在银行核心系统上使用。

4、选择注意:

Hbase不适合的场景:对数据分析需求高,需要能够用sql或者简单的MapReduce实现分析需求的业务场景,不适合用Hbase;

单表数据量,不超过千万时,使用Hbase,体现不出Hbase的优势,而且会比较慢,不适合用Hbase。

通过对上面数据库“七种”武器的描述,也可以看到目前常用数据库的使用脉络和选择顺序,对应一个业务,可以优先选择最流行的开源数据库——MySQL;如果出于稳定和商业版考虑,可以选择Oracle数据库,或者SQL Server数据库(与Windows体系结合);如果想用开源,有想要有足够的功能来应对各种场景,可以使用 postgresql数据库。这四种数据库,都是关系型数据库,可以很好地满足大多数业务场景,解决通用性问题。

对于一些特殊性问题,尤其是想要在扩展性方面有比较高的要求,可以考虑nosql数据库。Mongodb数据库,介于关系型数据库和非关系型数据库之间,兼具两者的特点,是非常流行的文档型nosql数据库;redis定位于内存型键值nosql数据库;hbase是海量文件存储的列式nosql数据库。根据合适的业务场景,选择适合的nosql数据库,可以对某一类,或某几类业务问题有很好的解决,可以作为关系型数据库的一种补充。

换个角度,MySQL,Oracle,SQL Server,Postgresql,mongodb这五种数据库,也是DB-Engines排行榜上最流行的排名前五的五种数据库,从使用量和受欢迎程度,也可以看出这些数据库使用的广泛性。


计算机网络 9计算机网络 10计算机网络 11计算机网络 12

知数堂

叶金荣与吴炳锡联合打造

领跑IT精英培训

行业资深专家强强联合,倾心定制

MySQL实战/MySQL优化 /大数据实战/ Python/ SQL优化

数门精品课程

紧随技术发展趋势,定期优化培训教案

融入大量生产案例,贴合企业一线需求

社群陪伴学习,一次报名,可学3期

DBA、开发工程师必修课

上千位学员已华丽转身,薪资翻番,职位提升

改变已悄然发生,你还在等什么?

计算机网络 13

扫码或“阅读原文”下载**知数堂精品课程试听视频**

(MySQL 实战/优化、大数据实战、Python开发,及SQL优化等课程)

密码:hg3h

计算机网络 14

计算机网络 15计算机网络 16

江苏银行是在江苏省内无锡、苏州、南通等10家城市商业银行基础上,合并重组而成的现代股份制商业银行, 2007年1月24日正式挂牌开业,是江苏省唯一一家省属地方法人银行。截至2016年末,资产总额达15983亿元,各项存款总额达9074亿元,各项贷款总额达6494亿元。

因此,如果IBM对于DB2没有更多的新举措,被淘汰恐怕就将会是早晚的事,但短时间DB2市场地位不会有太大变化。另外,有个因素也不容忽视,银行引入DB2不排除还有出于商务制衡的考虑。

中国银行在应用上也有颇多创新,主要体现以下几个方面,在自动化方面,有数据库的自动化安装、配置,自动化健康检查,搭建数据库问题排查平台,还包括性能数据仓库及数据挖掘等。搭建主库和备用库环境,优化数据结构和应用架构。结合ADG技术,实现数据高可用保障,部分应用系统实现读写分离,优化应用功能实现,提升数据库服务效率。结合存储设备数据复制技术,提供部分系统的T 1数据查询功能。

上海浦东发展银行是1992年8月28日批准设立、1993年1月9日开业、1999年在上海证券交易所挂牌上市的国有控股全国性股份制商业银行,总行设在上海。2016年8月,上海浦东发展银行在2016中国企业500强中排名第49位。

其中,Oracle在浦发银行主要应用于信用卡业务,浦发银行目前已经全面拥抱12c的多租户体系,正在全面推进DBaaS。未来所有数据库部署在少数几个集群上。目标实现动态伸缩、快速部署、自服务。DB2则在全面拥抱Purescale架构。

采访对象:张海滨,中国银行数据中心数据库运维团队高级经理。工作包括:数据库日常巡检、问题解决、常规保障及重点时段、重要项目保障、外部服务厂商管理等,开展数据安全保障,架构设计及调整、性能优化、重点难点问题解决等内容,还包括新技术引入、创新、人才培养等。

原文来自微信公众号:老鱼笔记

工商银行基于商用数据库自主建设了银行全线应用系统,涵盖个人、对公、信用卡等多条业务线,数百个应用系统。

招商银行数据库类型也比较多,而用得最多的是Oracle、DB2、MySQL,分别用在重要业务系统或高复杂度业务系统,以及普通系统。

田永江说:“金融科技的创新发展很快,为业务保驾护航,甚至技术促进、引领业务发展,是我们不断地追求,需要我们更多地了解和掌握行业发展动向,做好技术引进和消化方面的工作。”

或许出于涉密原因,他并没有谈到招行具体创新,但他也指出,无论哪种数据库,只要有可用性、性能容量的要求,都进行分库分表、读写分离、多活等架构规划和设计,并两地部署,结合容灾和一键切换,形成高可用、多中心部署、可横向扩展的架构。

导语:与互联网行业广泛使用开源的MySQL数据库不同,银行对可用性、安全性的要求更高,任何创新、业务都必须以此为前提。同时手机银行、网上银行等业务也具备客户量、交易量大,交易峰值特别高的特点,而且银行业务绝大多数情况下要满足ACID要求,不能出现数据幻象,这些都对数据库选择、架构、性能、运维带来极大挑战。那么,银行到底都在使用哪些数据库?今天本文就将为你一一揭秘,供选型参考。

本篇为《行业数据库应用与创新大调查》第二期银行篇,一期为互联网篇,采访知名互联网企业11家,包括蚂蚁金服,腾讯、百度外卖,京东、去哪儿,魅族,新浪网,新浪微博、58到家、美团外卖、本来生活网。

如果你想了解互联网行业在使用哪些数据库,请阅读第一期。

编辑:计算机网络 本文来源:数据库的七种武器,城商行都在使用什么数据库

关键词: 亚洲城ca88