您的位置:首页 >科技 >

金融行业数据库的选择

2023-08-28 11:08:20    来源:互联网

文 / 杭州银行信息技术部  邵健


(资料图片)

库里南作为豪车已经称霸多年。同样,数据库领域的Oracle也是豪车级的“库里南”,是集中式数据库的天花板。但是,面对异军突起的分布式数据库,在自主创新的环境下,我国自主研发的数据库能否厚积薄发成为“库里南”,将面临时代的考验。

金融行业数据库发展状态分析

数据库技术产生于20世纪60年代末70年代初,关系数据库模型初期在1970年由IBM研究员E.F.Codd博士率先提出,之后成为数据库领域主流模型,其主要研究数据如何管理、存储和使用。随着时代的快速进步,计算机硬件和软件技术快速迭代,数据库的创新技术也不断蓬勃发展,在理论研究和系统开发上都取得了辉煌的成就。在当下,用户希望关系数据库稳定运行的同时,能够横向扩展,能够无限大、无限快。

在目前市场上,数据库特指占市场主导地位的传统OLTP(联机事务处理)领域的关系数据库。只有这个产品,才是困扰我们多年的,无数人为之尝试的数据库产品。

依据数据模型发展的主要路线,数据库技术的形成过程和发展历程可主要分为如下几个重要阶段。

1.关系型数据库

关系数据库可以理解为使用二维表来表示。维护数据间的关系优点是满足ACID原则,严格遵守数据完整性约束,保证数据一致性;具有标准化语言SQL。面对事务处理和分析决策的需求,OLTP事务型数据库和OLAP分析型数据库应运而生。

(1)OLTP。OLTP数据库发展初期更多属于集中式数据库。OLTP业务系统必须保证数据强一致性,通常使用关系型数据模型,支持多并发、快速实时地实现增删查改。集中式OLTP数据库的局限性是缺乏横向可扩展性,需要解决跨服务器扩充的问题,海量数据和高并发条件下读写效率较低。

(2)OLAP。系统可从多种维度并且高速分析来自数据集市、数据湖的数据,主要面向分析师和管理者,支持对历史数据的复杂分析操作,OLTP是指业务在线交易系统,OLAP是指业务分析系统。OLTP和OLAP是相辅相成,互相补充的过程,同时OLAP多采用MPP架构。

2.NOSQL非关系型数据库

针对关系型数据库存在数据模型、性能、扩展性、伸缩性等方面的缺点,出现了NoSQL(非关系型数据库技术)。NoSQL泛指非关系型数据库,其中典型的以Key-Value为主要模式。NoSQL数据库重点解决了传统关系型数据库硬件垂直扩展的局限性。通过分库分表方式实现水平扩展。在互联网行业中,基础平台追求省钱,不会去买商业化的产品。数据的操作模式很简单,而NoSQL因为简单所以最先能够无障碍搭建分布式环境,能够得到广泛使用。笔者认为,它不是数据库发展的后继力量。如:内存数据库(Redis)、列式储数数据库(HBase)等。其优点是可扩展性高,在牺牲一致性的前提下,通过横向扩展提高可用性,无明显的单点故障。缺点是在数据一致性方面有所牺牲;SQL标准化有待完善;事务的一致性无法保障,无法满足ACID特性。

3.NEWSQL数据库

NewSQL,新一代数据库技术的研究和发展。2011年前后,451Group的MatthewAslett首先提出了NewSQL定义,用来表示新型、可横向扩展的关系型数据库。其中,大多NewSQL数据库有两个特点:其一,保持NoSQL数据库的高性能和可扩展性;其二,必须保证事务的ACID特性,保证事物的一致性。采用标准SQL为主要接口的关系数据模型。如:TiDB、OceanBase。

下面再来分析NewSQL数据库的分类:原生分布式和中间件(非原生)分布式。

对于金融机构而言,随着时代的发展,大数据分析潜力无限,特别对数据库“强一致性、高可用性、低时延性”的要求更为苛刻,同时众多金融机构将分布式数据库纳入下一步选型的重点。分布式数据库选型主要遵循“原生分布式”和传统的“中间件+分库分表”。基于中间件分布式数据库优点在于:方案成熟;整体性能类似于单机数据库,适用于金融机构低延时的要求。缺点在于:对业务开发的侵入强、不透明,开发工作量庞大;拓展性较差,数据分片后静态、不可变;中间件负担过重。

原生分布式数据库完全抛弃小型机体系,从底层全新研发,具有分布式数据库的高并发处理能力、高可用、高可扩展性,且对用户透明管理。采用计算、管理、存储分离的系统架构。实现计算下推到存储节点的特性,提高了响应效率,实现各层独立扩展、按需配置硬件设备的特点。优点在于:数据分片能够依据热点自动平衡到不同节点;业务开发没有侵入,研发人员专注于业务开发;利用计算下推的强大能力,多个节点并行计算,提高业务处理效率,满足轻量级实时分析。缺点是:架构较新,实践案例相对较少;基于CAP理论“扩展性、可靠性、性能”三者只能同时满足两个;存算分离的架构,对运维人员要求较高。

将传统关系型数据库(集中式)、NOSQL、NEWSQL从横向进行的一个比较(如表所示)。

表  传统关系型数据库(集中式)、

NOSQL、NEWSQL横向比较

4.HTAP数据库

HTAP是混合OLAP和OLTP业务同时在线处理的系统,2014年由Gartner公司提出,它打破了事务处理和数据分析之间的壁垒,支持业务在线信息处理和业务分析决策同时进行。

由于OLAP型数据库大多需要离线将OLTP数据导出,这就会造成数据时效性的降低。一些对决策时效性要求较高的场景就会对OLTP和OLAP混合的数据库需求较大,所以衍生出了HTAP数据库,其数据的存放方式大多为行列混存方式。

分布式和集中式数据库的抉择

综上所述,集中式数据库与分布式交易数据库的处理性能、硬件扩展性,存在较大差距。这个性能差距存在的前提是“数据量”。在几亿数据量的级别下,集中式数据库通过数据压缩和服务器内存、CPU,完全能够将这些数据存储在单台服务器的存储或者内存中。这种情况下,分布式数据库的二阶段提交执行的代码、网络开销都会对事务提交造成极大的延时。

分布式数据库主要场景应用于单台数据库无法处理海量数据,对并发要求高,分布式数据库是这类需求的绝佳选择。这类业务的数据量往往以数百亿甚至达到万亿级别。

笔者认为,如果应用数据量并不大,一个集中式数据库实例就装得下,并且传统关系型数据库架构的性能足以应对数据访问负载,那么就不需要使用分布式事务,从而获得更好的性能。在数据量、业务并发量可控的前提下,集中式数据库可以带来更低的响应延迟,减少投入成本,从而获得最大性价比。如果业务系统集中式架构就可以完全满足,却选择了分布式架构,无形中就会多投入很多服务器资源,而分布式数据库更契合于海量数据(数亿甚至达到万亿级别)、计算资源、存储资源的扩缩容能力是集中式数据库所不具备的。千万不要为了分布式而分布式。

金融行业数据库未来发展趋势

1.趋势一:HTAP

OLTP→OLAP→HTAP(混合型):融合OLTP和OLAP的HTAP发展迅速。大数据时代数据价值深入挖掘,更多企业对数据库系统也提出了更高要求。当前阶段,企业为满足业务需求,最为常用OLTP结合OLAP的组合拳,但两套系统之间数据交互延时的壁垒无法避免。同时还需要管理两个数据库平台、投入更多硬件设备、组建两支技术团队,运维成本高。HTAP混合型数据库,基于全新存、算分离部署架构,能同时处理OLTP和OLAP两种业务能力,规避了传统架构模型中,大数据量传输造成的硬件浪费和响应延迟。同时基于分布式架构,可在线按需扩展存储和计算资源,应对高并发、海量数据场景。

笔者相信,国内数据库未来是分布式与集中式并存,HTAP是未来的趋势。

2.趋势二:开源

2021年3月,开源正式被列入“十四五”规划发展纲要。从产业发展角度来看,一方面开源社区汇聚了全球的技术力量,有助于产品的技术创新,为技术交流提供空间,加速企业创新能力诞生;另一方面提高了数据库产品开发的效率,提高了基础程序的共享、复用。对于系统厂商而言,虽然表面上看,企业推进开源要投入大量技术力量,而且不能获得直接的利润,但在这个过程中,可以布局软件产品的生态圈,包括教育培训、实践反馈、产品影响力、配套周边产品等,从而在战略上占据有利的地形。如果不选择开源,一来传播速度会很慢,二来用户的信任成本会很高,最致命的是用户的增长并不会是一种病毒传播式的增长,进而导致产品的迭代速度会变得很慢。数据库产品作为一个“需要被用出来”的基础软件,只有产品不断迭代,才能逐步完善。

标签:

相关阅读