金融行业数据库的选择

文 / 杭州银行信息技术部  邵健

(资料图片)

库里南作为豪车已经称霸多年。同样，数据库领域的Oracle也是豪车级的“库里南”，是集中式数据库的天花板。但是，面对异军突起的分布式数据库，在自主创新的环境下，我国自主研发的数据库能否厚积薄发成为“库里南”，将面临时代的考验。

金融行业数据库发展状态分析

数据库技术产生于20世纪60年代末70年代初，关系数据库模型初期在1970年由IBM研究员E.F.Codd博士率先提出，之后成为数据库领域主流模型，其主要研究数据如何管理、存储和使用。随着时代的快速进步，计算机硬件和软件技术快速迭代，数据库的创新技术也不断蓬勃发展，在理论研究和系统开发上都取得了辉煌的成就。在当下，用户希望关系数据库稳定运行的同时，能够横向扩展，能够无限大、无限快。

在目前市场上，数据库特指占市场主导地位的传统OLTP（联机事务处理）领域的关系数据库。只有这个产品，才是困扰我们多年的，无数人为之尝试的数据库产品。

依据数据模型发展的主要路线，数据库技术的形成过程和发展历程可主要分为如下几个重要阶段。

1.关系型数据库

关系数据库可以理解为使用二维表来表示。维护数据间的关系优点是满足ACID原则，严格遵守数据完整性约束，保证数据一致性；具有标准化语言SQL。面对事务处理和分析决策的需求，OLTP事务型数据库和OLAP分析型数据库应运而生。

（1）OLTP。OLTP数据库发展初期更多属于集中式数据库。OLTP业务系统必须保证数据强一致性，通常使用关系型数据模型，支持多并发、快速实时地实现增删查改。集中式OLTP数据库的局限性是缺乏横向可扩展性，需要解决跨服务器扩充的问题，海量数据和高并发条件下读写效率较低。

（2）OLAP。系统可从多种维度并且高速分析来自数据集市、数据湖的数据，主要面向分析师和管理者，支持对历史数据的复杂分析操作，OLTP是指业务在线交易系统，OLAP是指业务分析系统。OLTP和OLAP是相辅相成，互相补充的过程，同时OLAP多采用MPP架构。

2.NOSQL非关系型数据库

针对关系型数据库存在数据模型、性能、扩展性、伸缩性等方面的缺点，出现了NoSQL（非关系型数据库技术）。NoSQL泛指非关系型数据库，其中典型的以Key-Value为主要模式。NoSQL数据库重点解决了传统关系型数据库硬件垂直扩展的局限性。通过分库分表方式实现水平扩展。在互联网行业中，基础平台追求省钱，不会去买商业化的产品。数据的操作模式很简单，而NoSQL因为简单所以最先能够无障碍搭建分布式环境，能够得到广泛使用。笔者认为，它不是数据库发展的后继力量。如：内存数据库（Redis）、列式储数数据库（HBase）等。其优点是可扩展性高，在牺牲一致性的前提下，通过横向扩展提高可用性，无明显的单点故障。缺点是在数据一致性方面有所牺牲；SQL标准化有待完善；事务的一致性无法保障，无法满足ACID特性。

3.NEWSQL数据库

NewSQL，新一代数据库技术的研究和发展。2011年前后，451Group的MatthewAslett首先提出了NewSQL定义，用来表示新型、可横向扩展的关系型数据库。其中，大多NewSQL数据库有两个特点：其一，保持NoSQL数据库的高性能和可扩展性；其二，必须保证事务的ACID特性，保证事物的一致性。采用标准SQL为主要接口的关系数据模型。如：TiDB、OceanBase。

下面再来分析NewSQL数据库的分类：原生分布式和中间件（非原生）分布式。

对于金融机构而言，随着时代的发展，大数据分析潜力无限，特别对数据库“强一致性、高可用性、低时延性”的要求更为苛刻，同时众多金融机构将分布式数据库纳入下一步选型的重点。分布式数据库选型主要遵循“原生分布式”和传统的“中间件+分库分表”。基于中间件分布式数据库优点在于：方案成熟；整体性能类似于单机数据库，适用于金融机构低延时的要求。缺点在于：对业务开发的侵入强、不透明，开发工作量庞大；拓展性较差，数据分片后静态、不可变；中间件负担过重。

原生分布式数据库完全抛弃小型机体系，从底层全新研发，具有分布式数据库的高并发处理能力、高可用、高可扩展性，且对用户透明管理。采用计算、管理、存储分离的系统架构。实现计算下推到存储节点的特性，提高了响应效率，实现各层独立扩展、按需配置硬件设备的特点。优点在于：数据分片能够依据热点自动平衡到不同节点；业务开发没有侵入，研发人员专注于业务开发；利用计算下推的强大能力，多个节点并行计算，提高业务处理效率，满足轻量级实时分析。缺点是：架构较新，实践案例相对较少；基于CAP理论“扩展性、可靠性、性能”三者只能同时满足两个；存算分离的架构，对运维人员要求较高。

将传统关系型数据库（集中式）、NOSQL、NEWSQL从横向进行的一个比较（如表所示）。

表  传统关系型数据库（集中式）、

NOSQL、NEWSQL横向比较

4.HTAP数据库

HTAP是混合OLAP和OLTP业务同时在线处理的系统，2014年由Gartner公司提出，它打破了事务处理和数据分析之间的壁垒，支持业务在线信息处理和业务分析决策同时进行。

由于OLAP型数据库大多需要离线将OLTP数据导出，这就会造成数据时效性的降低。一些对决策时效性要求较高的场景就会对OLTP和OLAP混合的数据库需求较大，所以衍生出了HTAP数据库，其数据的存放方式大多为行列混存方式。

分布式和集中式数据库的抉择

综上所述，集中式数据库与分布式交易数据库的处理性能、硬件扩展性，存在较大差距。这个性能差距存在的前提是“数据量”。在几亿数据量的级别下，集中式数据库通过数据压缩和服务器内存、CPU，完全能够将这些数据存储在单台服务器的存储或者内存中。这种情况下，分布式数据库的二阶段提交执行的代码、网络开销都会对事务提交造成极大的延时。

分布式数据库主要场景应用于单台数据库无法处理海量数据，对并发要求高，分布式数据库是这类需求的绝佳选择。这类业务的数据量往往以数百亿甚至达到万亿级别。

笔者认为，如果应用数据量并不大，一个集中式数据库实例就装得下，并且传统关系型数据库架构的性能足以应对数据访问负载，那么就不需要使用分布式事务，从而获得更好的性能。在数据量、业务并发量可控的前提下，集中式数据库可以带来更低的响应延迟，减少投入成本，从而获得最大性价比。如果业务系统集中式架构就可以完全满足，却选择了分布式架构，无形中就会多投入很多服务器资源，而分布式数据库更契合于海量数据（数亿甚至达到万亿级别）、计算资源、存储资源的扩缩容能力是集中式数据库所不具备的。千万不要为了分布式而分布式。

金融行业数据库未来发展趋势

1.趋势一：HTAP

OLTP→OLAP→HTAP(混合型)：融合OLTP和OLAP的HTAP发展迅速。大数据时代数据价值深入挖掘，更多企业对数据库系统也提出了更高要求。当前阶段，企业为满足业务需求，最为常用OLTP结合OLAP的组合拳，但两套系统之间数据交互延时的壁垒无法避免。同时还需要管理两个数据库平台、投入更多硬件设备、组建两支技术团队，运维成本高。HTAP混合型数据库，基于全新存、算分离部署架构，能同时处理OLTP和OLAP两种业务能力，规避了传统架构模型中，大数据量传输造成的硬件浪费和响应延迟。同时基于分布式架构，可在线按需扩展存储和计算资源，应对高并发、海量数据场景。

笔者相信，国内数据库未来是分布式与集中式并存，HTAP是未来的趋势。

2.趋势二：开源

2021年3月，开源正式被列入“十四五”规划发展纲要。从产业发展角度来看，一方面开源社区汇聚了全球的技术力量，有助于产品的技术创新，为技术交流提供空间，加速企业创新能力诞生；另一方面提高了数据库产品开发的效率，提高了基础程序的共享、复用。对于系统厂商而言，虽然表面上看，企业推进开源要投入大量技术力量，而且不能获得直接的利润，但在这个过程中，可以布局软件产品的生态圈，包括教育培训、实践反馈、产品影响力、配套周边产品等，从而在战略上占据有利的地形。如果不选择开源，一来传播速度会很慢，二来用户的信任成本会很高，最致命的是用户的增长并不会是一种病毒传播式的增长，进而导致产品的迭代速度会变得很慢。数据库产品作为一个“需要被用出来”的基础软件，只有产品不断迭代，才能逐步完善。

标签：