小程序开发设计在提升企业数字化转型效率中的关键作用
358
2023-11-25
2022年,数据库行业发展迅速,并呈现出若干鲜明特点。各数据库厂商及产品均取得长足进步,在部分重点技术领域有所突破,其中以国产化、云及原生、分布式为代表的厂商及产品表现突出。从技术方向上看,以分布式、Serverless、HTAP、云与云原生、生态开放等代表性技术,成为了各产品发展重点。
在分布式数据库领域,经过数年发展,分布式数据库在基本功能、稳定性、性能等方面已趋于完善,今年各家产品在小规模化、高可用、易用性、生态兼容方面着力发展。
在云与云原生领域,一方面部分国产数据库在上云方面走出更为扎实的步伐,并开始涉足海外;另一方面云厂商产品开始从托管类竞争,过渡到自有产品竞争,更加强调云原生能力,突出在承载规模、弹性能力及高性价比方面。
尤其值得关注的Serverless方向,通过与云底座更紧密结合,数据库服务形式开始尝试从资源型售卖转变为服务型售卖,在多变业务负载等场景有着不错的落地场景。各家从早期的Serverless一代产品,逐步演进过渡到二代,更为强调细粒度、高敏态等能力。相信在未来,Serverless方向将成为各家竞争的主力战场。
在HTAP方向下,经过数年发展相关理念已逐步得到用户认同,各厂商产品开始将HTAP能力作为基础能力看待;但在技术路线及能力标准方面,尚无统一认识,还在快速发展中。在数据库开发领域,强调开发体验实现简洁开发、良好兼容体验成为各家的共识;在打好基础的情况下,如何好用、易用成为关注重点。
除上述技术热点外,数据分析领域的湖仓一体,NoSQL领域中图、时序产品的企业级特性,AI与数据库结合等方向,也是较为火热的发展方向。
从企业角度来看,也呈现出若干鲜明特点。国产数据库厂商经过多年发展已逐步成熟,一方面受到来自政策、资本层面等诸多利好因素促进发展迅猛,一方面尝试拓展更多领域,涉足海外。云厂商发展特点一方面通过构建新一代云原生、Serverless能力,重塑产品能力;另一方面针对客群向ToB、ToG端变化趋势,突出在产品生态能力及垂直解决方案方面的投入。新兴厂商则在垂直领域(如HTAP、NoSQL、兼容性)深耕,寻找差异化竞争路线。
为方便阅读、重点呈现,本文对各板块内容进行了精简,需阅读完整版可点击文末 【原文链接】 查看
国产数据库
AntDB发布7.0及7.2版本
一、2022下半年重大更新总结
2022年下半年,AntDB数据库发布了7.0及7.2版本,其中值得关注的亮点有:
1、流式处理引擎
AntDB流式处理引擎,彻底将流式计算与传统交易、分析型数据存储进行融合,用户可以在数据库引擎内,通过标准SQL自由定义数据结构以及实时处理逻辑。数据在数据库内部的流对象、表对象之间自由流转的过程中,用户可以随时通过建立索引、流表关联、触发器、物化视图等方式对数据进行性能优化、数据加工、集群监控以及业务逻辑定制。
开发人员完全摆脱了使用Java/Scala代码定义数据加工逻辑的复杂性, “一款产品,满足多种数据加工类型”也大幅度降低了整体技术框架的复杂度,提升系统的安全稳定性与开发效率。
2、全新推出超融合架构
超融合架构是在统一框架下,实现内存计算、交易、分析、流处理、时序等多种数据处理能力的融合,在HTAP概念上进行进一步拓展,将时序存储、流处理执行以及向量化分析等多引擎进行统一架构封装,让同一个数据库集群支持多种业务模型,大大降低业务系统对多样化数据需求支持的复杂性。
3、电信级核心交易能力优化提升
原生异地多活分布式弹性架构,平滑扩展、电信级高可用、同构异构数据库数据同步、数据备份、备份恢复、高可用及容灾秒级切换、高性能高吞吐等关键能力优化提升。
二、明年展望
在超融合一体流式引擎的基础上,AntDB进一步提升内存计算、交易、分析、流处理、时序五大能力的融合深度。产品架构上,AntDB将会继续强化多租户、云原生等能力,在公有云、混合云、私有云使用的存算分离架构进行进一步的支持。
SequoiaDB发布v5.2版本2022下半年,巨杉数据库主要发布了v5.2版本,通过对实时能力的提升,让全量数据的价值从「内部离线」向「实时对客」进一步释放。其中值得关注的新特性有:
1、查询更实时,所有数据可毫秒级访问
面向结构化数据,SequoiaDB v5.2版本提供深度的Join优化及列存微分区技术,在多个查询场景下,性能达到了毫秒级实时返回;分析场景中,性能更获得了10倍以上提升,让数据湖的查询分析更实时。
2、存取更实时,吞吐量提升30%以上
面向非结构化数据,巨杉通过「分片并发」及「可变分区大小」的技术,相比原有版本,SequoiaDB v5.2版本吞吐量提升30%以上,让数据湖的非结构化数据存取更实时。
3、诊断更实时,业务问题分钟级定位
巨杉数据库发布SAC运维管理工具的重要特性更新,运行监控方面提供了全GUI的性能及故障分析能力,SAC基于分布式架构的实时诊断,可实现业务问题分钟级定位。
4、全量数据生命周期管理,提升人效及能效
部署架构方面,支持多配置硬件的混合部署,针对高并发数据与低并发数据,做到按需调度;面向横跨结构化、非结构化数据,提供一体化的开发及管理能力,提升人效及能效,在成本可控的前提下,实现全量数据实时可用。
QianBase™发布MPP-6.0.0版本和TP-14.2版本2022下半年,QianBaseTP单机版主要发布了14.2版本,在产品的功能性、兼容性和数据安全方面进行了提升,主要内容如下:
1、DDL闪回,提供表级别的DDL闪回功能,对于用户误用drop table命令导致表被删除的情况,可以从“回收站”闪回,大大提升了数据表安全的可操作性;
2、connect by 层次查询,将分层数据按照层次关系展示;
3、DML闪回,提供表级别的DML闪回查询功能;
4、提升Oracle的函数兼容性,包含但不局限于日期/时间函数,转换函数,字符串函数等),数据类型等;
5、支持OnlineDDL功能,在线修改列字段类型,不影响业务运行;
6、支持TP高可用集群部署,支持主备和一主多备;
7、db/schema/table/user级别的备份与恢复;
8、支持国密算法的透明加密功能,极大的增强了数据安全性。
2022下半年,QianBaseMPP主要发布了6.0.0版本,在产品的功能性、安全性和高可用方面进行了提升,主要内容如下:
1、AO表支持主键和唯一索引,解决数据并发/批量插入时,存在键值数据重复的问题;
2、多字符分隔符,TXT及CSV数据文件批量导入数据库时,支持多字符的行分隔符和列分隔符;
3、支持中文检索,中英文混合检索,可自建用户字典;
4、强制访问控制,提供不同密级数据混合存放在同表,对用户写读数据进行逐行的人为过滤和检查,满足"上读下写等更新"的安全原则;
5、审计功能,通过后台记录用户执行的DDL/DML操作,追踪用户执行的操作和结果,并使用标准SQL表记录,方便进行数据过滤;
6、AO表透明加密支持国密SM4算法,AO表开启明加密后,以块为单位在写入磁盘文件前自动加密,文件中存的是密文,从文件读入内存后自动解密;
7、用户认证国密支持了SM3算法,用户配置SM3认证方式之后,创建用户的密码将会以国密SM3算法对明文密码进行加密;
8、master宕机自动切换standby。
ArkDB 2022年下半年更新技术要点1、ArkDB兼容到mysql-8.0.31版本;
2、通过mysql-test提升ArkDB稳定性;
3、更新共享存储服务端的版本,并且修改了兼容度;
4、在mysql-test测试中,加入了对sysbench的兼容及引入,可以通过sysbench来做压力测试了;
5、修复ArkDB事务在多次start的情况下,导致的REDO日志不完全,从而引起的从库MVCC失效的问题;
6、修复热点页面再次被修改并加入到脏页链表,导致ArkDB断言错误的问题;
7、修改在ArkDB主从切换时,有可能被提前刷盘导致从库读到太新数据的问题;
8、修复REDO日志中有些记录不能成对出现导致复制时从库的逻辑出现异常的问题;
9、修改在主库生成REDO日志时,没有将涉及到的Page页面排序去重导致的从库异常问题;
10、修改由于undo/btree配比不对导致主从复制变慢的问题;
11、ArkDB数据统计功能,修复兼容性问题;
12、Arkolap引擎增加了对分布式节点、多源节点的支持;
13、Arkolap增加内部连接池,优化性能;
14、其他若干问题修复。
OushuDB发布5.0版本OushuDB 5.0通过多种创新的技术,可支持超高并发、超大规模集群以及存算分离,解决了传统数据库由于复杂查询并发的限制、集群规模的限制或者支持的表数目的限制等等而导致的分库分表,从而可以真正的实现湖仓一体,避免数据孤岛,满足湖仓一体的ANCHOR标准:
1、多活主节点支持超高并发
传统数据库大多只支持一主多备主节点,主节点可以同时支持读和写查询,备节点要么不支持写,只 做为备份节点使用,要么只支持读。而OushuDB 5.0的所有主节点都可以支持读写,可以水平扩展至很多主节点,增强了HA(高可用)的同时,还可以完全保证事务的ACID。结合OushuDB的多虚拟计算集群和多虚拟计算存储集群技术,可以支持超高并发复杂查询,用户不再需要分库分表,从而解决数据孤岛问题。
2、支持多虚拟存储集群架构
支持多虚拟存储集群架构,可以无缝支持多种类型分布式存储的多个集群,包括对象存储、HDFS、Magma等,比如一个大型的OushuDB集群可以支持3个HDFS集群、1个对象存储集群和1个Magma存储集群,不同集群可以支持不同应用场景。多虚拟存储集群架构还可以解决单一存储集群的限制,例如单个HDFS集群的文件数限制。此外,多虚拟存储集群架构还可以做到业务级别的IO资源隔离。
3、分区表性能提升
通过压缩等方式,极大 的降低了元数据的体量,可以支持超大规模亿级别的分区表数目。传统分析型数据库在表数目比较大,比如百万级别的时候,性能就会急剧下降,而OushuDB 5.0很好 的解决了这个问题,提高了性能。
4、Update/delete性能提升
通过重新设计事务处理系统,减少了Update/Delete操作对元数据的读写,提升了update/delete性能。比如针对只更新少量数据的场景,性能得到了数倍的提升。
本文转载自:dbaplus社群
原文链接: https://mp.weixin.qq.com/s/pa-ErXJORIuKwcE2kceGFQ
来自 “ ITPUB博客 ” ,链接:http://blog.itpub-/70000893/viewspace-2933498/,如需转载,请注明出处,否则将追究法律责任。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~