数据架构选型必读:4月数据库产品技术解析

网友投稿 440 2023-11-26

TiDB发布3.0.0 Beta.1版本

2019年3月26日,TiDB发布3.0.0 Beta.1版。

数据架构选型必读:4月数据库产品技术解析

其对应的TiDB-Ansible版本为 3.0.0 Beta。相比3.0.0 Beta版本,该版本对系统稳定性、易用性、功能、优化器、统计信息以及执行引擎做了很多改进。

TiDB源码:

TiKV 源码:

更进一步文档请阅读:

SequoiaDB发布3.2版本 

2019年3月31日,SequoiaDB巨杉数据库发布3.2版。该版本在3.0.1的基础上进行了大幅度性能优化与提升,在分布式的交易型业务下,整体性能提升2~3倍,CPU消耗节省超过30%。

1、架构:

SequoiaDB巨杉数据库采用计算存储分离架构:

这种分布式架构一方面可以提供针对数据表的无限横向水平扩张,另一方面在计算层通过提供不同类型数据库实例的方式,100%兼容MySQL、PostgreSQL与SparkSQL协议与语法,原生支持跨表跨节点分布式事务能力,应用程序基本可以在零改动的基础上进行数据库迁移。

2、分布式存储层 功能特点

支持分布式事务能力;

支持RU、RC、RR、以及Serializable四种隔离级别;

支持读已提交的MVCC特性;

在线数据Rebalance;

多租户数据物理隔离能力;

HTAP交易分析业务的物理隔离能力;

基于Raft协议的高可用能力;

基于Logshipping机制的数据同步策略,支持同城双中心、同城三中心、两地三中心、三地五中心等多种容灾架构;

支持同城双活业务能力;

支持表级一致性控制策略;

3、分布式计算层 功能特点

100%支持原生 MySQL、PostgreSQL、SparkSQL 协议与语法;

支持JSON、S3对象存储、以及Posix文件系统协议;

计算节点提供类似Oracle RAC的高可用能力;

支持MySQL与PostgreSQL视图、存储过程、触发器、自增字段等特性;

Apache Trafodion发布2.3.0版本

2019年2月,Apache Trafodion发布2.3.0正式版。

Apache Trafodion是一款基于Hadoop的,可同时支持事务交易和数据分析(HTAP - Hybrid Transactional and Analytical Processing)的融合型数据库产品。

其中值得关注的新功能有:

ODB的-CP命令支持bad选项,将无效记录存储至指定文件。

开发了特定脚本,解决了回归测试的合并冲突问题。

为CREATE TABLE语句新增HBASE_OPTIONS语法项,支持在HBase列族属性中指定存储策略。

支持对SQL对象增加和查看注释。

支持加载JSON文件。

支持压缩的Hive TextFile。

支持在指定字段默认定义时(创建表时)使用函数。

重构了HDFS扫描Hive TextFile的实现。

CockroachDB发布V19.1.0 - RC.1版本

2019年2月25日,CockroachDB发布V19.1.0-RC版本。

新增特性如下:

1、内容特性

就近二级索引优先:CockroachDB允许对索引单独设置Replication Zone,优化器现在可将索引的Replication Zone纳入代价估算的因子,优先选择物理上离规划执行计划节点最近的索引。

静态加密:能够对节点磁盘上的数据提供透明加密。

2、企业级特性

CHANGEFEEDs支持与kafka的TLS连接

CHANGEFEEDs支持连接到Kafka接收器时的SASL / PLAIN身份验证

丰富CHANGEFEEDs日志,以帮助调试连接问题

3、SQL特性

支持在诊断报告中使用CTE(WITH ...)和子查询,以指导用户的产品规划。

CROSS JOIN支持HINT来指定JOIN方式(HASH / MERGE / LOOKUP )。

添加了EXPLAIN(opt,env)选项,提供更多查询计划相关的信息。

支持自动刷新每张表的统计信息。

CBO优化器将Leaseholder纳入索引选择的参考因素。

修改pg_catalog中表的OID列的生成算法,保证跨版本升级时OID保持一致。

4、AdminUI变更

优化CREATE STATISTICS后台任务的进度报告。

Summary bar中的Queries per second现仅汇总SQL Queries和Node Map中显示的查询类型。

默认情况下,Jobs页面不再显示自动刷新统计信息的任务。可在Type菜单中选择Auto-Statistics Creation查看。

5、性能提升

IMPORT数据支持预计算统计信息,提高TPC-C性能。

降低统计信息自动刷新频率,减少对性能影响。

优化对Range Predicates的选择性评估。

6、Build改变

编译CockroachDB所需的最低Go版本升级为1.11.6。

大数据生态圈

Hadoop发布3.2.0版本

2019年1月8日,Hadoop发布了3.2.0版本。

相比于3.1版本进行了大量的功能性的增强。不过,此版本是3.2版本系列中的第一个版本,目前还不能正常使用,也不能投入生产。

版本更新主要包括:

1、Yarn中对节点属性的支持

节点属性帮助各个节点基于自身的属性,打上多样化的标签,然后基于这些标签,进行资源的分配。

2、Yarn上使用Hadoop Submarine

Hadoop Submarine的目的是让分布式深度学习/机器学习应用程序更容易启动、管理和监控,这些应用程序是在TensorFlow等框架中创建的。

这些改进使得在Apache Hadoop YARN上运行分布式深度学习/机器学习应用程序变得如同在本地运行此类应用程序一样容易。用户将能够在同一群集上运行的其他ETL/streaming运行深度学习工作负载。

3、Namenode中的存储策略Satisfier

在文件/目录上设置存储策略,支持 HDFS上的应用程序在不同的存储类型之间移动块。

4、ABFS文件系统连接器

支持最新的微软 Azure Datalake Gen2 Storage。

5、增强型S3A连接器

支持增强型S3A连接器,包括更好地恢复受限制的AWS的 S3和DynamoDB的IO。

6、长期运行服务升级支持

支持通过Yarn的源生API或者客户端,对上时间运行的容器,进行无缝的升级。

ElasticSearch发布7.0.0版本

2019年4月11日,ElasticSearch发布7.0.0版本。

其中值得关注的更新包括:

1、查询相关性速度优化

Weak-AND算法在Term Query查询场景有3700%的性能提升。如下所示,除了Term检索,Fuzzy、Phrase、Bool And、Bool OR都有大幅的性能提升:

2、间隔查询(Intervals queries)

某些搜索用例(例如,法律和专利搜索)引入了查找单词或短语彼此相距一定距离的记录的需要。与跨度查询相比,间隔查询对边缘情况的适应性更强。

3、引入新的集群协调子系统

移除 minimum_master_nodes 参数,让 Elasticsearch 自己选择可以形成仲裁的节点。

4、升级 Elasticsearch 7.0 ,不再内存溢出

5、时间戳纳秒级支持,提升数据精度

利用纳秒精度支持加强时间序列用例。

Greenplum发布6.0版本

2019年3月18日,Greenplum发布6.0版本。

新增特性:

Postgres内核升级到9.4

HTAP(OLAP + OLTP)性能大幅提升

支持复制表(Replicated Table)

在线扩容(Online expand)和一致性哈希(Jump Consistent Hash)

磁盘配额(Disk Quota)

灵活数据分布

基于流复制的全新高可用机制

国产数据库概览

OceanBase发布2.1.1版本

2019年4月1日,OceanBase发布2.1.1版本。

其中最值得关注的新功能和特性有:

支持全局索引

增加lob支持

增加外键支持

切主不杀事务

完善全局快照支持

完善L副本支持

支持相同大类型长度修改 

新分布式执行框架

ilog重构

升级过程中支持2.1的observer选1.4的observer作为rebuild源端

副本迁移复制等操作添加黑名单机制

RS内存占用优化

负载均衡功能增强:不设定primary zone时leader在多zone均衡算法优化,保证每个zone内多server上的leader均匀分布;修复tenant group的负载均衡zone内server的内存存在微小差异时,组内均衡的问题

估行统计物理行和逻辑行

增加全局参数和表级选项控制编码格式

ob_admin重构,不依赖meta以及可跳过slog replay

新增巡检控制开关builtin_db_data_verify_cycle

备份恢复支持全局索引

oracle模式租户备份恢复支持

支持oracle raw类型 

__all_constraint 表增加 constraint_type 列,支持 oracle 模式下的主键命名

达梦发布DM8正式版本

2019年5月8日,达梦将正式发布DM8版本。

其中值得关注的新特性有:

共享存储集群DSC增强,最多可支持8节点,支持共享存储集群+数据守护。

提供专用于数据库管理系统的分布式文件系统DDFS。

支持分布式弹性计算集群。

查询优化器增强,支持多维统计信息,相关子查询、外连接等查询优化参数根据应用场景自动调整,减少人工干预。

AWR报表工具增强,相对于DM7的AWR报表工具增加了多个统计表单,对系统运行情况能够更加细致的展现。

安全功能增强,提供高强度数据库密码子系统。

JDBC框架重构,大幅减少资源消耗,提升性能。

高级功能扩展,扩展了对多级分区表的功能支持,新增对分区交换、分区重命名、修改LIST分区范围值,支持递归CTE表达式。

管理工具改进,提供SQL智能辅助输入、脱机语法检查、存储过程调试可显示SQL语句执行计划。

提供基于Web的达梦数据库管理服务平台DEM,可实现数据迁移、系统管理、集群部署与监控等功能。

云数据库

TDSQL发布10.3.0正式版本

腾讯分布式数据库(Tencent Distributed SQL)是由腾讯打造的一款高可用、强一致性、高性能的分布式数据库产品。目前广泛应用于腾讯集团及腾讯云客户,为超过500+金融政企客户提供数据库服务,覆盖金融、政务、新零售、游戏等多个行业。

1、新增特性:

TDSQL支持分表字段可更改

TDSQL水平拆分时数据无缝迁移优化

支持基于MVCC下跨多个数据分片的复杂join操作

优化主备切换,进一步缩短影响业务的时长

支持SQL引擎对业务无损升级

支持auth_switch权限校验方式

支持对时间类型字段的聚合函数

支持Oracle序列语法

支持库表回收站机制

支持备份迁移腾讯云COS服务

支持对接腾讯云CKAFKA实现数据订阅

数据同步性能优化

支持SSL加密协议

支持表空间加密

支持bulk load乱序导入

实现xtrbackup工具,支持backup锁,支持myrocks和innodb同时备份和回放

禁止用户创建innodb表

2、智能DBA“扁鹊系统”

支持主备切换原因分析

支持历史锁等待,长事务对性能影响分析

支持慢SQL优化分析

支持当前主备延迟原因分析

支持当前会话聚合

支持ES搜索SQL日志

3、赤兔运维管理系统

支持在线图形化运维操作

支持集群监控告警

RadonDB发布1.0.6版本

2019年4月底,RadonDB云数据库将发布1.0.6版本:

其中值得关注的新功能有:

支持分布式join(Sort-Merge Join)功能

支持multi-statement transaction功能

支持分布式全文索引(Full-Text Ngram)功能

支持全局自增ID功能

支持与MySQL一致的checksum功能

推出dbaplus Newsletter的想法

dbaplus Newsletter旨在向广大技术爱好者提供数据库行业的最新技术发展趋势,为社区的技术发展提供一个统一的发声平台。为此,我们策划了RDBMS、NoSQL、NewSQL、时间序列、大数据生态圈、国产数据库、云数据库等几个版块。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub-/69917539/viewspace-2642228/,如需转载,请注明出处,否则将追究法律责任。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:redis数据结构知识点有哪些
下一篇:mysql如何查询近一周的数据
相关文章

 发表评论

暂时没有评论,来抢沙发吧~