国产 ETL工具 ETL产品 数据交换系统

网友投稿 362 2023-11-24

如何选型

ETL产品的选型工作一直以来都是困扰架构师的一块心病,国外付费产品用不起,国外免费产品学习成本高、不易实施。

国产 ETL工具 ETL产品 数据交换系统

多数软件又为什么逐渐国产化

长期以来,国内数据技术都由海外厂商主导。然而随着国际竞争环境日益激烈,争端所引发的技术卡脖子事件频发,面对特殊的大环境,全球化带来的科技创新共同体背后,国家IT产业实现自主可控的重要性不言而喻。为确保国家信息安全,政府部门发布了一系列的相关政策以支持IT系统的国产化。

落地项目中真正的需求又是什么?

传统的数据导出、格式各种转换、装载;

上游对接消息中间件、格式各种转换、数据分发;

移植到设备终端上运行是否会省去更多复杂因素?是否会更加接地气?

适配各种当下流行的非关系型数据库、时序数据库;

真的是靠拖拉拽就能解决所有问题吗?

拖拉拽只解决了部分实施性工作,但业务场景往往是复杂多元化的,需要实施人员能在此基础上进行适应性开发。

轻量级 跨平台 易集成

go语言开发,部署简单,开箱即用。

不需要JVM虚拟机等环境的部署,不需要依赖各种静态库、动态库,go编译出的二进制文件是可以独立运行的、而且跨平台,实施简单方便集成。

不只是数据交换工具,还是可以嵌入并解析go语言脚本的开发工具。

嵌入脚本并能解析性运行解决了动态需求的场景,是必不可少的一项功能。

完善的ETL解决方案,提供可视化任务设计器、调度配置及日志查看功能。

        为方便实施与监控需要有图形化功能来支撑。

支持丰富的数据源

 关系型数据库

  Oralce、MySQL、PostgreSQL、Sqlite

非关系型数据库

  ElasticSearch、Redis

时序数据库

  InfluxDB、ClickHouse、Prometheus

消息中间件

  Kafka、RocketMQ

Hadoop生态

Hive

文件

  Excel、CSV

资源地址

1
2
3
4
5
[资源-]( github.com/hw2499/etl-engine/releases)
[etl-engine使用手册]( github.com/hw2499/etl-engine)
[etl-crontab使用手册]( github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6)
[嵌入脚本开发]( github.com/hw2499/etl-engine/wiki/%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)

来自 “ ITPUB博客 ” ,链接:http://blog.itpub-/70024931/viewspace-2932982/,如需转载,请注明出处,否则将追究法律责任。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:如何解决启动mysql的1069错误
下一篇:如何修改mysql服务路径
相关文章

 发表评论

暂时没有评论,来抢沙发吧~