当前位置:首页-文章-行业新闻-正文

Datavane:一个专注于大数据领域的开源组织正式成立了

好消息! 在经过许久筹备,Datavane[1] 开源社区(组织) 终于正式成立了。Datavane 是一个专注于大数据领域的开源社区(组织),由一群大数据领域优秀的开源项目作者共同创建,旨在真正的去帮助开源项目作者更好的建设项目、为大众提供高质量的开源软件,我们的宗旨是:只为做

Datavane:一个专注于大数据领域的开源组织正式成立了 - 第1张

好消息! 在经过许久筹备,Datavane[1] 开源社区(组织) 终于正式成立了。Datavane 是一个专注于大数据领域的开源社区(组织),由一群大数据领域优秀的开源项目作者共同创建,旨在真正的去帮助开源项目作者更好的建设项目、为大众提供高质量的开源软件,我们的宗旨是:只为做一个好软件。

在 Datavane 社区中,所有的项目都是开源开放的,代码质量和架构设计优质的潜力项目。我们相信开源、相互信任,鼓励所有的开发者、用户和贡献者积极参与我们的社区、共同合作,创新创造,建设一个更加强大的开源社区。

我们准备了一批优质的项目,等待和社区一同发布和大家见面,下面让我看看都有哪些精彩的项目吧!

 

#1. TIS - 人人都会用的数据集成产品

TIS[2] 是采用 Java 语言开发的,一款面向大数据领域端到端的数据集成产品,致力于提供一站式的数据集成能力,目标是打造成人人都会用的数据集成产品。

Datavane:一个专注于大数据领域的开源组织正式成立了 - 第2张

TIS 同时支持离线和实时数据同步,可以将作业部署到 YARN/K8S 上,充分利用大数据的并行能力,迁移数据性能优异。TIS 非常的简单易用:它内置了一个强大的表单和 DSL 自动渲染引擎,将构建复杂表单系统的复杂度大大降低,在与用户交互过程中大量使用了自动生成、流程引导的方式,大部分流程环节用户只需要做选择,无需使用键盘,只需轻点鼠标一路下一步,就能顺利构建作业。

TIS 提供一个强大的基于插件 SPI 的热插拔系统,提供了像安卓 AppStore 一样的插件商店,需要什么插件可以直接在插件列表中勾选、启用。避免了传统数据集成产品中需要用户本地编译、安装、配置、重启系统的繁琐流程。
 

TIS 已经过四年的打磨,支持了 MySQL,Doris,ES,Hive,Hudi... 等十多种常见数据库,累积 40 余万行代码,100 余位用户使用,Github Star 600+,项目采用 Apache License v2 开源协议,最大限度地借助开源社区的力量来丰富完善功能。

 

#2.  DataSophon - 大数据云原生管家

DataSophon[3] 是新一代云原生大数据管家,致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台,帮助用户快速构建起稳定、高效、自愈、可弹性伸缩的大数据云原生平台。

Datavane:一个专注于大数据领域的开源组织正式成立了 - 第3张

DataSophon 兼容复杂环境,得益于自身良好的架构设计,可轻松适应各种复杂环境,平台和大数据组件均支持 arm 和 x86 机器部署,支持 CentOs、麒麟、欧拉、中科方德等常用的 Linux 生态操作系统。

DataSophon 基于生产实践提供了用户最关心的监控指标,包括:JMX 全量指标、HTTP 常用指标、自定义指标,通过预置的监控模板,用户可以查看各类服务组件详细的监控指标,也可以很方便地添加所需的自定义监控指标。
 

DataSophon 支持了丰富的大数据组件,目前已经支持多种常用大数据组件,例如大数据基础组件:  HDFS、YARN、Zookeeper、Hive 等,也支持很多新晋Apache 项目,如: Flink、Spark、StreamPark、Doris 等... 用户可以根据自身业务特点,选择相应的组件来搭建自己的大数据平台,DataSophon 可方便地对集群、节点和服务进行监控和运维操作,帮助用户大幅提升运维工作效率,让数据工程师更专注于业务开发。

#3. Datavines - 数据可观测性平台  

Datavines[4]  是一站式开源数据可观测性平台,提供元数据管理、数据概览报告、数据质量管理,数据分布查询、数据趋势洞察等核心能力,致力于帮助用户全面地了解和掌管数据。让您做到心中有数。

Datavines 采用 Framework + Plugin 的设计模式,支持数据源、执行引擎、数据质量检查规则(规则+期望值+校验公式)、注册中心、告警通道和错误数据存储的自定义插件扩展,拥有较高的扩展性。Datavines 目前支持包含 MySQL、Doris 等8种数据源类型、27 个数据质量检查规则以及 Spark 和 Jdbc 两种执行引擎等。

Datavane:一个专注于大数据领域的开源组织正式成立了 - 第4张

Datavines 具有高可用和高性能的特性。后端采用无中心化设计,支持水平扩展,能够支撑大量的数据质量检查规则的调度和执行,同时具有良好的容错机制来保证服务宕机后的作业容错,保证作业不丢失和不重复执行。

Datavines 提供可视化界面帮助用户进行数据探测以生成数据概览报告,提供界面操作和脚本运行两种方式进行数据质量检查,并支持检查结果的问题管理和告警。

 

本文原创,作者:admin,其版权均为一念悟道所有。
如需转载,请注明出处:https://www.jiayezz.com/6396.html