CloudCanal:一款企业级实时数据库同步、迁移工具
admin
2025年7月10日 22:17
本文热度 86
CloudCanal 是一款可视化的数据同步、迁移工具,可以帮助企业构建高质量数据管道,具备实时高效、精确互联、稳定可拓展、一站式、混合部署、复杂数据转换等优点。
应用场景 CloudCanal 可以帮助企业实现以下数据应用场景:
• 数据同步 :通过消费源端数据源增量操作日志,准实时在对端数据源重放,以达到数据同步目的,具备断点续传、DDL 同步、元数据映射裁剪、自定义代码数据处理、操作过滤、数据条件过滤、高性能对端写入等特点。 • 数据迁移 :将指定数据源数据全量搬迁到目标数据源,支持多种数据源,具备断点续传、顺序分页扫描、并行扫描、元数据映射裁剪、自定义代码数据处理、批量写入、并行写入、数据条件过滤等特点,对源端数据源影响小且性能好,同时满足数据轻度处理需求。 • 数据校验和订正 :将源端和对端数据分别取出,逐字段对比,可选择差异数据订正,功能可单独使用,也可配合数据迁移或数据同步使用,满足用户数据质量验证与修复的需求。 • 结构迁移和同步 :帮助用户快速将源端结构执行到对端的功能,具备类型转换、数据库方言转换、命名映射等特点,可独立使用,也可作为数据迁移或数据同步准备步骤。
CloudCanal 目前已经支持的数据源包括:MySQL、Oracle、PostgreSQL、SQL Server、RDS for MySQL、ElasticSearch、Hive、Kafka、RocketMQ、RDS for PG、ADB for PG、Greenplum、RabbitMQ、TiDB、PolarDB、ClickHouse、PolarDB-X、Redis、Kudu、MongoDB、StarRocks、OceanBase、Doris、SelectDB、SAP Hana、MariaDB、Hudi、Aurora、RedShift、IBM Db2、达梦数据库、高斯数据库、AutoMQ、DocumentDB 等。
系统架构
CloudCanal 系统主要分为三个组件部分:
• Console :集中化的管控服务,以 web 服务集群存在;承载产品化功能,包括数据源/机器/数据任务生命周期管理、容灾调度、监控告警、元数据管理等。 • Sidecar :部署于具体数据迁移同步机器上,承担包括获取需要运行的任务配置、启停数据任务进程、收集和上报任务状态、执行任务的健康检查等工作。 • CloudCanal Core :部署于具体数据迁移同步机器上,执行具体的数据迁移、同步、校验、订正任务。 其中,CloudCanal Core 由以下功能模块组成:
• 数据源插件 :包含各个数据库、消息、数据仓库等数据源数据读写、元数据获取逻辑和对应驱动。各个插件通过 Java 类加载机制隔离,任务运行时只加载对应数据源插件。 • 核心 :包含内核代码骨架、操作过滤、元数据映射、DDL 转换、自定义数据处理等部分。 • 支撑 :包含元数据、任务配置、位点、监控指标,以及和管控交互的逻辑。 产品优势 CloudCanal 相比同类产品的优势如下:
• 实时高效 :数据同步功能延迟普遍小于 5 秒 , 期间完成增量数据解析、攒批、操作过滤、数据转换、元数据映射、数据写入等动作。 • 精确互联 :对于数据链路两端的数据类型、结构规范、读写特点做了精确匹配与转换,让每一个数据源种类、版本差异 得到妥善解决。 • 稳定可扩展 :产品内核精简,单进程架构,系统分布式、高可用部署。产品通过组合各个职能的任务进程,实现大规模、分布式、高质量数据管道集群。 • 一站式 :汇集结构迁移、数据迁移、数据同步、数据校验与订正、修改订阅等功能,通过有限状态机让功能自动流转和运行。一站式支持用户数据准备与长期同步过程的一系列工作。 • 混合部署 :支持各个公有云、本地机房私有部署,首要关注用户数据安全,有效支持异地、云上云下、多云之间数据安全同步需求。 • 复杂数据转换 :产品默认包含元数据映射、裁剪、过滤等标准能力,同时支持 用户上传业务代码 进行数据复杂处理。 版本对比 CloudCanal 目前提供三种版本的产品,分别为社区版、商业试用版、商业版,三种版本的特点与功能对比如下:
阅读原文:原文链接
该文章在 2025/7/11 10:28:51 编辑过