项目介绍
云雀 是一款数据集成工具，实现异构数据源的整合，帮助企业构建数据仓库、数据湖 等应用架构。
项目详情
1.云雀的介绍
云雀，云代表大数据，雀代表平凡和自由。
云雀 是一款数据集成工具，实现异构数据源的整合，帮助企业构建数据仓库、数据湖 等应用架构。
2.目标及特点
- 多源支持：目前已支持 14 种数据源，实现真正的异构数据同步
- 可视化操作：提供拖拉拽式图形化界面，通过组件组装实现简易配置
- 计算引擎集成：结合计算引擎，实现数据统一汇聚与集成
- 流式处理：结合消息队列，支持"一次读取、多次下沉"的数据复用模式
- 弹性部署：支持单机版和集群版部署，架构简单灵活
- 智能监控：友好的日志系统，实时监控数据迁移状态与进度
- 代码质量：代码结构清晰，文档齐全，可读性强
- 容器化支持：完美支持 Docker 和 Kubernetes 容器化部署
- 易集成性：无缝对接主流开源调度系统，配置灵活多样
- 开源商用：遵循 Apache 2.0 开源协议，可免费用于商业项目
3.设计理念
通过使用云雀，可以将多种数据库之间的数据互通和集成，实现将多种数据的迁移，脱敏，聚合操作。
4.支持的数据库列表
| 数据源 | 读取支持 | 写入支持 |
|---|---|---|
| ClickHouse | ✅ | ✅ |
| DB2 | ✅ | ✅ |
| DM(达梦) | ✅ | ✅ |
| Doris | ✅ | ✅ |
| Elasticsearch | ✅ | ✅ |
| HDFS | ✅ | ✅ |
| Hive | ✅ | ✅ |
| Kafka | ✅ | ✅ |
| KingBase | ✅ | ✅ |
| MySQL | ✅ | ✅ |
| Oracle | ✅ | ✅ |
| PostgreSQL | ✅ | ✅ |
| SQL Server | ✅ | ✅ |
| StarRocks | ✅ | ✅ |
支持的转换器
| 转换器类别 | 功能描述 |
|---|---|
| 邮箱脱敏转换器 | 对邮箱地址进行敏感信息隐藏处理 |
| 身份证脱敏转换器 | 对身份证号码进行脱敏和验证 |
| 日期格式转换器 | 不同日期格式之间的转换处理 |
| 数值计算转换器 | 数值的加减乘除等运算处理 |
| 手机号脱敏转换器 | 手机号码的中间四位隐藏处理 |
| 字符串拼接转换器 | 字符串的前缀后缀拼接处理 |
| 字符长度计算转换器 | 计算字符串长度 |
| 字符串替换转换器 | 字符串内容的查找替换 |
| 字符串截取转换器 | 提取字符串指定子串 |
| 时间戳转换器 | 时间戳与日期格式互转 |
| 字符串大小写转换器 | 字符串大小写转换 |
| Base64编码转换器 | Base64编码/解码处理 |
| 正则替换转换器 | 使用正则表达式进行查找和替换 |
| JSON提取转换器 | 从JSON字符串中提取指定路径的值 |
5.框架设计
框架分为3部分：Reader, Channel, Writer
Reader 作为数据源， 可以通过实现共同的Reader接口，可以通过SQL的方式对数据进行抽取操作。
Channel 作为队列， 可选的队列有默认的LinkedBlockingQueue,也可以使用kafka, 通过使用kafka做到一次写入多次读取。
Writer 作为目标数据源，可以通过实现共同的Writer接口，可以通过SQL的方式对数据进行下沉操作。
6.快速开始
下载:
yunque-1.0-SNAPSHOT-release.tar.gz
请点击:
7.开发人员
主要贡献者（排名不分先后）：
| 开发者 | Gitee 主页 | 主要贡献领域 |
|---|---|---|
| ZFCode | ZFCode | 项目核心开发 |
| 陈小明 | 陈小明 | 系统架构设计 |
| zhaowendong | zhaowendong | Oracle 模块开发 |
| baiyaoming | baiyaoming | StarRocks 模块开发 |
| 甲壳虫123 | 甲壳虫123 | 核心功能开发 |
| wangzyunquei | wangzyunquei | 界面开发 |
| youki | youki | 功能测试 |
| Forever | Forever | 系统优化 |
| Singularity | Singularity | 文档维护 |
| 红叶 | 红叶 | Kafka 模块开发 |
| 起风了 | 起风了 | 中台架构 |
| qtyb | qtyb | 系统优化 |
| lindychan556666 | lindychan556666 | 质量保证 |
8.联系我们
可以添加官方微信【LarkMidTable2021】,添加时备注【yunque】，可以参与讨论啦！
本项目全部开源，可以进行商用没有限制，我们热切的盼望，希望有更多的开发者加入，开源数据集成的这个大家庭中，欢迎大家贡献和使用。
9.感谢人员
感谢云雀课堂的学员的支持，项目才得以进行下去，以下为第一期的云雀课堂学员，名次不分先后：
成空、起风了、孙#龙、王#田、如是、瞬间永恒、钟~俊
周~城、小田甜、重庆张#友、葡萄、景曦、江阔、徐祥静
Us、猪皮、曾攀、溪涣、A.wang、青鸟、朱古力、wingod
khj、吴志航、黄华、君临、qiuqiuqiu、Jerry、圈圈圈
明昌、Mr杨、Sokach、Forever、ShakeSpeare、东哥
Tony_cen、小小若木、无说有听、dearong、修真、sockstack
Cole、轮子、彪哥、倪#喜、冯#孝、Aphasia、Yezhiwei、农民
navy、object、JSZ、全儿、恒古指针、#漫、MikeChen、冲浪仔
iDrive、abc、火箭、云风叶、payne、黄#峰、余#忠、就这#
黎英杰、养乐多、heaven、不许敲自己、明朗、Ya!、小白龙
摸金校尉、Chandler、光、需要努力的Jade🎭、youke、xx、J.C
