DataX 执行引擎正式加入！qData 开源版 v1.6.0 大幅降低部署与使用门槛
**qData 数据中台开源版 v1.6.0** 新增系统内置 Quartz 调度器和 DataX 数据集成执行引擎，同时继续保留 DolphinScheduler 与 Spark 完整模式。这次调整并不是用轻量组件替代原有架构，而是让用户能够根据任务复杂度、数据规模和基础设施条件，选择更合适的运行方式。
---
## 从固定组件组合，到按场景选择运行模式
过去，用户在部署 qData 时，通常需要同时准备 DolphinScheduler 与 Spark 等相关组件。这种架构更适合复杂任务依赖、大规模数据处理及企业生产环境，但对于首次体验、POC 验证和常规批量同步而言，前期准备相对较多。
qData 数据中台开源版 v1.6.0 将产品运行方式调整为：
**一套产品、两种模式、按需组合。**
无论选择完整模式还是轻量模式，用户仍然通过 qData 完成任务创建、调度配置、运行管理、状态查看和日志定位。
变化主要发生在底层：
- 调度器可以选择 DolphinScheduler 或系统内置 Quartz；
- 数据集成执行引擎可以选择 Spark 或 DataX；
- Docker 部署方案同步适配轻量模式；
- 原有完整模式继续保留。
---
## 01 一套产品，两种运行模式
qData 开源版 v1.6.0 的版本升级，可以先通过下表进行整体了解。
| 升级方向 | v1.6.0 核心变化 | 带给用户的直接价值 |
|------------|-----------------|-------------------|
| 调度能力 | 新增系统内置 Quartz 调度器，同时保留 DolphinScheduler | 基础任务可直接在系统内完成定时与运行管理，复杂编排仍可使用原有方案 |
| 执行引擎 | 数据集成任务新增 DataX 执行引擎，同时保留 Spark | 常规批量同步可选择更轻量的执行路径，不影响复杂处理场景的组件选择 |
| 部署方式 | Docker 部署方案同步适配 Quartz 与 DataX | 减少轻量场景下必须准备的外部组件，缩短从部署到验证的路径，docker 启动后就能够直接体验，无需考虑 spark 环境 |
| 产品策略 | 完整模式与轻量模式并存 | 用户可以根据任务复杂度、数据规模和资源条件选择合适的组合 |
---
### 完整模式：面向复杂编排和大规模处理
完整模式继续采用：
**DolphinScheduler 调度器 + Spark 执行引擎**
这一模式主要适用于：
- 存在多任务前后依赖；
- 需要跨任务工作流编排；
- 涉及复杂失败分支和统一资源管理；
- 需要大规模或分布式数据处理；
- 已经建立 DolphinScheduler 与 Spark 运行体系；
- 面向企业级生产环境持续建设。
完整模式的组件体系相对完整，能够覆盖更复杂的数据处理和调度需求，但相应的环境准备、资源配置和运维工作也会更多。
---
### 轻量模式：面向快速部署和常规同步
轻量模式采用：
**系统内置 Quartz 调度器 + DataX 执行引擎**
这一模式主要面向：
- 首次安装和产品体验；
- 产品选型与 POC 验证；
- 本地开发和接口联调；
- 功能测试及演示环境；
- 常规数据库批量同步；
- 中小规模数据处理；
- 暂不需要复杂工作流的场景。
轻量模式并不是一套与 qData 分离的独立工具。用户仍然通过原有产品入口完成任务配置和运行管理，只是基础任务可以由 Quartz 调度，符合 DataX 能力范围的数据集成任务可以选择更轻量的执行路径。
---
## 02 新增系统内置 Quartz 调度器
在数据任务运行过程中，调度器主要负责：
> 任务什么时候启动、如何触发，以及运行过程如何管理。
在此前的完整模式中，这部分能力主要由 DolphinScheduler 提供。
**qData 数据中台开源版 v1.6.0 新增系统内置 Quartz 调度器**。对于单任务定时运行、周期采集和常规同步等基础场景，用户不需要强制依赖 DolphinScheduler，也可以在 qData 中完成任务调度。
---
### 基础任务可以直接配置运行周期
创建任务时，用户可以根据场景选择：
- Quartz；
- DolphinScheduler。
选择 Quartz 后，可以在现有任务配置流程中设置调度周期，并结合任务状态、责任人、优先级、失败重试次数、重试间隔和延迟执行时间等信息完成运行配置。
---
### Quartz可以覆盖哪些任务场景？
- **数据集成任务**
数据集成任务可在创建阶段选择 Quartz，并根据实际需求与 DataX 执行引擎组合使用。
- **数据开发任务**
数据开发任务可以配置 Quartz 调度周期，同时继续使用任务脚本编辑、运行管理和日志查看能力。
- **元数据采集任务**
元数据采集任务可通过 Quartz 配置周期性采集计划，并继续设置来源系统、数据连接和采集范围等信息。
- **运行管理**
任务列表可以用于查看调度方式、任务状态、最近执行结果及责任人等运行信息。
---
### 哪些场景选择DolphinScheduler？
Quartz主要解决基础定时和单任务运行管理问题，并不等同于复杂工作流调度平台。
当业务存在以下需求时，仍应优先评估 DolphinScheduler：
- 多任务前后依赖；
- 跨任务工作流；
- 条件分支与失败分支；
- 统一资源编排；
- 较复杂的运行控制；
- 需要延续已有 DolphinScheduler 体系。
因此，Quartz 与 DolphinScheduler 并不是简单的替代关系，而是分别适用于不同复杂度的任务场景。
---
原文链接：[点击查看](https://www.oschina.net/news/477795)
**qData 数据中台开源版 v1.6.0** 新增系统内置 Quartz 调度器和 DataX 数据集成执行引擎，同时继续保留 DolphinScheduler 与 Spark 完整模式。这次调整并不是用轻量组件替代原有架构，而是让用户能够根据任务复杂度、数据规模和基础设施条件，选择更合适的运行方式。
---
## 从固定组件组合，到按场景选择运行模式
过去，用户在部署 qData 时，通常需要同时准备 DolphinScheduler 与 Spark 等相关组件。这种架构更适合复杂任务依赖、大规模数据处理及企业生产环境，但对于首次体验、POC 验证和常规批量同步而言，前期准备相对较多。
qData 数据中台开源版 v1.6.0 将产品运行方式调整为：
**一套产品、两种模式、按需组合。**
无论选择完整模式还是轻量模式，用户仍然通过 qData 完成任务创建、调度配置、运行管理、状态查看和日志定位。
变化主要发生在底层：
- 调度器可以选择 DolphinScheduler 或系统内置 Quartz；
- 数据集成执行引擎可以选择 Spark 或 DataX；
- Docker 部署方案同步适配轻量模式；
- 原有完整模式继续保留。
---
## 01 一套产品，两种运行模式
qData 开源版 v1.6.0 的版本升级，可以先通过下表进行整体了解。
| 升级方向 | v1.6.0 核心变化 | 带给用户的直接价值 |
|------------|-----------------|-------------------|
| 调度能力 | 新增系统内置 Quartz 调度器，同时保留 DolphinScheduler | 基础任务可直接在系统内完成定时与运行管理，复杂编排仍可使用原有方案 |
| 执行引擎 | 数据集成任务新增 DataX 执行引擎，同时保留 Spark | 常规批量同步可选择更轻量的执行路径，不影响复杂处理场景的组件选择 |
| 部署方式 | Docker 部署方案同步适配 Quartz 与 DataX | 减少轻量场景下必须准备的外部组件，缩短从部署到验证的路径，docker 启动后就能够直接体验，无需考虑 spark 环境 |
| 产品策略 | 完整模式与轻量模式并存 | 用户可以根据任务复杂度、数据规模和资源条件选择合适的组合 |
---
### 完整模式：面向复杂编排和大规模处理
完整模式继续采用：
**DolphinScheduler 调度器 + Spark 执行引擎**
这一模式主要适用于：
- 存在多任务前后依赖；
- 需要跨任务工作流编排；
- 涉及复杂失败分支和统一资源管理；
- 需要大规模或分布式数据处理；
- 已经建立 DolphinScheduler 与 Spark 运行体系；
- 面向企业级生产环境持续建设。
完整模式的组件体系相对完整，能够覆盖更复杂的数据处理和调度需求，但相应的环境准备、资源配置和运维工作也会更多。
---
### 轻量模式：面向快速部署和常规同步
轻量模式采用：
**系统内置 Quartz 调度器 + DataX 执行引擎**
这一模式主要面向：
- 首次安装和产品体验；
- 产品选型与 POC 验证；
- 本地开发和接口联调；
- 功能测试及演示环境；
- 常规数据库批量同步；
- 中小规模数据处理；
- 暂不需要复杂工作流的场景。
轻量模式并不是一套与 qData 分离的独立工具。用户仍然通过原有产品入口完成任务配置和运行管理，只是基础任务可以由 Quartz 调度，符合 DataX 能力范围的数据集成任务可以选择更轻量的执行路径。
---
## 02 新增系统内置 Quartz 调度器
在数据任务运行过程中，调度器主要负责：
> 任务什么时候启动、如何触发，以及运行过程如何管理。
在此前的完整模式中，这部分能力主要由 DolphinScheduler 提供。
**qData 数据中台开源版 v1.6.0 新增系统内置 Quartz 调度器**。对于单任务定时运行、周期采集和常规同步等基础场景，用户不需要强制依赖 DolphinScheduler，也可以在 qData 中完成任务调度。
---
### 基础任务可以直接配置运行周期
创建任务时，用户可以根据场景选择：
- Quartz；
- DolphinScheduler。
选择 Quartz 后，可以在现有任务配置流程中设置调度周期，并结合任务状态、责任人、优先级、失败重试次数、重试间隔和延迟执行时间等信息完成运行配置。
---
### Quartz可以覆盖哪些任务场景？
- **数据集成任务**
数据集成任务可在创建阶段选择 Quartz，并根据实际需求与 DataX 执行引擎组合使用。
- **数据开发任务**
数据开发任务可以配置 Quartz 调度周期，同时继续使用任务脚本编辑、运行管理和日志查看能力。
- **元数据采集任务**
元数据采集任务可通过 Quartz 配置周期性采集计划，并继续设置来源系统、数据连接和采集范围等信息。
- **运行管理**
任务列表可以用于查看调度方式、任务状态、最近执行结果及责任人等运行信息。
---
### 哪些场景选择DolphinScheduler？
Quartz主要解决基础定时和单任务运行管理问题，并不等同于复杂工作流调度平台。
当业务存在以下需求时，仍应优先评估 DolphinScheduler：
- 多任务前后依赖；
- 跨任务工作流；
- 条件分支与失败分支；
- 统一资源编排；
- 较复杂的运行控制；
- 需要延续已有 DolphinScheduler 体系。
因此，Quartz 与 DolphinScheduler 并不是简单的替代关系，而是分别适用于不同复杂度的任务场景。
---
原文链接：[点击查看](https://www.oschina.net/news/477795)
评论
暂无评论。