即时：DAP数据调度任务触发机制说明

企业信息化建设会越来越完善，越来越体系化，当今数据时代背景下更加强调、重视数据的价值，以数据说话，通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自助模式的数据分析成果， 以数据驱动决策 。

我们可以通过DAP数据分析平台构建数仓调度，调度同时存在 手动触发，定时触发以及事件触发 三种方式去进行数据的高效存储、计算、分析并处理。调度任务是调度资源的整合。在调度任务执行的时候可以根据执行资源的关联性去执行相关联的调度资源。

(资料图)

整体介绍

DAP数据分析平台就是采集各个业务系统的数据，进行数据筛选（表和字段、数据）、质量校验等步骤建立数仓，保证了数据标准性、完整性、准确性，从而实现企业业务数据的统一，通过 数据可视化展现 、数据服务来展现DAP数据分析平台的价值。

1.产品方案

首先介绍一下数通畅联的产品体系：

数通畅联的所有产品都是 通过K8S云平台进行部署搭建产品环境 ，通过不同的产品组合方案来解决企业面临的不同信息化困境，帮助企业完善信息化发展。

上图所示通过DAP数据分析平台+MDM基础数据平台+ESB企业数据总线组成了数据中台方案，本次介绍的DAP数据分析平台就是此方案的核心，基础数据平台进行主数据治理，DAP数据分析平台进行业务数据治理，通过ESB进行数据的集成，帮助整合企业数据，统一管理，提升企业的数据价值。

2.功能架构

数据分析平台全生命周期是通过采集各个业务系统数据构建数仓，从而进行有效分析的过程，能够真实、准确、有效得将企事业内部及行业外部相关数据进行可视化展现，帮助企事业提升行业洞察力，加强决策力，从而提升整体竞争力。

数据分析平台功能有：

1. 数据来源 （应用系统定义、数据源头配置、ODS数据定义） 数仓模型 。

2. 数仓模型 （业务主题、维度配置、事实配置、模型配置、指标管理）。

3. 数据调度 （规则校验、调度资源（同步资源、加工资源）、调度任务、调度日志（同步日志、加工日志）、质量日志、通知日志）。

4. 分析模型 （数据集配置、立方体配置、业务类报表、多维度分析）。

5. 展现模型 （导航管理、组件管理、展现主题、装饰管理）。

6. 数据服务 （接收服务、查询服务、统计服务、指标服务、业务服务）。

7. 反向集成 （集成配置、数据管理、数据分发）。

8. 数据标签 （标签定义、标签配置、标签画像）。

9. 统计分析 （数据地图、质量分析、血缘分析、影响分析）。

10. 系统管理 （组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志）。

本次讲解的重点是通过ESB结合进行数据调度流程创建过程。

3.场景介绍

调度任务可以分为自动生成和手动创建两种任务 ，自动生成的任务通过模型生成，手动创建是通过添加同步资源以及加工资源生成的任务。调度任务主要是能快捷地执行调度资源，调度任务一共有三种执行方式分别为手动执行、定时执行、事件执行。

执行顺序如下：

场景介绍

数据调度是从业务源到ODS中间库的调度流程、数据集加工的调度流程和立方体加工的调度流程，通过模型生成调度任务， 通过调动任务进行绑定对应的调度资源 ，从而进行触发实现数据的同步，触发方式分为手动触发、定时触发、事件触发。

1.手动触发

手动触发是通过调动任务界面手动执行触发调度资源，根据模型关联的事实表和维度表来查询对应的调度资源流程，从而实现数据同步。

手动触发还可以通过每个调度资源进行触发，主要场景是在开发完调度流程后进行测试操作。

2.定时触发

定时触发是在调度任务中配置定时任务，通过定式任务配置在什么时候进行调用流程。

定时还要在页面和组件支持配置定时触发刷新组件，在一定时间内页面进行刷新，当数据更新时候页面及时变动。

3.事件触发

事件触发在刷新组件时候触发对应的调度任务，从而实现这个组件的数据更新。

汇总事实表分为纵向汇总和横向汇总，纵向汇总是通过ESB生成业务集成流程，横向汇总是ESB调用回写日志接口时候再用调用汇总方法进行二次横向汇总。

手动触发

手动触发是通过执行调度资源进行数据同步和通过调动任务进行来进行多个表的数据同步方式。

1.功能说明

数据调度是通过ESB生成的业务集成流程 ，分别是业务系统到ODS、ODS转换到数仓（维度表、基础事实表）、汇总事实表加工流程，生成后会自动插入到数据调度表中，通过DAP同步资源和加工资源中可以查看到对应集成流程，点击执行就可以调用ESB集成流程。

2.功能配置

手动任务是指我们每次需要进行数据同步和加工的时候都通过人工去操作点击调度任务的执行按钮，如下图：

选择手动类型后点击启动后再点击执行就会执行该任务下的资源，如下图：

或者在数据调度中点击执行，也可以执行调度对应集成流程：

3.功能展现

资源执行前后的数据如下：

定时触发

定时策略是在一定时间内定时调用调度任务来执行调度任务所关联的所有调度资源。

1.功能说明

定时策略一般按照实际业务来进行配置 ，根据实际调用情况进行配置分别为间隔（时，分，秒，天，月），每天，每周。然后按照这个进行定式调用对应调度任务，根据调度任务调用关联的所有调度资源并且调用资源关联的维度表或者事实表所在的汇总事实表关联的调度。

另一种定时是在页面中配置定时刷新策略，这种不会调用调度任务，但在数据更新后，页面可以定时刷新加载数据。

2.功能配置

通过模型生成对应的调度，调用选择定时策略。

定时任务就是进行一次任务操作后就可以根据设定的时间进行循环执行该任务下的调度资源。定时任务的操作需要先选择定时再根据需要进行时间的设定。如下图：

配置定时还要在页面和组件支持配置定时触发刷新组件，在一定时间内页面进行刷新，当数据更新时候页面及时变动。

3.功能展现

时间的设定我们共有三种，分别为间隔（时，分，秒，天，月），每天，每周。设定好时间后只用点击启用就不需要再次操作任务，只要达到所设的定时即可 自动执行该任务下的调度资源 ，如下图为设定为每天执行的调度任务执行结果：

事件触发

事件触发是在操作一个功能事件时候进行触发对应方法事件从而实现另一个功能的调用，所以DAP数据分析平台也支持事件触发调用对应的资源。

1.功能说明

上述所讲的事件触发是通过页面每个组件的刷新按钮进行实现执行调度任务，根据组件实例的来源（数据集、立方体、指标）所关联的模型生成对应生成的调度任务，从而实现这个组件实例数据的更新。

2.功能配置

选择一个模型中点击生成任务：

生成对应调度任务：

横向汇总配置：

3.功能展现

在预览界面组件上点击刷新按钮：

刷新前数据如下：

刷新后：

心得总结

在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动，所以数据一定是标准的、完整的、准确的数据，通过上述质量校验功能把业务系统中不正确数据过滤掉、调整后，使数仓中的数据具有可用性，这样分析出来的信息才能正确引导公司的发展。

1.产品结合

有效的解决方案一定是根据企业自身业务情况来进行产品的组合拆分打造出来的，DAP数据分析平台通常与ESB企业数据总线产品结合进行， MDM负责数据治理工作，ESB负责数据同步分发工作 。

在任何项目方案的选择上，都会遵守方案合理规划、产品最优组合的模式，在企业信息化能力或业务需求没有达到构建标准的基础上，将合理利用企业现有资源，避免造成资源不必要的浪费。

2.产品价值

数据集成作用是把从业务系统到ODS，从ODS转换到数仓、汇总处理的数据进行一次抽取工作，帮助数仓的快速创建， 调度过程也是支持清洗校验的过程 ，帮助数仓数据更加完整、准确，使数据分析更加真实有效，帮助企业领导掌握过去企业整体运营情况，分析现在所存在的隐患，预测未来公司的发展趋势。

通过本次数据调度触发实现进行企业业务数据的采集，从而进行数据治理，使数据更加准确，快速帮助企业创建数据的集合，所有的信息都可以从数据仓库直接获取，也可以进行数据可视化，提高他们在需要时查找所需信息的能力，并且比其他公司更高效地完成这些工作。

3.产品发展

产品不管怎么发展都是一个目的，那就是解决每个阶段企业面临的困境，帮助企业完善信息化发展，能够抓住每个企业的业务痛点，这样才能体现出产品的价值，一款好且稳定的产品可以帮助工作人员快速而方便得工作，大大提高了工作效率，也会让客户满意，增加客户对公司的信任度。

DAP数据分析平台可以 对采集到的所有海量数据进行分析 ，分析用的数据由采样数据扩展至全部数据，从传统单一领域的数据扩展到跨领域的数据，大数据可以将不同领域的数据组合后进行分析，数据基于有关关系的数据源相同可以分析预测出正确的结果。

本文由 原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~

关键词：

推荐DIY文章

主机存在磨损或划痕风险 PICO4便携包宣布召回

穿越湖海！特斯拉Cybertruck电动皮卡可以当“船”用

vivoXFold+折叠旗舰开售 配备蔡司全焦段旗舰四摄

飞凡R7正式上市 全系标配换电架构

中兴Axon30S开售 拥有黑色蓝色两款配色

荣耀MagicBookV14 2022正式开售 搭载TOF传感器