项目背景
随着永达业务的发展,指标体系日益庞大,数据量攀升,为了更好地满足用户及时获取数据、快速访问以及高并发访问数据的需求,也为了统一规划数据中台、保障系统稳定运行,数字神经底层数据库需要迁移升级。
项目痛点
1. 派生指标跑批计算耗时久,部分指标计算无法顺利执行。
2. 数仓存在大量冗余数据,占用存储空间。
3. SAP HANA扩展费用高昂,升级困难。
4. 指标数据查询效率响应慢,无法高效支撑运营管理。
解决方案
数字神经是永达集团用于辅助经营分析与支持战略决策的重要系统,它承载着永达集团的指标分析体系,不仅可以多维度进行指标展示,而且可以进行指标的分解与追溯,任务下达与跟踪,实现PDCA管理闭环流程。它帮助永达集团构建了公司可视化的战略管理地图,提高了公司经营层决策效率。 因此,对数字神经底层依赖的数据仓库进行升级。
1. 统一数据存储-开源CK升级为ByteHouse,提升指标数据查询的性能。
2. 调度工具升级-数据调度从开源工具Kettle及调度升级为DataLeap,便于数据库管理员定期监控数据调度情况,排查数据问题。
3. 提升计算效率-经数字神经所使用的模型和存储过程迁移至Dataleap和BH,提升计算能力,缩短跑批时间。
4. 统一任务调度-后台计算指标开发接口给Dataleap统一调度
项目亮点
1.避免冗余数据:重跑指标历史数据时,使用Bytehouse的insert语义进行模型指标和系统指标的数据删除,避免dimp中数据冗余。
2.使用dataleap实现统一调度,按照数据的依赖关系和优先级调度,避免冲突。
3.整体调度效率提升:跑批时间缩短一半,原先12点左右完成跑批完成,现在6点前能顺利完成。