管理监控中心

管理监控中心是数据实时监控管理、数据文档管理和高效运维的后勤保障单元,是蓝鲸平台的“电子眼”和“百宝箱”,能完成对数据生产过程、数据质量、数据安全和元数据管理的多项管理职能。本系统支持可视化的监控管理界面,以可操作型的系统形式帮助用户高效管理数据,提供高效运维的保障支撑。

Module

产品模块

Functions

功能详解

通过统计学方法和数据可视化技术手段,完成对平台服务器集群的运行实况进行监控和预警,同时,通脚本JOB监控,完成平台任务调度应用情况的统计分析。辅助平台管理人员及时查看集群的应用实况和任务优化调整。

Functions

功能详解

以数据仓库中数据表为监控对象,设定数据质量监控周期,通过数据比对,完成数据仓库中数据表的数据量的可视监控和预警。当数据表的数据体量出现明显异常时,形成高亮演示标记,并预警给对应的研发人员和平台管理人员,及时发现数据异常,及时处理,提升整合数据仓库的数据质量度。

Functions

功能详解

围绕数据采集、数据存储、数据计算和数据共享等数据管理的业务链,构建数据生产环节监控机制,通过数据可视化图表进行展示,并可按时间查询。能提供给数据平台管理者及时、丰富的数据生产实况,同时一定程度上能辅助数据平台的技术应用价值评价。

Functions

功能详解

元数据,作为数据仓库的重要的组成部分,不可或缺,对于元数据的高效、规整管理很重要。通过数据统计学的方法理论和手段,针对数据采集、数据存储、数据分析过程中的元数据形成规范化的管理,并通过数据的依赖关系,形成可追溯的数据血缘关系图谱,便于开发者能快速熟悉数据结构及对应的前台业务规则。

Functions

功能详解

数据安全是数据平台的堡垒,构建数据安全体系和数据安全的有效管理,是一个数据平台的重要目标之一。基于对多层数据的安全扫描和日志记录,再结合分析技术手段,完成数据操作的行为流(例如对JOB脚本的扫描和操作类型标记),并通过设定异常行为监控,确定数据操作的规范性和科学性,保障数据的安全可靠。

  • 平台运维监控
  • 数据质量监控
  • 数据生产监控
  • 元数据管理
  • 数据安全管理

Scenario

适用场景

  • 系统运维监控

    通过可视化的集群硬件监控和业务生产监控,结合预警机制,完成整合系统软硬件的智能监控,提升运维的效率。

  • 数仓文档管理

    基于构建元数据管理系统的思路,完善整个数据仓库元数据文档管理体系,并构建数据仓库表级的数据血缘图谱。

  • 数据安全管理

    通过为整个平台构建数据安全策略和技术路线,形成数据的安全保障和历史安全盲点的追溯。

  • 数据质量监控

    通过设定常见的数据质量校验规则和管理策略,基于数据监控的方法和手段,实现智能的质量报告和统计,基于质量报告,辅助数据质量诊断和优化。