日前,火山引擎数智平台VeDI直播活动「超话数据」在线举办,来自火山引擎DataLeap数据产品专家从数据治理发展历程、分布式自治架构和理念等角度,分享字节跳动分布式治理经验和实践。
据介绍,DataLeap是火山引擎数智平台VeDI旗下的大数据研发治理套件产品,帮助企业快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设,提升数据研发效率、降低管理成本,已陆续在相关行业企业中落地。
在数据治理过程中,企业往往面临着业务发展快、场景丰富、数据量大且形态各异等问题。传统的集中式数据治理方式,由数据治理组织监督所有业务领域活动,导致决策成本高,人力投入高、落地阻力大。
而火山引擎dataleap引入分布式数据治理解决方案,由集中式治理演进为分布式治理,更好通过分布式协作让治理结果、业务痛点和治理方式在业务内部闭环,具备以下优势:
● 影响小,依赖小。治理下放到各业务,业务根据自身发展阶段灵活组合治理工具,无须对组织强依赖。
● 周期短,见效快。业务自驱梳理核心数据及链路,实现跨团队对齐线上化、协议签署、过程追踪,治理周期显著缩短。
● 效率高,省人力。SLA治理提高跨团队协作效率,帮助企业节省人力消耗。
● 算清帐,降成本。业务经验规则化、策略化、自动化、自驱化,持续推动降本增效。
在分布式自治的产品体系中,火山引擎DataLeap涵盖数据治理全生命周期流程,包括数据采集、数据传输、数据存储、数据处理、数据共享到数据销毁。在元数据管理层面,DataLeap提供元数据识别、采集、检索、数据血缘以及数据专题等能力。在数据治理产品体系上,通过治理门户提供治理全景、工作台、规划、诊断、复盘等丰富的产品功能,覆盖稳定性,数据质量、数据安全、成本优化、报警与起夜等一系列治理场景。
以SLA治理为例,首先,业务可以根据当前发展状况与实际需求,自发自驱进行申报,申报主体可以是运营、产品或数据研发等任何角色;其次,DataLeap提供高效对齐能力,可以对生产链路进行精细分析,长链路任务也能快速对齐治理目标;最后,SLA签署与复盘实现在产品中闭环,签署完成后,也能进行系统级保障。
图示:DataLeap SLA治理页面
除了分布式治理,火山引擎DataLeap还在数据集成、数据研发、数据安全、数据资产等方面提供一站式服务,助力企业高效完成数据中台建设。