数字化转型之数据工厂

2023-01-12 14:38:09

       随着云计算、大数据、人工智能等IT技术迅速发展,以及其与传统行业实现快速融合,一场由数字化和智能化转型带来的产业变革正在全面展开。但对于企业来说,面对各信息系统中累积的海量数据,如何深挖和利用存在诸多问题亟待解决。

 

01 数字化转型的“困难重重”

数据管理方面,存在大量数据孤岛,数据存储分散,应用、系统、设备及网络数据割裂,未能集中管理;

数据质量方面,未能形成运维数据整体视图,数据质量存在不规范、不完整、可访问性不足等问题,无法满足复杂问题分析应用需要;

数据分析方面,涉及功能范围广,分析需求多且迫切,分析工具缺少数据共享和互联互通。

 

02 数字化转型的“必经之路”

       数据资产是企业数字化转型的基石,数据资产的标签化、价值化、应用化和可持续是企业数字化转型的必经之路

 

03 数字化转型的利器—数据集中服务管理平台

       面对堆积如山的数字,企业期待着能够挖掘出其巨大的潜能。明易达经历多年的经验积累和产品打磨,推出了“数据集中服务管理平台V6.0”数据中台理念产品系列(如下图)。

       数据服务集中管理平台V6.0,围绕多源异构数据的集成、核查、加工、服务和运维的主题来进行,以高质量的数据服务为核心,可针对企业大数据管理数据资产管理提出一套全方位解决方案,为企业提供数据汇聚、数据加工、数据质量核查、数据服务等的数据集中管理手段推行数据资产的理方法,从而提高企业的整体数据资产的价值

       数据服务集中管理平台V6.0具有以下多项特性

支持连续迭代开发,保障业务的稳定访问:通过灰度发布的方式,最小化降低服务更新对使用者的影响,有效保障服务更新过程中使用用户的业务稳定。

少量或无编码大数据计算开发:通过设置参数或者以创建组合服务、在线编辑器的方式,短短几分钟即可实现服务的创建与部署,并将服务通过服务市场的方式传递推广给众多开发者。

高效、快速、易用的落地业务:找到与业务相关的原子服务,直接调用实现业务分析;或者以组合服务的方式,参照推荐方案或自主组合,以极优的操作体验实现业务创新,快速完成业务落地。

降低服务注册与管理的时间和技术门槛:支持服务授权与认证对服务进行访问,提供多种技术组件实现对服务的管理。

多种技术组件,降低开发成本:提供多种消息组件、缓存组件、ORM组件、脚本初始化,满足用户敏捷开发需求,提升开发效率与系统整体兼容性。

自动化部署,安全高效:提供自动部署和运维能力,解决手工部署效率低、错误率高、升级困难、业务中断、监控定位难等应用运维问题。

完整的应用生命周期管理:分布式应用生命周期管理机制,包括海量应用创建、部署、启动、回滚,扩容和停止下线等。

多环境、多归属的开放、互通、管控:以云服务总线的方式,协助传统行业开放行业云生态,兼容主流同步、异步,一对多广播等消息订阅分发模式。

严格的鉴权体系,保障服务的归属安全:保证用户每一次分布式调用的稳定与安全。在服务注册、服务订阅以及服务调用等每一个环节,都进行严格的服务鉴权。

精细化的服务安全监控体制:平台提供完善的监控体制,从服务创建到服务的管理,都拥有完整的链路跟踪、心跳监测、状态检测。

提供标准化API,实现内部系统集成:通过API网关提供的规范化、标准化的API接口,快速完成企业内部系统的解耦及前后端分离。同时,复用已有能力,避免重复开发造成的资源浪费。

 

04 数据服务管理平台之数据工厂

       其中,数据工厂作为数据服务集中管理平台V6.0核心组件之一,可通过聚合和治理跨域数据,将数据抽象封装成服务并提供给前台支撑业务,加速从数据资产到业务价值创造,提高企业的响应能力。

       数据工厂可帮助企业对海量的多源数据进行采集、计算、存储、加工,同时形成标准数据存储并集中管理和计算,最终形成大数据资产层,进而为企业提供高效的数据服务。 这一数据资产是企业独有且能复用的,是企业业务和数据的沉淀,不仅能降低重复建设、减少烟囱式协作的成本,也是企业差异化竞争优势之所在。

       数据工厂具有如下产品特性

全新的Data on DevOps体系

• 数据开发基于DevOps,开发、调试、构建、部署、作业管理、自运维一站式应用;

• 开发与管理低代码图形化操作,数据服务定制化;

• 数据开发表达形式丰富,适合不同人员能力和不同场景深度的数据加工;

• 开放式、可扩展平台,多引擎适配,引擎可插拔,作业可移植;

丰富的加工与服务能力

• 系统集成了Mysql、Oracle、ClickHouse、Redis、Kafka、Hive、Elasticsearch、Neo4j引擎、覆盖关系型、文档型、关系型引擎; 

• 系统集成了54个计算类函数,10个集合类操作,满足绝大部分场景的应用,可以通过UDF定制个性化应用;

• 通过http协议与json数据结构可以定制丰富的数据服务。