![《架构世界》2020数据刊:打通企业数据应用的最后一公里](https://wfqqreader-1252317822.image.myqcloud.com/cover/231/33433231/b_33433231.jpg)
上QQ阅读APP看书,第一时间看更新
.面向服务共享大数据应用平台核心架构
![](https://epubservercos.yuewen.com/C9E6B1/17853815508903206/epubprivate/OEBPS/Images/e25.png?sign=1739140738-LL8tj5DmpjYTTckSzZKUKNSd2ZvDMOLI-0-eaa2a56d1071ec7bac68636e3331ae7a)
整个平台的架构相对比较清晰,包括数据服务目录、数据服务开发、数据服务调度、数据服务共享与发布、数据服务的治理。
![](https://epubservercos.yuewen.com/C9E6B1/17853815508903206/epubprivate/OEBPS/Images/e26.png?sign=1739140738-C2aSBglufO3RwjNOioA0MjgOgdgDEd3T-0-c988f8fb8ae1deed54f3aa93b5c19a5a)
整个平台的应用架构,从数据的维度来切分:
• 资源层:平台需要处理和对接的各种数据资源,可以来自关系数据库,
、 、 、文件等;• 开发层:元数据的采集及数据的采集、处理、开发等;
• 数据管理层:是平台的核心,实现资产目录的管理、数据服务的发布、数据质量的稽核能力;
• 进而支持数据的应用层,各种维度的数据应用:数据接口应用、数据分析应用、业务分析应用、数据加工应用、数据预测应用等。
![](https://epubservercos.yuewen.com/C9E6B1/17853815508903206/epubprivate/OEBPS/Images/e27.png?sign=1739140738-Su5B2ertQU873HJqRGafVHy4TDSSVJoX-0-8c6998ef08fd9addcff9206e12c238d5)
最后给大家分享平台建设的
个重点:)建立端到端的服务开发;
)实现 的服务化;
)全方位,事前、事中、事后的数据质量体系;
)寻求云原生的支持。
![](https://epubservercos.yuewen.com/C9E6B1/17853815508903206/epubprivate/OEBPS/Images/e28.png?sign=1739140738-2lhonHmhAcXgAsiSrVEmCfEjGrTg6Ipn-0-8b61dc669098b86b524305b7628a1471)
整个平台需要考虑从消费方到提供方整个闭环的管理机制;建立从需求、设计、开发、发布的闭环管理。
![](https://epubservercos.yuewen.com/C9E6B1/17853815508903206/epubprivate/OEBPS/Images/e29.png?sign=1739140738-GiJduxH8lcFrEtEAKqwdJQU9usaICknc-0-9b4652c800738474a10cf740f233565c)
服务的发布一定要支持到服务的
化,技术实现可以采用微服务架构的形式,对外提供标准化的 风格服务,便于生态的打通。![](https://epubservercos.yuewen.com/C9E6B1/17853815508903206/epubprivate/OEBPS/Images/e30.png?sign=1739140738-BJS1IGZ4T1E3tBBhUbrrwRVjsz8E1df6-0-c9b77e499fa544a975d5597a8ea6086b)
建立事前、事中、事后完整的数据质量检核体系,把控数据工厂的数据质量;也可以定期的进行数据的专项治理工作,提升平台的整体质量;建议从数据的开发期就关注质量,尽量避免边污染边治理的模式;比如:
• 事前:主外键、时间戳字段、数据类型……
• 事中:非空、重复记录……
• 事后:及时性、一致性……
![](https://epubservercos.yuewen.com/C9E6B1/17853815508903206/epubprivate/OEBPS/Images/e31.png?sign=1739140738-Ge2EwqN2egMGJdU8FXxbU9c0RsbxCLG8-0-427f80d4df42c2e48e6923e4a4f2e1c8)
最后,需要考虑云原生的基础设施支撑。基础设施采用容器、容器编排工具;服务开发的技术架构建议采用微服务(
)、 ;工程效率采用 ,实现数据类应用的自动化 、 能力,以及环境类的自动准备。