分享好友 最新动态首页 最新动态分类 切换频道
阿里巴巴大数据之路——数据模型篇
2024-12-02 04:29
阿里巴巴大数据之路——数据模型篇 阿里巴巴

  1.什么是数据模型

    数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。

  2.典型数据仓库建模方法论

    ER模型

    纬度模型(建模四步曲:确定业务流程->确定粒度->确定纬度->确定事实表

   1.体系架构

    核心内容包括规范定义、模型设计等

     2.模型分层

      主要分为三大层(4小层:操作数据层(ODS,公共纬度模型层(CDM,应用数据层(ADS,其中,CDM又分为明细数据层(DWD)和汇总数据层(DWS

      操作层数据ODS:贴源设计,几乎无处理地存放操作系统数据

              结构化数据增量或全量同步到MaxComputer

         非结构化数据(日志)结构化处理同步到MaxComputer

         累积并保存清洗数据

       公共纬度模型层:存放明细数据、维表数据以及公共指标汇总数据,比较多的采用纬度退化的手段,将纬度退化到事实表中,减少关联

          组合相关和相似数据,采用明细宽表,减少数据扫描

          公共指标统一加工,统一口径,建立逻辑汇总宽表

          建立一致性纬度

      应用数据层ADS:存放数据产品个性化的指标数据

          个性化指标加工,无公用性

          基于应用的数据组装,大宽表集市、横表转纵表...

      整个模型如下图所示

 

          

          //数据调用服务一般优先使用CDM层,然后ODS,ADS作为应用数据一般不对外提供服务

    3.基本原则

         高内聚低耦合:将业务相近的放在一起,将高概率使用的放一起,遵循软件设计开发的高内聚低耦合原则

      核心模型与拓展模型分离:核心模型只包含常用核心业务字段,保证核心模型的简洁性

      一致性:相同含义的字段在不同表中必须使用相同的命名,表名等命名必须清晰一致,见名知意

      ...

   4.实施工作流

    (1) 数据调研

      包含业务调研和需求调研

       (2) 架构设计

      数据域划分    

    【数据域设计】(就是给出数据的大分类,数据所属的域

 

 

 

      构建总线矩阵

    【总线结构】(就是列出纬度与主题,进行存在的纬度画✔

      后续包括规范定义、模型设计与总结

     规范定义

      命名规范统一:表名、字段名等规范统一

      字段类型统一:相同与相似字段类型统一

      公共代码与代码值统一:代码与标志性字段应统一

最新文章
搜索引擎技巧.pdfVIP
搜索引擎技巧搜索引擎可以帮助使用者在Internet上找到特定的信息,但它们同时也会返回大量无关的信息。如果您多使用一些下面介绍的技巧,将发现搜索引擎会花尽可能少的时间找到您需要的确切信息。类别搜索1许多搜索引擎(如Yahoo!)都显示类
高清美女写真生成新潮流:用AI轻松打造你的虚拟女友!
步骤2:输入描述 在文本框中输入你想要的美女写真特点,比如“长发,蓝眼睛,穿着白色衬衣的模特”。保持描述的简洁且具体,系统会更容易理解你的需求哦。步骤3:选择风格(可选) 如果你对风格有特别要求,比如想要梦幻效果或者写实风格,
最新说说发布中心,最新说说发布中心SEO攻略:如何提升内容被百度收录的机会?
  最新说说发布中心揭秘:如何被百度收录及其建议提醒  摘要:本文将围绕“最新说说发布中心”这一主题,探讨内容如何被百度有效收录,并给出相应的建议以提醒大众。文章将从关键词选择、内容创作、网站优化等方面进行详细阐述,旨在帮
谷歌SEO中,如何轻松获得高排名?
在当下这个信息爆炸的时代,每一个企业或个人都渴望自己的网站能在谷歌搜索引擎中脱颖而出,获得更高的排名,从而吸引更多的流量和潜在客户。基于我多年的实战经验和对SEO行业的深刻理解,我发现,要想在谷歌SEO中轻松获得高排名,并非一朝
谷歌SEO里,你既爱又恨的SEO工具是什么?
在SEO行业的摸爬滚打中,我逐渐发现,那些让人又爱又恨的工具,往往是最具争议也是最有效的。今天,我们就来聊聊我在谷歌SEO实战中,对某个既爱又恨的SEO工具的深刻体会。一、谷歌SEO里,我难以割舍的双刃剑作为一名SEO老鸟,我深知每个工
揭秘2024新奥资料,免费获取精准资源全攻略
随着科技的飞速发展和信息时代的到来,资料获取变得日益重要,对于即将迈入新奥时代的我们来说,掌握一手的、精准的2024新奥资料,无疑将为我们的发展带来巨大的优势,本文将为您详细介绍如何免费获取这些精准资料,助您在新奥时代站稳脚跟
域名收录 批量查询域名收录的方法
互联网世界是一个庞大而复杂的网络,每天都有数以亿计的网页在其中产生、消失,网站的排名与权重更是对于一个网站的存在和发展至关重要。但是,对于普通用户来说,如何了解一个网站的真实情况?如何判断一个网站的价值与可信度?这就需要借
生成式人工智能赋能社区教育
生成式人工智能(以下简称AI)为主要特征的第四次科技革命,将对我国社区教育产生全方位的冲击及影响,成为未来社区教育变革的重要推手。研究AI驱动的社区教育变革特征,剖析未来面临的现实挑战,阐明应对策略,对促进我国未来社区教育高质
ai创作产品设计怎么用ps打开及文件操作指南
随着科技的不断发展人工智能()在设计领域的应用越来越广泛多设计师开始借助技术实创作。本文将为您详细介绍怎么样采用Photoshop(PS)打开创作的设计文件以及实文件操作的方法。创作设计是指利用人工智能技术,通过算法和模型对设计元素
网站改造大揭秘:如何让你的网站百度收录量大幅攀升?
一、优化网站结构在此次设计改造中,首先对整个网站架构作了深度优化。我们力求以科学合理的布局和清晰明了的导航指引,让使用者可以快速获取所需信息,提升了用户体验的满足感。此外,我们也将网页加载速度作为重点考虑因素,希望能为大家
相关文章
推荐文章
发表评论
0评