植某护数据仓库系统化搭建&代码合集

用户3086

10月20日修改

1.
数仓分层设计图​

画板

2.
整体架构分层规范​

层级	核心职责	数据范围	存储策略
ODS	原始数据落地+基础清洗	订单明细、运单明细原始数据	一季度内全量存储，15天内数据回滚
DWD	标准化明细+轻度聚合	订单/运单标准化数据	一季度内全量存储，15天内数据回滚
DWS	业务预聚合	商品/物流/店铺维度汇总数据	按业务主题分区，预聚合存储
ADS	全维度整合	多域关联宽表	按日期分区，支撑即席查询

3.
核心流程落地细则​

3.1
ODS层清洗流程​

1.
主键校验：筛选「日期+订单号+商品」非空数据，去重；​

2.
格式标准化：地址拆分（用split/正则函数），价格统一为double，数字统一为int；​

3.
业务过滤：剔除状态为“非买家订单”的数据；​

4.
全量核对：对比源数据与清洗后数据条数，校验全量。​

3.2
DWD层表设计规范​

3.2.1
订单明细表​

•
表名：dwd_trade_order_detail_inc（日增量）​

•
分区字段：dt（日期）​

•
核心维度：日期、店铺、商品、订单号、价格、重量、地址等​

•
增加衡量维度的标签：商品及衡量字段、价格及其衡量字段、店铺及其衡量字段​
◦
商品：按照品类和策略分类，用于产品分析​
▪
款号​
▪
商品简称​
▪
策略商品分类标签​
◦
价格：依据市场不同定位畅销品的均值划分，用于定价和调价分析​
▪
商品价格​
▪
优惠金额​
▪
策略价格分类标签​
◦
店铺：不同的店铺和店铺策略划分，用于营销分析​
▪
店铺等级​
▪
店铺名称​
▪
店铺定位​
▪
策略店铺分类标签​

•
更新策略：15天周期全量更新至T-1，每日增量更新​

3.2.2
运单明细表​

•
表名：dwd_logistics_waybill_detail_inc（日增量）​

•
核心维度：日期、快递公司、运单号、重量、时长、价格等​

•
增加衡量维度的标签：价格及其衡量字段、快递公司及其衡量字段、时长及其衡量字段​
◦
价格：对快递，距离，时长进行衡量，用来判断快递平均单价是否合理​
▪
快递单价​
▪
重量段​
▪
体积重​
▪
策略价格分类标签​
◦
快递公司：将所有合同一致的快递公司重命名，规范命名和价格计算逻辑​
▪
快递简称​
◦
时长（h）：将发货地和收件地两个地址，大致统计距离与时长，用来判断快递的速度​
▪
市与市的距离（km）​
▪
市与市的距离段​

植某护数据仓库系统化搭建&代码合集​

植某护数据仓库系统化搭建&代码合集