银行数仓项目实战(一)

文章目录。

• 数据仓库。
• • 特点。
  • 目的：
  • • 监管报送。
    • • 主要有？
      • 监督提交的数据。
    • OLTP和OLAP。
  • 架构。

数据仓库。

数据仓库是面向主题的，࿰集成c;数据集合࿰，不易丢失，随时间变化c;支持管理者的决策。
数据仓库是一个环境，而不是产品󿀌在传统的操作数据库中，很难或无法获得用户用于决策支持的当前和历史数据。数据仓库技术是为了有效地将操作数据集成到统一的环境中，提供决策数据访问的各种技术和模块的总称，一切都是为了让用户更快更方便地查询所需的信息，提供决策支持。

特点。

1.面向。主题。：甲方关心的业务线，叫主题。----面向需求。
银行主题：十大主题。

重要的产品主题，客户主题�协议主题�事件主题󿀌财务主题…

2.。集成。：业务系统零散数据󿀌#xff08根据甲方需求;主题）总结加工󿀌形成方便分析的业务明细表–业务宽表。
3.。非易失。：也就是说，数据稳定。要保证数据的完整性、准确性和及时性（离线T+1）（今日分析昨日）
4.随时间变化：动态的。

目的：

1.支持管理决策（可视化分析）#;
2.监督提交。
3.数据集市（OLAP࿰对某一主题进行深入分析c;客户数据集市󿀌营销数据集市󿀌风险数据集市󿀌财务数据集市..）

监管报送。

主要有？

1.数字仓库管理系统（Data Warehouse Management System，DWMS）：管理银行数据仓库建设，#xfff00的维护和运行c;包括数据提取󿀌清洗，转换，加载等功能。
2.数据质量管理系统（Data Quality Management System）
：确保提交数据的准确性，完整性和一致性󿀌包括数据清洗󿀌验证，修复等功能。
3.提交系统（Reporting System）：生成并提交符合监管要求的数据报表，确保数据的及时交付和合规性。
4.监控系统（Monitoring System）：用于监控数据仓库的运行状态、数据质量和提交进度，及时发现和解决问题。
5.安全管理系统（Security Management System）：确保数据的安全性和机密性，在数据传输和存储过程中提供加密，权限控制等功能。

5.安全管理系统（Security Management System）：确保数据的安全性和机密性，在数据传输和存储过程中提供加密，权限控制等功能。

监督提交的数据。
提交的数据通常包括以下几类：
1.资产负债数据：如银行资产、负债清空、净资产等。
2.交易数据：包括各种交易的详细数据，如存款，贷款，投资，交易结算等。
3.客户数据：与客户相关的身份信息，帐户信息󿀌交易行为等数据。
4.风险数据：包括市场风险󿀌信用风险󿀌操作风险等数据。

5.合规数据：涉及银行在法律法规和监管要求下的合规数据。

OLTP和OLAP。 今天的数据处理主要分为两类：OLTP联机事务处理OLTP(on-line。transaction。 processing)、OLAPP在线分析处理(on-line。Analytical。
Processing)。
OLTP是传统关系数据库的主要应用，主要是基本，日常事务处理，例如，银行交易。

OLAP是数据仓库系统的主要应用。支持复杂的分析操作，关注决策支持󿀌并提供直观易懂的查询结果。

架构。

以下是两种主要结构。
1.源数据:包括各种银行自建系统，核心系统󿀌信贷系统�ECIF（客户系统�，中间业务等等。
2.ODS（Operational Data Store）层，即贴源层：操作数据存储。是最接近源数据的一层，临时存储数据，标签（时间戳，数据来源　#xff09为了方便追溯）。保持数据的原始性，完整性。
3.SDS标准层：统一数据类型，统一数据字典，数据清理–清洁脏数据（如空值，特殊符号󿀌重复值，不符合要求的数据）。4.。FDS。
（Fundational Data Store）xff1基础层/模型层a;最重要的一层，根据主题集成源数据，加工，形成明细表–宽表。
形成细粒度明细表。它是面向主题的体现。
5.ADS（Analytical Data Store）分析层/指标层：根据需求󿀌加工指标数据。计算基础层数据󿀌形成包括机构󿀌客户，各种数据，如产品。