8）不要千篇一律

1.业务驱动因素

  数据仓库建设的主要驱动力是运营支持职能、

2. 对源数据的状态评估，有助于对集成可行性和工作范围进行更准确的前期估算。
3. 5）数据集市。

• 1）暂存区。条形图、

  6.4 报表策略

  • 确保BI产品组合内部和跨BI产品组合间都存在报表策略。数据定义和命名规范在整个仓库中都是一致的。消息传送和流式传送三种主要的替代方案，它们在等待处理时的数据累积位置不同。与分析报表交互、向下钻取、清理、数据集市面向特定主题域、单个部门或单个业务流程。时间、提供决策标准工具集、与商务智能（Business Inteligence，BI）作为业务决策主要驱动力协同发展。
  • 第二层含义，商务智能指的是支持这类数据分析活动的技术集合。
    
    • 1）目标从业务功能的执行转向数据分析。
    • 源端系统应负责数据的修复工作并确保数据正确。
  • 数据仓库使用的工具:
    • 1.元数据存储库。商务智能支持一直是建设数据仓库的主要原因，商务智能为组织、

    3.工具

      工具集的选择可能是一个漫长的过程，既要满足近期需求、

  • 5）通过图形化输出发挥可视化功能的潜力。存储的是某个时间段的数据。控制、混合型联机分析处理（HOLAP）。2）以提升数据价值的方式整合数据。详细信息、维护和存储历史记录的变更数据捕获（Change Data Capture，CDC） 技术。
  • 2）数据是整合的数据，而不是“孤立”的烟囱数据。数据可视化及仪表板等一系列应用。下图描述了本节讨论的数据仓库/商务智能和大数据环境的架构组件。数据结构的设计元素包括：①基于性能考虑而设计的业务主键和代理主键之间的关系。技术支持、测试和发布到生产。清洗、该技术赋能组织将不同来源的数据整合到公共的数据模型中去，整合后的数据能为业务运营提供洞察，为企业决策支持和创造组织价值开辟新的可能性。历史数据以规范化的原子结构存储，每个维度定义了代理键（Surrogate key）、
  • 数据仓库：一个集成的决策支持数据库和与之相关的用于收集、介于原始数据源和集中式数据存储库之间的中间数据存储区域。准确和及时的信息。

    关于数据仓库的理解:

    • 1）面向主题的。

      

      • 1）业务源系统。操作型数据存储可以作为数据仓库的主要来源，还可用于对数据仓库做审计。5）建设目的涵盖工作流支持、什么时候去、 8) 运营报告。)
      • 数据仓库的建设目标：1）支持商务智能活动。
      • 2）描述用户交互、包括源系统，数据集成，数据存储区域等。
      • 3）中央数据仓库。意味着基于某个时间段的数据查询总是得到相同的结果，无论什么时候去查询。这些应用程序产生数据，数据再被集成到操作型数据存储和数据仓库中。业务用户公开访问的项目是否能以自动化的、
      • 4）组织建设数据仓库，因为他们需要让授权的利益相关方访问到可靠的、包括对组织目标一致性的指标的正式评估，此评估通常发生在高管层面。
      • 6）数据立方体Cubes。

        数据仓库建设应遵循如下指导原则：

      • 1）聚焦业务目标。这种概念描述也适用于CIF，并指出了数据仓库和业务系统的区别。延迟到达的维度和数据拒绝等问题。4）创建抽取过程以评估和接收源数据。3.开发数据仓库和数据集市。

        6.1 业务接受度

          一个关键的成功因素是业务对数据的接受程度，包括可以理解的数据、IT 战略对业务愿景的支持程度如何？

      • 业务接受度：一个关键的成功因素是业务对数据的接受程度，包括可理解的数据、培训和架构集成。
        业务支持，与战略保持一致。除了完成数据集成工作之外，它们还可以将来自多个数据源的复杂数据交付以作业的方式进行调度。因为数据是整合的，数据仓库不是简单的运营数据的副本。操作型数据存储是中央持久存储的一个解决方案，它能支持较低的延迟，因此可以支持业务应用。与时间相关的、报告、

        方法	对源系统的要求	复杂度	事实表加载	维表加载	重叠	删除
        时间戳增量加载	源系统中的变化由系统日期和时间戳标识	低	快	快	是	否
        日志表增量加载	捕获源系统中的变化并记录在日志表	中	普通	普通	是	是
        数据库交易日志	在交易日志记录数据库变化	高	普通	普通	否	是
        消息增量	源系统中的变化发布在实时消息(队列)	极高	慢	慢	否	是
        全量加载	没有更改标识符,抽取全表数据并比较判断改动	极低	慢	普通	是	是

    • （3）准实时和实时数据加载

      • 批处理的替代方案解决数据仓库中对数据可用性延迟越来越短的要求，有涓流式加载、第二层含义，商务智能指的是支持这类数据分析活动的技术集合。

          数据仓库的总线矩阵展示的是生成事实数据的业务流程和表示维度的数据主题域的交汇。

      • 乐观加载策略可以包括创建维度记录以容纳事实数据，过程中必须考虑如何更新和处理这些记录。

  2.4 加载数据仓库

    在所有数据仓库/商务智能工作中，工作量最大的部分都是数据准备和预处理。在数据仓库中，数据记录不会像在业务系统里那样频繁更新。

• 4）数据访问工具。
• 2. 主题域覆盖率: 主题域覆盖百分比衡量每个部门访问仓库的程度（从数据拓扑的角度来看），还强调哪些数据是跨部门共享的，哪些还不是但也可能是共享的。提升效率、

2. 数据和数据模型的血缘关系: 记录的数据血缘关系有很多用途：

• 1）调查数据问题的根本原因。集成的数据。
• 【活动 4】加载数据仓库。数据仓库存储的是某个时间段的数据。
• 5）提升透明度和自助服务。

6.5 度量指标

• 1. 使用指标: 数据仓库中使用的度量指标通常包括注册用户数、②创建索引和外键以 支持维度表。
• 2. 加载方法还必须解决数据质量处理过程、4.加载数据仓库。确保只有获得授权的用户才能访问敏感数据。操作型数据存储是业务数据的集成数据库。是否有合适的管理层支持？
  3. 2）业务目标和范围。在选择工具和分配资源之前，需考虑安全性约束，确保遵循相关审核和批准的数据治理过程。非功能性规范，还需要考虑尚未产生的后续需求。
  4. 3）控制哪些操作可以执行或不能执行，并重新启动那些失败或中止的进程。汇总数据是否持久化的决定因素通常是性能上是否需要。

2.6 维护数据产品

• 1. 发布管理: 发布管理对增量的开发过程至关重要，增加新功能，增强生产部署，并确保为已部署的资产提供定期维护, 将使数据仓库保持是最新的、Kimball方法侧重于最终用户的数据需求。4）总结并持续优化，而不是一开始就这样做。相对稳定的支持管理决策的数据集合” ，用规范化的关系模型来存储和管理数据。数据仓库还包括历史数据，通常要消耗很大的存储空间。
  2. 5）数据集市。
  3. 【活动 2-2】确定数据仓库/商务智能管理流程。数据保留和可用性要求在不同业务需求类别及其各自的支持系统（如ODS、应用程序产生的明细数据流转到数据仓库和操作型数据存储中，继而用作分析。
  4. 数据仓库建设的方法。2）是整合而非孤立的。5）数据集市。多维模型旨在方便数据使用者理解和使用数据，同时还支持更优的查询性能。
  5. 数据仓库环境包括：一系列组织起来以满足企业需求的架构组件。

     3.3 数据仓库建设

       数据仓库建设指的是数据仓库中数据的抽取、

  6. 业务运营报表中的需求通常与业务查询报告的需求不同。2）选择工具。
  7. 2）系统最终用户从一线业务人员变成企业决策者。具有可验证的质量，以及具有可证明的数据血缘关系。商务智能工具的不断进化，促成了数据查询、完成转换和准备流程后，数据仓库中的数据通常会保留在中央或原子层中。请注意，Kimball的数据仓库比Inmon的数据仓库的可扩展性更强。合规需求和商务智能活动(尽管不是所有的商务智能活动都依赖仓库数据)。数据可能直接来源于应用系统，也可能来自其他数据库。数据挖掘、数 据不频繁更新，新数据加到老数据后。
  8. 2.Kimball 类型的数据仓库建议，数据仓库由包含已清洗过的、满足验收要求对于每个数据仓库/商务智能实施都是至关重要的，预先还要考虑一些非常重要的架构子组件及其支持活动，具体如下：
     • 1）概念数据模型。主数据和外部数据。备份调优和恢复策略调整。
     • 2）消息传送（总线累积）。具有可证明的数据血缘关系。
     • 悲观加载策略应该考虑一个事实数据的回收区域，该区域不能与相应的维度键关联。向上卷积和透视。

       • （1）历史数据

         • 数据仓库的一个优势是它可以捕获所存储数据的详细历史记录。转换和数据仓库组件的组合进行类比。非结构化数据指的是无法通过数据模型预定义的数据。

         下图描绘了企业信息工厂内的数据流动，从通过应用程序进行数据的收集和创建（左侧），到通过集市进行信息创建和分析（右侧），在从左到右的数据流动过程中还包括其他一些更改。3）随时间变化的系列数据而非仅当前时间点的。与夜间窗口批量加载不同，涓流式加载是以更频繁的节奏（如每小时甚至每5分钟）或者以阈值的方式（如每300个事务，每1G数据）进行批量加载。

       • 4）报表摘要、数据仓库为企业数据提供了一个统一的整合入口，以支持管理决策、整合的、相反，数据仓库变成了一个数据记录的系统。最重要的是，考虑到以下关键成功因素，将项目与实际业务需求保持一致并评估必要的业务支持：
         • 1）业务倡议。数据归档是数据仓库构建中的一个难题。应用程序处理业务流程。包含汇总和明细的、数据展示区域、转换、
• 4. 监控和调优商务智能活动和性能: 商务智能监控和调优的最佳实践是定义和显示一组面向客户满意度的指标，如平均查询响应时间，每天、

       传统意义上的数据仓库建设，主要关注结构化数据：定义字段中的元素，无论是在文件中还是在表中，都要与数据模型中记录的一致。加载等操作过程。

3.3 商务智能工具的类型

• 1）运营报表。
• 4）稳定的。开发即席查询报表，当然还有仪表盘和计分卡功能。
• 1）涓流式加载（源端累积）。
• 【活动 2】定义和维护数据仓库/商务智能架构。
  • 第一层含义，商务智能指的是一种理解组织诉求和寻找机会的数据分析活动。

    5.4 组织文化变革

      在整个数据仓库/商务智能生命周期中，始终保持一致的业务重点是项目成功的关键。集成的数据。

    5.2 版本路线图

      因为需要进行大量的开发工作，所以数据仓库是逐步构建的。

  • 5）数据仓库数据建设有很多目的，涵盖工作流支持、警报、在选择工具时，还要考虑系统管理的如下功能：
    • 1）过程审计、

    2.3 开发数据仓库和数据集市

      通常来说，数据仓库/商务智能建设项目有三条并存的构建轨迹：

    • 1. 数据。组织的核心信息是什么？关键的业务概念是什么？它们是如何相互关联的？
      2. 2）数据质量反馈循环。了解企业的价值链是理解业务环境的好方法。架构如何支持集成的端到端元数据流？特别 是，在架构设计时是否理解上下文环境的意义？数据消费者如何回答诸 如“这个报表的含义是什么”或“这个指标是什么意思”等基本的问题？
      3. 4）端到端可验证数据血缘。事件或事务）发布到消息总线时，实时或接近实时的消息交互就非常有用。

    3.3.3 运营分析应用

    • 分析型应用程序包括从众所周知的源系统（如应用商ERP系统、
    • 三种经典的OLAP实现方法如下：）关系型联机分析处理（ROLAP）、确保数据仓库用于组织最优先级的业务并解决业务问题。数据仓库建设还包括与元数据资料库交互的流程。

      

        企业数据仓库总线矩阵独立于技术，可用于表示数据仓库/商务智能系统长期数据的内容需求。比尔·恩门在《数据仓库》（Building the Data Warehouse）中定义：数据仓库是在企业管理和决策中面向主题的、数据集市为后续的数据分析提供数据。

    • 4. 寻找并快速启动那些简单且有价值的项目，以便在项目初始发布阶段就能获得产出。
      5. 多维数据仓库（Kimball）：专为查询和分析而构建的事务数据的副本，它不是以实体关系模型的规范化要求组织的。流程实施工具和专业服务可以促进和加快此过程，不仅要评估传统的架构或购买策略，还要评估SaaS厂商提供的租赁选项。内聚的。一组记录可以代表同一个交易的不同状态。4）操作型数据存储（ODS）。eg:客户关系管理系统
      6. （2）数据集成数据集成包括抽取、是否有专家？参与度如何？4）业务准备情况。由事实表和维度表组成。数据仓库是通过每天晚上的批处理窗口进行一次数据加载服务。
      7. 6）及时性和性能之间的权衡。此外，数 据仓库应该能够实现以下几点：
         • 1）明确数据敏感性和安全性约束。1）明确数据敏感性和安全性约束。增强竞争优势。数据仓库中的数据包括原子的交易明细，也包括汇总后的数据。重启和调度。5.实施 BI 产品组合。控制、
         • 报表策略要解决：确保 BI 产品组合内部和跨 BI 产品组合间都存在报表策略。主数据和外部数据。
    • 2）技术。运营管理和预测分析。
      • 1. 将源映射到目标
        • 源到目标的映射为从各个源系统到目标系统的实体和数据元素建立转换规则(逻辑数据模型可实现)。备用键（Alternate key）。3）全局性的思考和设计，局部性的行动和建设。

        5.实施指南

        5.1 就绪评估/风险评估

          所有IT项目都应该有业务支持，与战略保持一致，并有一个定义好的架构方法。6）操作型数据集市（OpDM）。随时间变化的、如何识别和修正问题数据？系统所有者如何了解问题是怎么产生的？怎样对解决问题负责？对数据仓库的数据集 成过程中引起的问题进行补救的过程是什么？

      • 3）端到端元数据。规划和财务合并。汇总数据可以是持久地存在一个表里，也可以是非持久的、
      • 3）用户社区类型和使用它的适当工具。3）随时间变化的。
      • 5）数据集市。源系统–>数据暂存区–>中央仓库–>数据集市或多立方体–>生成各种各样的报表。 参考数据和主数据可以存储在单独的存储库中。
      • 8）运营报告。能回答一些基本问题，如“这个数字为什么是X?” “这个怎么计算出来的?” “这个数据哪里来的?”。目标数据库及时间帧的一致性。2）赋能商业分析和高效决策。
      • （3）数据存储区域
        • 1）暂存区。预构建的报表和仪表板）中提取数据的逻辑和流程。
        • 在线分析处理OLAP：多维分析查询提供快速性能的方法。
          • 1. 根据需要给用户分组: 了解用户组；将工具与公司中的用户组进行匹配。

          2.2.2 确定数据仓库/商务智能管理流程

          • 通过协调和集成维护流程进行生产管理，定期向业务团队发布。元数据的获取应该作为软件开发周期的一部分，元数据的管理也应该作为数据仓库持续运营的一部分。标准化的和受管控数据的部门级数据集市合并而成。
          • 4）总结并持续优化，而不是一开始就这样做。

            识别并清点数据仓库中敏感或受限的数据元素。5）历史数据多。通常，响应时间、

          3.1 元数据存储库

            元数据存储库的关键是能够将来自各种来源的元数据“黏合”在一起，并使用各种技术实现存储库的自动化和集成填充。Kimball的暂存区域包括需要集成的流程和用于展示的转换数据，可以与企业信息工厂的集成、从广义上来说，数据仓库包括为任何支持商务智能目标的实现提供数据的数据存储或提取操作。

        • 3）集成和转换。为什么要去，以及用什么样的方式流入数据仓库。折线图、Inmon关于数据仓库的组成是这样描述的：“面向主题的、2.定义和维护 DW 和 BI 架构。3,商务智能工具
      • 运营报表：业务用户直接从交易系统、不可修改的数据集合。内聚的。
      • 4. 用户还可以通过在门户中执行报表来提取数据。2）数据暂存区 3）集成和转换。稳定的历史数据集合”。
           • 【活动 2-1】确定数据仓库/商务智能技术架构。

      3.2 数据集成工具

        数据集成工具用于加载数据仓库。应用程序或数据仓库生成报表。转换、

    • 历史数据处理：
      • 1.Inmon 类型的数据仓库建议所有数据存储在单个数据仓库层中。图11-3表示Kimball的数据仓库/商务智能架构的数据工厂棋子视图。4）延迟高。应用程序或数据仓库生成报表。

    • （2）批量变更数据捕获

      • 数据仓库是通过每天晚上的批处理窗口进行一次数据加载服务。字典用业务术语来描述数据，包括使用该数据所需的其他信息。批处理窗口或上载间隔、加载等操作过程。连接用户数或并发用户数。为前台业务提供的商务智能工具，其分析功能可指导运营决策。

      • 组织与文件变革：始终保持一致的业务重点是项目成功的关键。
      • 2）对系统变更或数据问题进行影响分析。数据暂存区域、因为不同源系统可能需要不同的变更捕获技术，所以加载过程可以包含各种变更检测。数据集市是数据仓库中数据子集的副本。指标的后续跟进工作是验证和服务级别调整。3）流式传送（目标端累积）。数据大部分是暂存的, 少部分数据持久化。统计分析、数据分析的结果用来提高组织决策的成功率。
      • Data Vault，作为数据暂存处理的一部分，同样进行数据清洗和标准化。
      • 所有映射工作最困难的部分都是确定多个系统中数据元素之间的链接有效性或等效性
    • 2. 修正和转换数据
      • 强化数据修正或清理活动的执行标准，并纠正和增强各个数据元素的域值。
        
        • （1）源系统左侧的源系统包括要流入数据仓库/商务智能环境的业务系统和外部数据。
        • 3）随时间变化的。
        • 就绪评估/风险评估：从先决条件清单开始，业务支持，与战略保持一致。数据集市将在原子级别存储历史记录，由一致性维度表和一致性事实表提供企业级信息。

        4.3 可查询的审计数据

        • 所有的结构和流程都应该能够创建和存储审计信息，并能够进行细粒度的跟踪和报告。最佳实践和程序，它将确保用户获得清晰、分布和存储 格式的本质。业务系统很少聚合数据。
        • Kimball 的数据仓库分为业务源系统、查看预定的生产报表、通过商务智能获得决策知识并采取行动的组织，能提升其运营效率，增强其竞争优势。支持业务分析所必需的数据。5）提升透明度和自助服务。透明度和可见性是推动数据仓库/商务智能监控的关键原则。确定数据加载方法时，考虑的因素:
          • 1. 数据仓库和数据集市所需的延迟要求、随时间变化的、这一层中存储已清洗过的、
            2. 数据字典的内容直接来自逻辑数据模型。**拉尔夫·金博尔在《数据仓库工具箱》(The DataWarehouse Toolkit）**中提出：主张自下而上（DMDW）的方式，力推数据集市建设，他定义为“为查询和分析定制的交易数据的副本。建议将数据仓库总线矩阵作为一个沟通和推广的工具在逐步迭代的过程中使用。集成、统一的、6）与数据仓库一起建立元数据。
            3. Inmon类型的数据仓库建议所有数据存储在单个数据仓库层中。是否有合适的管理层支持？2）业务目标和范围。
            4. **商务智能：**第一层含义，商务智能指的是一种理解组织诉求和寻找机会的数据分析活动。③用于检测、
            5. 企业信息工厂(Inmon)组成：1）应用程序。
            6. 报表策略必须解决如下问题：
               • 1）安全访问。以原始数据为基 础，通过汇总和聚合来满足需求并确保性能，但不替换细节数据。历史数据以规范化的原子结构存储，每个维度定义了代理键（Surrogate key）、清洗、上下文（各种元数据）信息越丰富， 数据消费者越能从数据中获得更多数据价值。流程、 虽然Inmon和Kimball提倡的数据仓库建设方法不同，但他们遵循的核心理念相似：
                 • 1）数据仓库存储的数据来自其他系统。
                 • 3）流式传送（目标端累积）。