请不要将数据中台做成BI！
|
admin
2023年5月31日 9:25
本文热度 232
|
如题：请不要将数据中台做成BI！
笔者在为企业做数据中台设计规划时，经常有客户这样叮嘱。话里话外都是对“数据中台”满满的期待和对“BI”的内心的失望！为什么会这样呢？BI作为IT界“颜值担当”，那可是一直是一项叱咤风云的数据应用技术。曾几何时，为了一张报表、一个大屏，有多少企业都愿意为其“豪掷千金”！为什么现在很多企业又都对其失去了兴趣了呢？今天我们一起聊聊这个话题！欢迎留言区谈谈您的观点。
— 01 —
Business Intelligence（商业智能），简称BI。BI一词最早是由Gartner在1996提出的，Gartner 将商业智能定义为：描述了一系列的概念和方法，通过应用基于事实的支持系统辅助商业决策的制定。也有的说BI这个概念，早在1989年 IBM的研究员就开始使用了，他将商业智能定义为：对事物相互关系的一种理解能力，并依靠这种能力去指导决策，以达到预期的目标。但不论是Gartner提出的还是IBM提出的，不论是1989年还是1996年，总的来说，BI不是一个新事物，而且已经有近30年的历史了。BI为企业提供了一种迅速分析数据的技术和方法，包括收集、管理和分析数据，通过将这些数据转化为有用的信息，从而帮助企业进行决策。可以肯定的是，在过去的30多年里，BI还是在一定程度上发挥了它的价值的，例如：给领导提供了一些辅助决策的数据报表，以及一些漂亮的可视化数字大屏，等等。随着数字化的不断发展，人们对数据洞察力的期望越来越高，渐渐的人们发现：不是企业不再需要BI，而是成功的BI实在太少了。那些原本为领导提供决策的数据报表，往往被领导束之高阁，而那些“漂亮的数字大屏”也沦为了“面子工程”，只有在上级领导视察，或外部单位考察的时候才拿出来“装装门面”。说好的“数据驱动”呢？，说好的“帮助企业做出明智的业务决策”呢？除了上了一个BI工具，开发了一套数据报表，似乎什么也没剩下！就这样，传统BI项目的失败率一直居高不下，这让越来越多的企业对其失去了信心！
— 02 —
说到“传统BI的失败”，90%的人都会想到的是：传统的数据仓库、数据分析技术不能满足日益增长的客户用数需求,企业应该需要有一个更灵活、更敏捷、更智能的BI工具。的确。“传统BI工具不好用，在功能、性能方面应对企业日益增长的数据量和用数需求显得越来越力不从心”！这确实是一个导致传统BI项目不好用、没人用的一个原因。但这还不是传统BI项目失败的本质原因。根据笔者多年在数据领域的经验和观察，BI项目之所以失败，本质上概括为以下两方面原因：很多企业实施BI项目，都是通过BI领域的供应商去实施的，在既定的项目框架（目标、范围）下，由供应商负责需求调研、方案设计、数据建模、数据采集、数据处理、数据分析界面开发等项目全过程。而在这个过程中，企业作为业主方参与的深度不足，技术和知识没有从供应商哪里很好的传递下来，从而导致将 BI 项目做成了一个一次性的“工具型项目”。企业的管理和业务是灵活多变的，缺乏持续的数据运营机制，没有配套的数据分析人员，而只是依靠供应商提供的几个固定的分析界面、固定的数据报表，再加上数据更新不及时，这样的BI 注定是用不起来的。在传统BI的实施过程中，常常出现一期项目看起来效果不错，但企业后续的新需求、新项目就变得遥遥无期，或者烂尾。这是项目制 BI 固有的顽疾！如果说，将 BI 作为一个“工具型项目”、“项目型项目”去做，由供应商交付项目验收之后，BI工具就被束之高阁，是传统BI项目失败的一个核心原因。而另一个原因就是：没把 BI 当做一个“项目”去做。大家都知道项目有三个要素：时间、成本和质量。而这三个要素传统 BI 项目做的都不好。时间上。业务需求不明确，业务与IT之间往往需要来回倒腾、确定需求。当然也存在技术上的延迟问题，导致BI项目无法按计划及时完成。模糊的需求、技术的延迟，拉长了交付的周期，等需求开发完了，发现业务需求已经发生了变化。成本上。企业采购机构BI软件往往需要耗费大量成本，尤其是一些国外的软件，例如：SAP BO、Oracle BIEE等。另外，BI项目要获得一个较好的分析结果就需要对数据进行有效的处理，缺乏数据治理能力的BI项目，往往耗费大量的人工成本，来对脏数据清理和大量长尾数据的处理，既消耗了大量的成本，又出不来有价值的分析。质量上。数据的不及时、不完整、不准确是数据分析项目最大的问题。另一个问题是：太技术导向，导致业务与技术之间脱节，从而使得BI项目的目标偏航，让 BI 沦为老板看的报表系统而不是当作整个公司数据驱动系统。
— 03 —
数据中台的诞生！
毋庸置疑，数据是有价值的，将数据作为生产要素，把数据比作石油、金矿，其实毫不为过！在如今的数字化时代，数据大爆炸，对于企业来讲，缺少的并不是数据，而是如何有效的管理和利用数据的手段。事实上，企业对于数据利用的探索一直没有停止，除了BI、还有数据仓库、数据集市、数据湖、大数据平台、数据中台等等。经过了大量的实践验证，当前很多企业都将期望放在了数据中台上！关于数据中台的概念，网上有很多种不同的说法。笔者在以往的文章中，也有相关数据中台概念的定义。常见的一种定义是：数据中台指数据采集交换、共享融合、组织处理、建模分析、管理治理和服务应用于一体的综合性数据能力平台，在大数据生态中处于承上启下的功能，提供面向数据应用支撑的底座能力。其实这个定义还是太技术化，相比我更喜欢以下这个说法：数据中台是一套“让企业的数据可持续用起来”的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建一套持续不断把数据变成资产并服务于业务的机制。数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现 4个核心能力，让企业员工、客户、伙伴能够方便地应用数据。数据中台是在组织数字化转型过程中，对各业务单元业务与数据的沉淀，构建包括数据技术、数据治理、数据运营等数据建设、管理、使用体系，实现数据赋能、数据驱动。在企业的数据中台架构中，BI 属于数据前台的范畴，提供数据分析和可视化能力，是数据中台的用户对象之一。而数据中台更多是一种统一的数据管理架构，它是一种技术和组织的解决方案，可以支持商业智能（BI）分析，并可以实现数据积累，数据清洗，数据集成，数据建模，数据可视化等。因此，我们看到业内数据中台解决方案中，常常将BI融合其中，搭配使用。数据中台是从数据源获取数据，整合、清洗和统一管理数据，然后通过接口服务将数据提供给各个系统使用。BI则是从数据中台获取数据，使用报表、图表等工具，分析和可视化数据，为决策者提供支持。对于大型集团公司而言，BI工具可以有多套（要么购买、要么自主开发），而数据中台一般建议只建设一套。数据中台与BI 虽然都是数据平台，也有很多类似的地方，但它们本质上是两类不同的数据平台。两者的主要区别在于：解决的问题不同：数据中台主要用于收集、存储、整合和管理不同数据源的数据，以便更好地支持业务分析；而BI则是通过分析和可视化数据，以找出潜在的问题和机会，从而帮助企业更好地执行决策。技术的架构不同：数据中台主要采用分布式架构，可以支持大规模的数据存储及计算；而BI主要采用集中式架构，可以支持多维度、高效的数据分析。提供的服务不同：数据中台主要提供数据资源到数据资产和转化，以及API化（或其他共享方式）的数据服务；而BI主要提供数据报表、数据应用可视化服务。处理的数据不同：数据中台的数据主要是原始数据，例如：原始的日志数据、业务数据、IOT数据等；而BI的数据主要是加工过的数据，例如：报表数据。面向用户不同：数据中台主要面向IT部门，IT部门负责搭建和维护数据技术平台，沉淀数据资产、并提供数据服务；而BI面向业务部门，负责利用平台上的数据进行分析和挖掘，从而获取有价值的数据洞察、以作出更加明智的决策。虽然说了数据中台与BI这么多的不同点，但是他们之间很多相同之处，例如：两者都是数据应用的重要工具，都可以帮助企业更有效地分析数据，挖掘有价值的信息。两者都可以将数据从多种来源组织起来，提供直观的可视化效果，以支持数据分析。两者都可以帮助企业实现数据驱动，帮助企业发现潜在的商机，改善企业决策制定的过程。另外，还有一个重要的相同点，那就是从实施方法上都属于业务驱动。相对于传统的数据仓库、大数据平台的技术驱动，数据中台和BI都是业务驱动的，离业务更近，业务驱动的第一出发点不是数据，而是业务，一开始不用看你系统里面有什么数据，而是去解决你的业务问题需要什么样的数据服务，加速企业从数据到数据资产，再到数据价值的过程。
— 04 —
数据中台 + BI ，真正实现数据驱动！
数据中台+BI，两者各司其职确相互融合，并提供一站式数据应用，是打通企业数据资产应用的最后一公里的关键。数据中台+BI，提供一站式数据工作台，将加速推动企业的数据平民化进程，让“人人都能成为数据分析师，人人都会找数据、用数据，用数据说话、用数据决策”，真正实现企业的“数据驱动”。没有 数据中台 的 BI，很难实现持续数据运营，而没有 BI 的数据中台，数据价值将无法直观体现。下面我们看下，如何融合数据中台和BI能力，发挥数据的真正“威力”！自上而下梳理是一种以业务视角进行数据梳理的方式，通过对企业的相关制度文件、职能体系、业务流程、业务单据等进行全面分析，逐层分解，梳理数据资产的三级目录、业务属性和相关管理属性。三级目录，即数据资产的分类，是按照业务视角对企业数据资产的梳理和分解，例如：数据域-数据主题-数据子主题-数据对象，（注：三级目录不限于三级，但一般建议控制在五级之内为宜）。业务属性，即用来描述数据资产的业务元数据。如上图所示，常见业务属性包括：所属数据域、数据主题等分类属性，数据对象、业务定义、业务规则、敏感等级等。管理属性，即用来描述数据资产的管理、维护、使用相关元数据。如上图所示，常见管理属性包括：管理部门、管理人员、联系方式、更新频率、最后更新时间、数据共享条件等。注：业务视角下，数据资产的管理属性可能无法全部梳理出来，这就需要在技术盘点环节对其进行补充完善。关于数据资产的盘点方法，请参考《数据资产管理：数据资产怎么盘？》数据治理、数字化转型首先是需要消除企业痛点，这是见效最快的方式。但同时我也发现，很多企业最大的痛点是不知道自己的痛点在哪里。对此，笔者给出以下思路供参考：（1）找到那些对业务影响很深的点，如不解决业务就无法顺畅执行；（2）找到那些对业务影响很广的点，牵一发而动全身，做好一点带动全局；（3）找到那些对业务有高价值的点，能够为客户带来更好产品或服务、更好的体验，亦或是为企业带来更多的收入和利润；（4）找到那些相对成熟且容易实现的点，先易后难，逐步推进，不要上来就选择一个根本无法完成的目标。将企业数据转化为生产力，需要业务用户快速定位、理解和充分利用数据。与传统数据仓库不同，数据中台的目标是将企业的数据资源经过统一梳理、采集、加工、处理……，然后形成数据资产，并自动注册形成数据资产目录。数据资产目录解决了跨部门数据资产的共享问题，方便业务决策者找到、理解、信任，他们想要的数据，以支持业务部门利用数据来优化他们的业务。通常，IT人员不会从业务的角度理解数据，他们只专注于数据相关的技术问题，而业务人员缺乏IT技能，也很难将数据转换为业务的洞察力。数据中台提供了有效的数据管理方法和工具，帮助企业管理数据资产，并将其转化为对企业有价值的信息和有意义的业务洞察力。数据中台建设的意义，在很大程度上是实现了IT和业务的拉通，让IT与业务形成合力，朝着同一个方向和目标努力。数据中台 + BI 构建企业的数据供应链。坚持“以终为始”的原则，以业务需求为导向，通过数据中台的数据采集、数据处理、数据计算等能力，按需对数据进行加工处理和组装，形成可供调用的维度表、事实表、汇总表等数据模型。再利用BI工具连接这些模型，对数据进行分析和可视化，从而实现企业数据资产的一站式应用。数据中台提供了数据萃取服务、数据共享服务、数据资产运营服务等等支撑能力，是构建企业数据供应链的关键，让企业的数据能够以服务的形式快速供给相关业务。数据即服务——这是数据中台的灵魂。敏捷BI是从工具侧和方法侧，对传统BI的全新升级。关于敏捷BI，你可能听过这些关键词：更快速、更灵活、更简单、更自动......，很多人谈敏捷BI都侧重其工具和技术，当然这是一个很重要的方面。而另一方面，敏捷BI与传统BI的区别在于交付方法上。传统BI更多的是由IT人员进行数据报表开发，业务人员只管“看”，十分被动。而敏捷BI更强调业务的自助式分析，即：业务人员自己进行数据探索和分析，增强了业务人员对数据的洞察能力。其实，不论是传统BI还敏捷BI，要能够让其用起来的一个重要前提是：数据的及时性、完整性和准确性，而数据中台为保障数据的及时、完整和准确提供了能力支撑。数据中台建设成败的一个衡量标准，就是是否为业务用户提供了自助分析能力，以及业务自助分析的灵活度。
最后，给大家留个思考题：如果企业建设的数据中台脱离了BI，在没有数据集成共享需求的情况下，面对业务用户，您将提供什么，如何让数据用起来，以及如何验证数据中台的各种数据模型和数据服务的有效性？欢迎留言区讨论。
该文章在 2023/5/31 9:25:16 编辑过
