业务高速扩张,数据生产域却只能逐个从头重建?奇点云这样做

  一般来说,大数据平台包括以下 4 类数据生产域 —— 生产生态环境(正式生产环境)、开发和测试环境、培训和演示环境、灾备环境。各生产域在由平台提供资源、安全、监控、故障恢复等保障的同时,不同的生产域之间还需要严格隔离,以确保数据生产的可靠性、可用性和安全性。具体到真实的企业环境,生产域的规划则更为复杂。

  本文聚焦独立生产域的规划与新建,分享标准流程和注意事项。

  

  为什么应该关注新建数据生产域?

  企业在发展过程中,出于业务扩张、安全合规、组织调整等要求,常需要对现有的大数据平台进行独立的生产域规划,来匹配新涌现的数据需求。

  举几个例子:

  1.业务快速扩张,数据生产域能否同步快速复制?

  业务的快速复制是企业规模化扩张的常见做法。相对应的,大数据平台也要提供出足够的数据空间,以便这些业务投入使用。譬如,制造企业在某地建厂有成熟实践后,随后新建的各地工厂同样需要新建的数据生产域,工厂之间的数据作业互不影响。

  2.安全合规要求,能否确保独立的数据隔离和管理?

  企业在开展跨境业务时,需遵守业务所在地的数据安全相关法律法规,且各地数据不允许无原则地传输交换。因此企业需创建多个物理隔离、数据独立的生产域,确保在当地的数据业务安全合规。在国内,对上市公司的财务数据往往也有数据独立管理的合规要求,也就意味着财务应有独立的数据生产域。

  3.匹配组织架构,各业态能否互不干扰、独立运营?

  旗下有多个子公司、子品牌及业态的大型集团企业,必须在大数据平台分别设立多个独立的数据生产域,同时,也便于集团层面对每个子公司完成独立的数据成本核算。

  在上述场景中必须注意的是,一个又一个的数据生产域代表着安全、隔离、稳定,但并不意味着重新建起了数据孤岛。

  以“既隔离又统一”的集团数据云服务为例,集团大数据平台统一为各子公司、子品牌(独立数据生产域)提供存算资源、运维服务及安全保障,并保留对全集团数据资产分析洞察的能力。技术更为成熟的大数据平台,还应支持在合规前提下的“复用”,例如,支持复制标准空间的数据业务逻辑到新的空间中,以跟上业务快速扩张的节奏,避免一次又一次从头重建。

  5 步走,搞定新建数据生产域的规划

  奇点云数据云平台 DataSimba 具备跨云多域多租户能力。依托 DataSimba,企业可以统一建设并管理全域数据资产,也可以创建多个 Workspace(工作空间,即独立的数据生产域),来完成多云、多品牌、多业态等管理需求。

  DataSimba 的权限管控体系有序、灵活、精细化,租户可以在一个 Workspace 下建立自己的 Project(项目)并进行权限划分,也可以在不同 Workspace 建立不同的项目。一个 Workspace 中可以有多个租户建立项目,也可以被一个租户独占。

  在数据云平台 DataSimba 中,规划并创建一个新的 Workspace 可归纳为以下 5 个环节:

  1.大数据集群评估

  1.1 整体调研:调研企业业务和数据现状

  确认业务整体目标以及业务范围;探查数据现状,明确数据分布及数据流向;IT 系统调研,调研企业 IT 基础设施的现状;组织架构调研,了解企业整体组织架构。

  1.2 资源评估:评估出需要的资源总量

  通过调研的数据情况,估算未来数年整体的数据量;基于整体业务未来发展情况,估算整体任务数量。

  1.3 组件评估:基于调研的业务场景,进行组件选型,满足业务的需求。

  2. Account 规划

  Account(账号)指租户账号,此账号会绑定若干 User(用户子账号),每个子账号可以被分配不同的 Role(角色),每个角色可以控制能访问的功能权限。同时,每个子账号可以进行数据权限的绑定。

  具体步骤包括:基于组织架构调研,明确需要建立子账号的用户;基于用户的职位职责,规划出不同的角色和所需要的功能权限;根据企业的数据安全要求,规划数据权限的设定;最后,Account 与资源节点对应绑定。

  3. Project 规划

  Project(项目)是一种对任务、作业、数据逻辑上的管理单位。

  首先根据企业业务情况,选择适合的划分维度进行 Project 规划。划分完毕后,将上述 Account 相关的用户分配到对应的 Project 中。

  规划 Project 的常见维度如下:

  ?环境用途维度:例如开发环境、测试环境、预发环境、正式环境等。从经济性角度出发,通常分为开发环境、正式环境。

  ?业务领域维度:例如订单域,财务域等。

  ?组织架构维度:例如生产部门、市场运营部门、电商部门等。

  ?地理位置维度:根据业务所在的地理位置划分,例如欧洲、北美洲等。

  4. Quota 规划

  Quota(配额)指对不同用户或部门使用资源(如 CPU、内存、GPU 等)的分配及限制。

  结合上述规划的资源和项目,可以开始进行 Quota 规划,通常遵循以下原则:

  ?业务优先原则:重要的业务空间具有更高的配额,以确保任务能有效执行完毕。

  ?资源利用率原则:在不影响业务使用的前提下,可以尽可能使用 Quota 共享的方式来提升资源利用率。

  结合上述原则和业务场景,判断高优先级的业务。在确保高优先级业务有效执行的前提下,配置 Quota。随后判断中优先级的业务,可以根据实际业务要求选择和低优先级的业务共同使用一个 Quota。规划好 Quota 后,分配给对应的 Project 使用。

  5.任务和数据迁移

  上述环节规划完毕后,开始正式迁移相关的任务以及数据。

  

  DataSimba 内置迁移客户端,支持将现有大数据系统的数据源、作业、任务、服务等对象自动化迁移至 DataSimba。

  此外,DataSimba 提供完备工具,将现有 Workspace 的数据业务逻辑完整复制到新的 Workspace 中,以满足快速新建、复制独立生产域的需求。

  写在最后:创建数据生产域,就是创建对象体系的实例

  数据云平台 DataSimba 底层为数据云操作系统内核(SimbaOS Kernel)。内核将大数据领域的存储、计算、服务、调度、安全、租户等常用功能,抽象为一组标准对象模块。这组标准对象加上对象之间的关联关系,能几乎满足所有业务场景的需要。

  

  如上图所示,Workspace(工作空间)、Account(账号)、Project(项目)、User(子账号)等均为“对象”,在 DataSimba 创建数据生产域,也就是创建对象体系的实例:

  1.创建 Account 实例,并关联 Workspace;

  2.选择并创建 Project 实例;

  3.创建对应 Quota 实例;

  4.最后进行数据迁移,并创建 Task(任务)、Job(作业)等实例。

  通过创建对象体系(的实例)的方式来构建数据生产域,更有利于:

  ?封装底层技术,提高易用性:以 Project(项目)为例,数据云平台用户(工程师)只需通过该对象创建项目,完成对项目的各种修改,无需关注底层技术细节;

  ?提高系统的可维护性:单个对象调整对整体影响小,例如 Workspace(工作空间)这一对象需要支持新的特性,只需要对该对象改动,不会影响其他对象及关系。