推动创新的几个转变
在过去的几年中,组织不得不迅速在原有基础设施的基础上部署各种新的数据技术,从而推动由市场驱动的各种创新,例如定制化的报价、实时警报和预测性维护。 但是,数据湖、客户分析平台、流处理等技术的加入极大地增加了数据架构的复杂性,这些技术往往严重妨碍了组织提供新功能,维护现有基础设施以及持续确保人工智能模型的完整性。 当前的市场动态不容放缓。亚马逊和谷歌等先进的公司一直在利用人工智能技术创新来颠覆传统的商业模式,而这就要求落后者重新构想自身业务的各个方面以跟上发展的步伐。云提供商已经推出了最前沿的产品(例如可以立即部署的无服务器数据平台),这些产品使采用者享有更快的上市时间并且具备更高的敏捷性。Analytics(分析)用户要求使用更多兼容性强的工具(如自动模型部署平台),以便他们可以更快地使用新模型。许多组织已经采用了应用程序编程接口(API),使来自不同系统的数据能够接触到数据湖并迅速将洞察直接集成到前端的应用程序中。如今,随着各大公司纷纷开始研究由冠状病毒(COVID-19)大流行所引起的前所未有的人道主义危机并为下一次正常运转做准备,它们对灵活性和速度的需求只会增加而不会减少。 对于要加强竞争优势(甚至是保持同等优势)的公司,它们必须以一种新的方法来定义、实施和集成数据栈,同时利用云(除了基础架构即服务)以及各种新的概念和组件。 打造颠覆性数据架构的六个转变 我们发现,各大公司正在对其数据体系结构蓝图做出六项根本性的转变,这些转变可以更快地交付新功能并大大简化现有的体系结构方法。这些转变几乎涉及所有的数据活动,包括采集、处理、存储、分析和公开。尽管组织可以在实施一些转变的同时使其核心技术栈不受任何影响,但许多组织仍需要对现有数据平台和基础设施进行仔细的架构调整,包括以前使用的各种遗留技术和比较新的技术。 这样的工作并非微不足道。为创建基本用例(例如自动报告)的功能而进行的投资往往高达数千万美元,而用于部署优秀功能的体系结构组件(例如为了与最具创新力的颠覆者竞争的各种实时服务)的投资则可能高达数亿美元。因此,对于组织而言,制定清晰的战略计划至关重要,数据和技术领导者必须做出大胆的选择,以优先考虑那些将直接影响业务目标的转变,并投资于复杂度适中的体系结构。因此,各大公司之间的数据架构蓝图往往看起来截然不同。 如果投资得当,投资回报将非常丰厚(有一家美国银行每年可赚取5亿多美元,一家石油和天然气公司则实现了12%至15%的利润率增长)。我们发现,这类收益来自方方面面:节省IT成本、提高生产率、降低法规和运营风险以及提供全新的功能,新服务乃至整个业务。 那么,组织需要考虑哪些关键变革? 1. 从本地数据平台到基于云的数据平台 云可能是一种全新的数据架构方法的很具颠覆性的推动力,因为它为公司提供了一种快速扩展人工智能工具和功能以获取竞争优势的方法。亚马逊(Amazon Web Services)、谷歌(Google Cloud Platform)和微软(Microsoft Azure)等主要云提供商已经彻底改变了各大组织大规模采购,部署和运行数据基础设施、平台和应用程序的方式。 例如,有一家公用事业服务公司将基于云的数据平台与容器技术相结合,该技术用微服务(例如搜索账单数据或向帐户添加各种新属性)将应用程序功能模块化。这使公司能够在几天(而不是几个月)的时间内向大约100000个业务客户部署新的自助式服务功能,为最终用户提供大量的实时库存和交易数据以进行分析并通过在云中(而不是在更昂贵的本地旧系统上)“缓冲”交易来降低成本。 管用的概念和组件
2. 从批处理到实时数据处理 实时数据通信和流媒体功能的成本已大大降低,这为其主流使用铺平了道路。这些技术实现了一系列新的业务应用:例如,运输公司可以在出租车到达时向客户提供精确到秒的抵达时间预测;保险公司可以分析来自智能设备的实时行为数据,从而将费率客制化;而且制造商可以根据实时的传感器数据来预测基础设施方面的各种问题。
订阅机制等实时流媒体功能使数据消费者(包括数据集市和数据驱动的员工)可以订阅各种“主题”,以便他们可以获取所需交易的持续更新。通用数据湖通常充当此类服务的“大脑”,它保留了所有细粒度的事务。 (编辑:青岛站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |