数据传输改革满足大数据分析可扩展和弹性
发布时间：2021-10-27 20:50:36 所属栏目：大数据 来源：互联网
导读：如果你的数据仓库每个月都进行更新，那么批量ETL流程可以满足你的需求。但现在适时分析无处不在，批量化的方式对目前和未来的数据集成和传输需求就无法满足了。 更强大的存储性能和更给力的计算机可生成、发布、捕捉和存储更多的数据用以分析。将那么多的数
|
如果你的数据仓库每个月都进行更新，那么批量ETL流程可以满足你的需求。但现在适时分析无处不在，批量化的方式对目前和未来的数据集成和传输需求就无法满足了。
更强大的存储性能和更给力的计算机可生成、发布、捕捉和存储更多的数据用以分析。将那么多的数据注入分析环境中，会让运营环境拥有更多的报表和BI信息，也会让业务部门随之采取行动。数据科学家想要将这些数据流与多年来收集和归档的大量数据进行整合，以支持深度分析应用。
就像高速公路容纳量的增大促生了机动车的繁荣，BI分析平台计算能力与速度的提升也促进了企业中可行动知识的传播。除此之外，业务用户对更加快速获取信息和进行决策的需求使得适时智能性能按指数增长。然而，许多企业在技术架构信息延迟方面都束手无策。怎样才能突破这一瓶颈呢？
数据传输创新法
解决数据延迟的问题至关重要，因为只有这样才能确保大数据分析应用和传统BI系统维持在巅峰状态。既然如此，我们就来看看需要一些什么样的工具和策略。以下三点为基本目标：
●消除数据延迟的根本原因，扩展数据传输，以达到平台速度要求
●确保来自内部外部数据流的及时性和一致性
●提供各种数据源的广泛获取能力，包括结构化数据和非结构化数据
解决数据获取问题使用的方法可能需要与传统的ETL流程有所不同。比如，许多企业都在已经存在20多年的数据复制技术上重新找到价值。高性能的数据复制加快了数据传输的速度，而像变化数据捕捉（change data capture）这样的技术可帮助企业系统数据及时性和一致性的确立。数据联邦和数据虚拟化软件中使用的缓存技术不仅加速了数据传输，还给孤岛系统中结构化和语义变量带来了无缝透明性。
如果把所有这些方法结合起来使用，就能解决数据获取延迟问题；即便不能解决全部问题，也能收到不小的成效。这样一来，除去大数据分析的可扩展和弹性高性能计算的终极障碍也就有望了。
 （编辑：青岛站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐