微软开源大规模数据处理项目 Data Accelerator

微软开源了一个原为内部使用的大规模数据处理项目 Data Accelerator。自 2017 年开发以来，该项目已经大规模应用在各种微软产品工作管道上。

据微软官方开源博客介绍，Data Accelerator 的一些方法可以更容易地在 Apache Spark 上构建流式传输管道：

• 即插即用：轻松设置输入源和输出接收器，以便在几分钟内建立管道。Data Accelerator 支持从 Eventhub 和 IoThub 取数据，并支持将数据下载到 Azure blob、CosmosDB、Eventhub 等。
• 无代码体验：无需编写任何代码即可设置警报和数据处理。通过规则设计器体验，您可以指定简单和聚合的数据处理，标记和警报。
• SQL 查询：在 SQL 中编写复杂的处理——无需在 Scala 中工作。内置的可扩展性模型还支持用户定义的函数并利用 Azure 功能，例如，用于 ML 中流。
• 实时查询：通过针对传入数据样本运行，在几秒钟内验证您的查询，从而节省设置和测试管道处理的工作时间。

Data Accelerator 不仅仅是 EventHub 和数据库之间的管道。它允许用户在继续流式传输的同时重塑传入的事件，然后将同一事件的不同部分路由到不同的数据存储，同时提供健康监控和整个管道状态的警报。

Data Accelerator 还提供配置 UI 和规则/查询设计器体验，使用户无需编写任何代码即可启动和运行。

此外，任何进行流数据处理的人通常都需要使用滑动窗口处理数据，或处理延迟到达数据，或者随时间累积数据。Data Accelerator 支持并简化了这些高级功能的使用。

最后，微软提到，Data Accelerator 支援 dev-test 循环的快速验证周期，其中查询针对本地采样的事件运行在部署之前就能迭代修正到可用，这可以节省大量测试工作管道处理的时间。

【编辑推荐】

1. 腾讯重磅开源 DCache，分布式 NoSQL 存储系统
2. VS Code的“Chromium”版来啦：安全、开源、保护你的隐私
3. 红帽发布企业开源调查报告：战略重要性、数字化转型和创新
4. 微软推最新程序语言Bosque 以Functors取代Loop循环
5. 微软推出新编程语言 Bosque，超越结构化程序设计

（编辑：青岛站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!