Informatica将无服务器计算带到数据集成云

电子说

1.3w人已加入

描述

(文章来源:金马科技)

在推出基于微服务的第二代智能云服务几年之后,Informatica的最新季度版本终于发现了无服务器错误。它是一系列新功能中的一部分,这些新功能增加了用于管理数据管道和集成流传输的新功能。

无服务器计算很自然地适合于数据摄取和集成过程,因为它们通常是成批运行的,并且根据来源的不同,它们也可能具有高度可变的资源消耗配置文件。无服务器的指导思想是消除提供“以防万一”的能力来处理高峰的需求,系统会根据流量自动调整供应。新的无服务器选项会自动扩展,并已内置到高可用性和恢复中。客户仍然可以使用基于服务器的选项来处理可预测的长期运行的工作负载。

尽管无服务器通过让系统自动配置资源来简化用户的生活,但缺点是成本可能无法预测。作为新的无服务器选件的一部分,Informatica提供了一个计算器,该计算器将机器学习应用到新的工作负载中,从而根据客户对性能(通过并行处理)还是成本(通过单个节点)进行优先级估算成本。

借助无服务器,Informatica从基于云的服务中窃取了一个页面,这些服务已经使无服务器成为基于数据管道的ETL和集成产品的主要内容。其中包括AWS Glue,Azure数据工厂,Google Cloud Data Fusion甚至Databricks,它们添加了无服务器选项。

一个相关功能是应用机器学习来帮助组织合理化其数据管道。由于基于云的低代码/无代码工具几乎很容易构建管道,因此客户可以轻松地构建令人困惑的一次性项目。Informatica的新工具将对管道进行内部检查,扫描数据源,操作和目标,以识别哪些管道使用类似的转换模式,并指导用户构建可配置的模板,以减少扩散并使它们更易于配置和维护。

而且,在摄取流时,Informatica新增了一项功能,可以扫描Kafka存储库以跟踪数据沿袭,就像对数据库和文件源所做的一样。在进行数据准备时,Informatica的云服务可以推荐加入。Informatica的云ETL服务的可视化集成设计器通过推荐基于扫描源和目标的转换操作,进而从数据准备中窃取了页面。

在增量更新中,去年推出的数据质量服务中增加了重复数据删除功能。尽管重复数据删除对于Informatica来说并不是什么新事物,但以前它只能在本地使用,也可以作为自带许可证(BYOL)支持的一部分,以在Amazon EC2或其他云基础设施服务上运行Informatica Data Quality。通过菜单,用户可以选择元数据的逻辑或物理视图,从而为数据工程师,业务分析师和数据科学家提供了多种视图,从而增强了目录的功能。该目录已从数据库资源的常规花名册扩展到从Microsoft Power BI,Qlik Sense,AWS Glue,Google Cloud,Snowflake等云服务中检索元数据,以及其他来源。

春季发布的结果是使用基础图形数据库公开了客户主数据,该数据库提供了一种更直观的表示和探索客户关系的方式。新版本现已在AWS,Azure以及Google Cloud的 beta版中可用。
     (责任编辑:fqj)

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分