• 元宇宙:本站分享元宇宙相关资讯,资讯仅代表作者观点与平台立场无关,仅供参考.

谷歌推出 Bigtable 联邦查询,实现零 ETL 数据分析

  • InfoQ
  • 2022年8月25日02时

作者 | Steef-Jan Wiggers
译者 | 明知山
策划 | 丁晓昀

最近,谷歌宣布 Bigtable 联邦查询普遍可用,用户通过 BigQuery 可以更快地查询 Bigtable 中的数据。此外,查询无需移动或复制所有谷歌云区域中的数据,增加了联邦查询并发性限制,从而缩小了运营数据和分析数据之间长期存在的差距。

BigQuery 是谷歌云的无服务器、多云数据仓库,通过将不同来源的数据汇集在一起来简化数据分析。Cloud Bigtable 是谷歌云的全托管 NoSQL 数据库,主要用于对时间比较敏感的事务和分析工作负载。后者适用于多种场景,如实时欺诈检测、推荐、个性化和时间序列。

在以前,用户需要使用 ETL 工具(如 Dataflow 或者自己开发的 Python 工具)将数据从 Bigtable 复制到 BigQuery。现在,他们可以直接使用 BigQuery SQL 查询数据。联邦查询 BigQuery 可以访问存储在 Bigtable 中的数据。

要查询 Bigtable 中的数据,用户可以通过指定 Cloud Bigtable URI(可以通过 Cloud Bigtable 控制台获得)为 Cloud Bigtable 数据源创建一个外部表。URI 包含以下这些内容:

  • 包含 Cloud Bigtable 实例的项目 ID——project_id;

  • Cloud Bigtable 实例 ID——instance_id;

  • 要使用的应用程序配置文件 ID——app_profile(可选);

  • 要查询的表名——table_name。

来源:https://cloud.google.com/blog/products/data-analytics/bigtable-bigquery-federation-brings-hot--cold-data-closer

在创建了外部表之后,用户就可以像查询 BigQuery 中的表一样查询 Bigtable。此外,用户还可以利用 BigQuery 的特性,比如 JDBC/ODBC 驱动程序、用于商业智能的连接器、数据可视化工具(Data Studio、Looker 和 Tableau 等),以及用于训练机器学习模型的 AutoML 表和将数据加载到模型开发环境中的 Spark 连接器。

大数据爱好者 Christian Laurer 在一篇文章中解释了 Bigtable 联邦查询的好处。

你可以使用这种新的方法克服传统 ETL 的一些缺点,如:

  1. 更多的数据更新(为你的业务提供最新的见解,没有小时级别甚至天级别的旧数据);

  2. 不需要为相同的数据存储支付两次费用(用户通常会在 Bigtable 中存储 TB 级甚至更多的数据);

  3. 减少 ETL 管道的监控和维护。

最后,关于 Bigtable 联邦查询的更多详细信息,请参阅官方的文档页。此外,所有受支持的 Cloud Bigtable 区域都可以使用新的联邦查询。

原文链接:

https://www.infoq.com/news/2022/08/bigtable-bigquery-zero-etl/

点击底部阅读原文访问 InfoQ 官网,获取更多精彩内容!

今日好文推荐

走进代码背后的世界,探索开发者的养成之道

Java 正在卷土重来?别开玩笑了,它明明一直很火

数十位研发发声:研发效能度量,别玩成了一场数字游戏

“华为 30 岁以下员工仅占 28%”上热搜;腾讯二季度净利润腰斩,员工减少超 5500 人;百度网盘回应人工审核用户照片|Q 资讯

Copyright © 2021.Company 元宇宙YITB.COM All rights reserved.元宇宙YITB.COM