Cloud Data Fusion 支持流式数据流水线中的 Pub/Sub 源。
准备工作
角色与权限
如需获取从 Pub/Sub 流处理来源读取数据所需的权限,
请让管理员向您授予
用于访问 Pub/Sub 订阅的服务账号的 Pub/Sub Editor (roles/pubsub.editor
) IAM 角色。
如需详细了解如何授予角色,请参阅管理访问权限。
此预定义角色包含 以及从 Pub/Sub 流处理来源读取数据所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需从 Pub/Sub 流处理来源读取数据,您需要具备以下权限:
-
pubsub.snapshots.create
-
pubsub.snapshots.delete
-
pubsub.snapshots.seek
-
pubsub.subscriptions.consume
-
pubsub.topics.attachSubscription
针对您在插件属性中指定的服务账号授予角色 用于访问 Pub/Sub如果未指定,则向 具备 Dataproc 角色的权限。
如需详细了解如何授予角色,请参阅管理访问权限。
将 Pub/Sub 来源添加到流式数据流水线
转到您的实例:
在 Google Cloud 控制台中,转到 Cloud Data Fusion 页面。
如需在 Cloud Data Fusion Studio 中打开该实例,请执行以下操作: 点击实例,然后点击查看实例。
在 Cloud Data Fusion 网页界面中,点击 Studio。
选择 Data Pipeline - Realtime。
在来源菜单中,选择 Pub/Sub。Pub/Sub 流式传输来源节点出现在流水线中。
在 Pub/Sub 节点上,点击属性以配置 来源。如需了解详情,请参阅 Pub/Sub 流式传输来源。
支持无 Windower 插件的单个 Pub/Sub 来源
Cloud Data Fusion 6.9.1 版支持实时流水线,只需 Pub/Sub 流式处理来源,无 Windower 插件。
- Pub/Sub 流式处理来源具有内置支持,且数据 至少已处理一次。启用 Spark 检查点不会 必填字段。
- Pub/Sub 流式处理来源会创建一个 Pub/Sub 快照 并在每批末尾将其删除。
- 创建 Pub/Sub 快照会产生相关费用。 如需了解详情,请参阅 Pub/Sub 价格。
- 您可以在以下位置监控快照创建: Cloud Audit Logs。
升级具有 Pub/Sub 流式处理来源的流水线
Cloud Data Fusion 支持直接应用升级 (在 Pub/Sub Storage 中) 6.9.1 或更高版本。
Cloud Data Fusion 不支持升级具有 Pub/Sub 流式处理来源(6.9.0 或更低版本)。相反, 将这些流水线升级到 6.9.1:
- 计划升级实例时,停止将数据发布到主题。
- 等待流水线处理完已发布的数据。
- 数据处理完毕后,停止流水线。
- 升级实例。
- 复制现有流水线并更新到最新插件。
- 部署流水线。
运行新流水线以读取数据。
新版本自动使用快照,而不是 Spark 检查点。
删除旧流水线。
后续步骤
- 请参阅 CDAP Pub/Sub 流式传输来源。