数据沿袭是 Dataplex 功能,您可以跟踪数据在系统中是如何移动的: 数据来源、传递到数据的位置以及对数据应用了哪些转换。
为什么需要数据沿袭?
处理大数据集通常涉及将数据转换为量身定制的实体 来满足特定项目的需求:文本文件、表格、报告、信息中心、模型。
例如,假设您有一家网店, 记录下 单个 SQL 表。为了让分析人员更轻松地处理数据, 您开始运行从这个表中提取信息的作业 并按区域、品牌或促销价生成较小的表格。您的分析师 它们会执行进一步的转换,将这些较小的 将多个表与其他数据源结合使用,以生成更多表。
这可能会成为利益相关方的一大挑战:
- 数据使用者无法通过自助式工具来了解数据是否来自 来自权威来源
- 由于缺乏可靠的方法,数据工程师无法找出问题的根本原因 来跟踪所有数据转换。
- 数据工程师和分析人员无法 修改或删除表。
- 数据管理员无法理解敏感数据在整个过程中的使用情况 并确保遵守法规要求。
数据沿袭是一种解决方案,提供了一种实现以下目标的实用方法:
- 了解如何借助沿袭数据获取和转换数据 以及图形可视化。
- 将与条目和数据操作相关的错误追溯到其根 原因。
- 通过影响分析实现更好的变更管理:避免停机或 意外错误、了解相关条目并与 相关负责人。
数据沿袭信息模型
从基本形式上,沿袭是所转换数据的记录 从“来源”更改为“目标”。Data Lineage API 会收集这些信息 并使用流程、 运行和事件。
流程
“过程”是定义支持以下各项的数据转换操作:
特定系统在 BigQuery 沿袭中
process
是支持的作业类型之一。
运行
运行是指进程的执行。一个进程可以有多次运行。
运行作业包含开始时间、结束时间、状态或其他属性等详细信息。
有关详情,请参阅
run
资源参考文档。
事件
事件表示执行数据转换操作的时间点 导致数据在源实体和目标实体之间移动。
事件包含一系列链接,用于定义哪个条目是来源 以及是特定事件中的目标事件用于计算 沿袭可视化图,它们不会直接显示在 Google Cloud 控制台上。 您可以使用 Data Lineage API 创建、读取和删除(但不能更新)这些数据。
示例
请考虑以下示例,其中数据在 BigQuery 之间复制 表:
<ph type="x-smartling-placeholder">数据如何在表之间移动由沿袭过程描述
(在图表上以
图标):可能是 SQL CREATE TABLE AS SELECT
查询或 INSERT
语句。
该 SQL 语句的每次执行都将构成一次单独的运行。
运行包含事件,这些事件记录了哪些表用作来源以及
将其作为目标在本示例中,表
customer_year
和 customers
都是源代码
(针对目标 top_customer
表)。
沿袭可视化图
沿袭图表示 Data Lineage API 收集的信息 特定 Data Catalog 条目的数据库。根是指 的沿袭。
Dataplex 使用 Data Lineage API 来标识 完全限定名称与数据沿袭识别的实体匹配。 对于匹配的 Dataplex 条目,您可以访问沿袭 标签,然后查看图表。
沿袭图显示两种类型的元素:
表示构建所涉及的实体的宽矩形按钮 沿袭信息作为沿袭事件的来源或目标。
较小的方形按钮,表示负责创建或 更新源实体或目标实体。进程按钮使用图标 特定于向 Data Lineage API 报告这些数据的源系统。 例如,BigQuery 作业会使用 图标。
沿袭列表视图
沿袭列表视图显示 单个表。
与沿袭可视化图相比,更适合查看 相对较小的沿袭图,您可以通过沿袭列表视图查看沿袭 具有许多连接的实体的信息。
下图显示了 Google Cloud 控制台。后面的列表以更详尽的方式介绍了这张图片 。
表中的每一行都表示两个条目之间的一个沿袭链接。 在图中,这些名称被描绘为两个区域之间的沿袭关系 包括介于两者之间的任何进程节点。例如,
Source
和Target
是资源节点,中间可以有多个进程节点。Direction 选项指定要在 与根资源相关联:
上游:显示作为数据源的条目的沿袭信息 。在沿袭图上,这些条目是 。
下游:显示使用或 数据。在沿袭图上,这些条目是 条目右侧。
深度是指距离根资源、来源或 衍生资源。列表视图最多可显示 1,000 个沿袭链接, 从根部到最大深度的 10 个沿袭链接。如果存在任何沿袭 则会收到通知。您可以看到超出此范围的沿袭 方法是在列表视图中选择其他实体的名称。
详细信息面板显示链接来源、目标 以及创建此关联的所有进程的 ID。
您可以自定义表格中显示的列, 结果。您还可以将结果导出为 CSV 文件。
自动数据沿袭跟踪
启用 Data Lineage API 后,支持 数据沿袭开始报告其数据移动。 每个集成系统都可以提交沿袭信息, 一系列不同数据源请参阅以下部分,详细了解 所有受支持的产品
<ph type="x-smartling-placeholder">BigQuery
在 BigQuery 项目中启用数据沿袭会导致 用于自动记录以下沿袭信息的 Dataplex:
- 以下 BigQuery 作业生成的新表: <ph type="x-smartling-placeholder">
- 使用以下数据操作导致的现有表 Google 标准 SQL 中的语言 (DML) 语句: <ph type="x-smartling-placeholder">
BigQuery 复制、查询和加载作业的表示形式 视为进程(点击浏览器图标 沿袭可视化图上 )。每个进程都包含 BigQuery job_id 在 属性 最近的 BigQuery 作业的列表。
其他服务
数据沿袭支持与以下产品集成 Google Cloud 服务:
自定义数据源的数据沿袭
您可以使用 Data Lineage API 来手动记录任何数据源的沿袭信息 集成系统所不支持的功能
Dataplex 可以创建可视化图表,用于手动记录
如果使用
fullyQualifiedNames
(与
现有 Data Catalog 条目的限定名称。录制
为自定义数据源创建沿袭,请先创建一个
自定义 Data Catalog 条目。
自定义数据源的每个进程都可以在属性中包含 sql
键
。此类键的值将用于详细呈现代码突出显示效果
数据沿袭图的面板。SQL 语句将显示原样
。用户负责滤除敏感信息。通过
键名 sql
区分大小写。
OpenLineage
如果您已在使用 OpenLineage 从其他 数据源,您可以将 OpenLineage 事件导入 Dataplex, 在 Google Cloud 控制台中显示这些事件。有关详情,请参阅 与 OpenLineage 集成。
限制
- 所有沿袭信息仅在系统中保留 30 天。
- 您移除沿袭信息的相关数据源后,系统会保留这些信息。 也就是说,如果您移除 BigQuery 表及其 Data Catalog 您仍然可以使用 API 读取该表的沿袭 30 天。
访问数据沿袭
您可以通过以下方式使用数据沿袭功能:
- Google Cloud 控制台的 Dataplex 界面中的条目详情页面。 请参阅查看沿袭图。
- Google Cloud 控制台中 BigQuery 界面中的表详情页面。 请参阅查看沿袭图。
- Google Cloud 控制台的 Vertex AI 界面中的“数据集和模型注册表”页面。 请参阅查看沿袭图。
- Data Lineage API
价格
Dataplex 使用高级处理 SKU 来 数据沿袭。如需了解详情,请参阅价格。
为了将数据沿袭费用与 Dataplex 高级处理 SKU,位于 Cloud Billing 报告,使用标签
goog-dataplex-workload-type
,值为LINEAGE
。
后续步骤
如需了解管理信息,请参阅更新后的 IAM 部分、沿袭注意事项和数据沿袭审核日志记录。