我们如何从 Databricks 中的 delta 湖获取有关读取查询的日志？

Question

Delta Lake 有事务日志，其中包含有关 deltalake 写入的信息。是否有某种审计日志用于读取 Deltalake 上发生的查询？

类似于：笔记本 X 在时间 T 对 Deltalake 进行了读取。

用例：此信息将帮助我了解数据集和谱系中涉及的关联笔记本之间的谱系。

P.S：我的 deltalake 存储在 ADLS 中（安装在数据块中）

Answer 1

作为对表所做的每一次更改的最终记录，Delta Lake 事务日志为用户提供了一个可验证的数据沿袭，这对于治理、审计和合规目的非常有用。它还可用于追踪管道中无意更改或错误的根源，追溯到导致它的确切操作。

<块引用>

用户可以运行 DESCRIBE HISTORY 来查看有关所做更改的元数据。

有关详细信息，请参阅Diving Into Delta Lake: Unpacking The Transaction Log。