Untuk membaca dari Apache Iceberg ke Dataflow, gunakan konektor I/O terkelola.
Dependensi
Tambahkan dependensi berikut ke project Anda:
Java
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-managed</artifactId>
<version>${beam.version}</version>
</dependency>
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-io-iceberg</artifactId>
<version>2.56.0</version>
</dependency>
Configuration
Konektor Apache Iceberg menggunakan parameter konfigurasi berikut:
table
(string). Nama Apache Iceberg. Contoh:"db.table1"
.catalog_config
(peta). Konfigurasi katalog. Berisi kolom berikut:catalog_name
(string). Nama katalog. Contoh:"local"
.catalog_type
(string). Jenis katalog. Nilai yang didukung:"hadoop"
,"hive"
,"rest"
.warehouse_location
(string). Lokasi gudang. Contoh:file://path/to/warehouse
.
Contoh
Contoh berikut membaca dari tabel Apache Iceberg dan menulis data ke file teks.
Java
Untuk mengautentikasi ke Dataflow, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.