Template ini tidak digunakan lagi dan akan dihapus pada Q3 2023. Migrasi ke template Penghapusan Massal Firestore .
Template Penghapusan Massal Datastore adalah pipeline yang membaca Entity dari Datastore dengan kueri GQL tertentu, kemudian menghapus semua Entity yang cocok dalam project target yang dipilih. Pipeline secara opsional dapat meneruskan Entitas Datastore berenkode JSON ke UDF JavaScript, yang dapat Anda gunakan untuk memfilter Entitas dengan menampilkan nilai null.
Persyaratan pipeline
- Datastore harus disiapkan dalam project sebelum menjalankan template.
- Jika membaca dan menghapus dari instance Datastore terpisah, Akun Layanan Pekerja Dataflow harus memiliki izin untuk membaca dari satu instance dan menghapus dari instance lainnya.
Parameter template
Parameter | Deskripsi |
---|---|
datastoreReadGqlQuery |
Kueri GQL yang menentukan entitas mana yang cocok untuk penghapusan. Menggunakan kueri khusus kunci dapat meningkatkan performa. Misalnya: "SELECT __key__ FROM MyKind". |
datastoreReadProjectId |
ID Project dari instance Datastore tempat Anda ingin membaca entity (menggunakan kueri GQL) yang digunakan untuk pencocokan. |
datastoreDeleteProjectId |
ID Project instance Datastore yang akan digunakan untuk menghapus entity yang cocok. Fungsi ini dapat sama dengan datastoreReadProjectId jika Anda ingin membaca dan menghapus dalam instance Datastore yang sama. |
datastoreReadNamespace |
(Opsional) Namespace Entitas yang diminta. Tetapkan sebagai "" untuk namespace default. |
datastoreHintNumWorkers |
(Opsional) Petunjuk untuk jumlah pekerja yang diperkirakan dalam langkah throttling peningkatan Datastore. Default-nya adalah 500 . |
javascriptTextTransformGcsPath |
(Opsional)
URI Cloud Storage dari file .js yang menentukan fungsi yang ditentukan pengguna (UDF) JavaScript yang ingin Anda gunakan. Misalnya, gs://my-bucket/my-udfs/my_file.js .
|
javascriptTextTransformFunctionName |
(Opsional)
Nama fungsi yang ditentukan pengguna (UDF) JavaScript yang ingin Anda gunakan.
Misalnya, jika kode fungsi JavaScript Anda adalah myTransform(inJson) { /*...do stuff...*/ } , nama fungsi adalah myTransform . Untuk contoh UDF JavaScript, lihat
Contoh UDF.
Jika fungsi ini menampilkan nilai tidak ditentukan atau null untuk
entity Datastore tertentu, berarti entity tersebut tidak akan dihapus. |
Menjalankan template
Konsol
- Buka halaman Create job from template Dataflow. Buka Buat tugas dari template
- Di kolom Job name, masukkan nama pekerjaan yang unik.
- Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region
default-nya adalah
us-central1
.Untuk daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.
- Dari menu drop-down Dataflow template, pilih the Bulk Delete Entities in Datastore template.
- Di kolom parameter yang disediakan, masukkan parameter value Anda.
- Klik Run job.
gcloud
Di shell atau terminal Anda, jalankan template:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Datastore_to_Datastore_Delete \ --region REGION_NAME \ --parameters \ datastoreReadGqlQuery="GQL_QUERY",\ datastoreReadProjectId=DATASTORE_READ_AND_DELETE_PROJECT_ID,\ datastoreDeleteProjectId=DATASTORE_READ_AND_DELETE_PROJECT_ID
Ganti kode berikut:
JOB_NAME
: nama pekerjaan unik pilihan AndaREGION_NAME
: region tempat Anda ingin men-deploy tugas Dataflow, misalnyaus-central1
VERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan versi terbaru template, yang tersedia di folder induk tidak bertanggal di bucket— gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat di folder induk bertanggal masing-masing dalam bucket— gs://dataflow-templates-REGION_NAME/
GQL_QUERY
: kueri yang akan Anda gunakan untuk mencocokkan entity yang akan dihapusDATASTORE_READ_AND_DELETE_PROJECT_ID
: ID project instance Datastore Anda. Contoh ini membaca dan menghapus dari instance Datastore yang sama.
API
Untuk menjalankan template menggunakan REST API, kirim permintaan HTTP POST. Untuk informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Datastore_to_Datastore_Delete { "jobName": "JOB_NAME", "parameters": { "datastoreReadGqlQuery": "GQL_QUERY", "datastoreReadProjectId": "DATASTORE_READ_AND_DELETE_PROJECT_ID", "datastoreDeleteProjectId": "DATASTORE_READ_AND_DELETE_PROJECT_ID" }, "environment": { "zone": "us-central1-f" } } }
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud tempat Anda ingin menjalankan tugas DataflowJOB_NAME
: nama pekerjaan unik pilihan AndaLOCATION
: region tempat Anda ingin men-deploy tugas Dataflow, misalnyaus-central1
VERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan versi terbaru template, yang tersedia di folder induk tidak bertanggal di bucket— gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat di folder induk bertanggal masing-masing dalam bucket— gs://dataflow-templates-REGION_NAME/
GQL_QUERY
: kueri yang akan Anda gunakan untuk mencocokkan entity yang akan dihapusDATASTORE_READ_AND_DELETE_PROJECT_ID
: ID project instance Datastore Anda. Contoh ini membaca dan menghapus dari instance Datastore yang sama.
Langkah selanjutnya
- Pelajari Template Dataflow.
- Lihat daftar template yang disediakan Google.