Pengantar tabel objek
Dokumen ini menjelaskan tabel objek, yaitu tabel hanya-baca di atas objek data tidak terstruktur yang berada di Cloud Storage.
Tabel objek memungkinkan Anda untuk menganalisis data tidak terstruktur di Cloud Storage. Anda dapat melakukan analisis dengan fungsi jarak jauh atau melakukan inferensi dengan menggunakan BigQuery ML, lalu menggabungkan hasil operasi ini dengan data terstruktur lainnya di BigQuery.
Seperti tabel BigLake, tabel objek menggunakan delegasi akses, yang memisahkan akses ke tabel objek dari akses ke objek Cloud Storage. Koneksi eksternal yang terkait dengan akun layanan digunakan untuk terhubung ke Cloud Storage, sehingga Anda hanya perlu memberi pengguna akses ke tabel objek. Hal ini memungkinkan Anda menerapkan keamanan tingkat baris dan mengelola objek yang dapat diakses pengguna.
Skema tabel objek
Tabel objek menyediakan indeks metadata pada objek data tidak terstruktur di bucket Cloud Storage yang ditentukan. Setiap baris tabel berhubungan dengan sebuah objek, dan kolom tabel berhubungan dengan metadata objek yang dihasilkan oleh Cloud Storage, termasuk metadata kustom apa pun.
Tabel objek juga berisi kolom semu data
yang mewakili konten
file dalam byte mentah, yang diisi secara otomatis saat tabel objek dibuat.
Kolom semu ini digunakan oleh
fungsi ML.DECODE_IMAGE
saat Anda menjalankan inferensi pada data image. Anda tidak dapat menyertakan kolom semu data
dalam kueri, dan kolom tersebut tidak muncul sebagai bagian dari skema tabel objek.
Tabel berikut menjelaskan skema tetap yang digunakan oleh tabel objek:
Nama kolom | Jenis | Mode | Deskripsi |
---|---|---|---|
uri |
STRING | NULLABLE | uri : Uniform Resource Identifier (URI)
objek, dalam format
gs://bucket_name/[folder_name/]object_name . |
generation |
INTEGER | NULLABLE | Generasi objek ini, yang mengidentifikasi versi objek. |
content_type |
STRING | NULLABLE | Jenis Konten data objek, yang mengidentifikasi jenis media tersebut. Jika objek disimpan tanpa Jenis Konten, objek tersebut akan berfungsi sebagai aliran aplikasi/oktet. |
size |
INTEGER | NULLABLE | Content-Length data dalam byte. |
md5_hash |
STRING | NULLABLE | Hash MD5 data, yang dienkode menggunakan base64. Untuk informasi selengkapnya mengenai penggunaan hash MD5, lihat Hash dan ETag Cloud Storage. |
updated |
TIMESTAMP | NULLABLE | Terakhir kali metadata objek diubah. |
metadata |
RECORD | BERULANG | Metadata kustom untuk
objek. Setiap bagian metadata direpresentasikan
sebagai pasangan nilai kunci di kolom (metadata.)name dan
(metadata.)value turunan pada kolom metadata . |
(metadata.)name |
STRING | NULLABLE | Kunci dalam entri metadata individual. |
(metadata.)value |
STRING | NULLABLE | Nilai dalam entri metadata individual. |
Baris dalam tabel objek terlihat mirip dengan berikut ini:
------------------------------------------------------------------------------------------------------------------------------------------------
| uri | generation | content_type | size | md5_hash | updated | metadata...name | metadata...value |
—-----------------------------------------------------------------------------------------------------------------------------------------------
| gs://mybucket/a.jpeg | 165842… | image/jpeg | 26797 | 8c33be10f… | 2022-07-21 17:35:40.148000 UTC | null | null |
—-----------------------------------------------------------------------------------------------------------------------------------------------
| gs://mybucket/b.bmp | 305722… | image/bmp | 57932 | 44eb90cd1… | 2022-05-14 12:09:38.114000 UTC | null | null |
—-----------------------------------------------------------------------------------------------------------------------------------------------
Kasus penggunaan
Anda bisa membuat kueri metadata dalam tabel objek dengan cara yang sama seperti saat membuat kueri pada tabel BigQuery lainnya. Namun, kasus penggunaan utama untuk tabel objek adalah membuat data tidak terstruktur dapat diakses untuk analisis. Anda dapat menggunakan BigQuery ML untuk menjalankan inferensi pada tabel objek image dengan model TensorFlow, TensorFlow Lite, dan PyTorch. Anda juga dapat menggunakan fungsi jarak jauh untuk menganalisis data tidak terstruktur dengan hampir semua cara yang Anda inginkan. Misalnya, Anda dapat membuat fungsi jarak jauh yang memungkinkan Anda menganalisis image menggunakan Cloud Vision, atau fungsi jarak jauh yang dapat digunakan untuk mengekstrak metadata dari dokumen PDF menggunakan Apache Tika
Tabel berikut menjelaskan titik integrasi yang dapat Anda gunakan untuk melakukan machine learning pada data tabel objek:
Integrasi | Deskripsi | Kasus penggunaan | Tutorial |
---|---|---|---|
Model BigQuery ML yang diimpor | Impor model TensorFlow, TensorFlow Lite, atau ONNX ke BigQuery ML untuk menjalankan inferensi lokal di BigQuery . | Anda menggunakan model open source atau kustom yang sesuai dengan batasan yang didukung. | Tutorial: Menjalankan inferensi pada tabel objek dengan menggunakan model vektor fitur |
Cloud Functions | Gunakan Cloud Functions untuk memanggil layanan atau model yang dihosting. Ini adalah integrasi yang paling umum. | Anda menghosting model Anda sendiri di Compute Engine, Google Kubernetes Engine, atau infrastruktur milik pelanggan lainnya. | Tutorial: Menganalisis tabel objek menggunakan fungsi jarak jauh |
Fungsi ML.ANNOTATE_IMAGE |
Menggunakan Cloud Vision API untuk menganotasi gambar. | Anda ingin memberi anotasi pada gambar dengan menggunakan model terlatih Vision API. | Menganotasi gambar dengan fungsi ML.ANNOTATE_IMAGE |
Fungsi ML.PROCESS_DOCUMENT |
Gunakan Document AI API untuk mengekstrak insight dokumen. | Anda ingin menggunakan prosesor dokumen kustom atau terlatih Document AI. | Memproses dokumen dengan fungsi ML.PROCESS_DOCUMENT |
Fungsi ML.TRANSCRIBE |
Gunakan Speech-to-Text API untuk mentranskripsikan file audio. | Anda ingin menggunakan pengenalan ucapan kustom atau terlatih Speech-to-Text. | Mentranskripsikan file audio dengan fungsi ML.TRANSCRIBE |
Anda dapat membuat tampilan atau tabel dari hasil analisis jika ingin menggabungkan hasil tersebut dengan data terstruktur lainnya. Misalnya, pernyataan berikut akan membuat tabel berdasarkan hasil inferensi:
CREATE TABLE my_dataset.my_inference_results AS SELECT uri, content_type, vision_feature FROM ML.PREDICT( MODEL my_dataset.vision_model, SELECT ML.DECODE_IMAGE(data) AS vision_input FROM my_dataset.object_table );
Setelah tabel dibuat, Anda dapat menggabungkannya dengan tabel lain berdasarkan kolom metadata standar atau kustom, seperti yang ditunjukkan berikut ini:
SELECT a.vision_feature, a.uri, b.description FROM my_dataset.my_inference_results a JOIN my_dataset.image_description b ON a.uri = b.uri;
Anda juga dapat membuat indeks penelusuran untuk mendukung penelusuran atas hasil analisis Anda. Misalnya, pernyataan berikut membuat indeks penelusuran atas data yang diekstrak dari file PDF:
CREATE SEARCH INDEX my_index ON pdf_text_extract(ALL COLUMNS);
Anda kemudian dapat menggunakan indeks untuk menemukan hal yang Anda butuhkan dalam hasil tersebut:
SELECT * FROM pdf_text_extract WHERE SEARCH(pdf_text, 'Google');
Manfaat
Menganalisis data tidak terstruktur secara native di BigQuery akan memberikan manfaat berikut:
- Solusi ini mengurangi upaya manual dengan memungkinkan Anda mengotomatiskan langkah-langkah prapemrosesan, seperti menyesuaikan ukuran image dengan persyaratan model.
- Library ini memungkinkan Anda menggunakan antarmuka SQL yang sederhana dan sudah dikenal untuk menangani data tidak terstruktur.
- Hal ini membantu Anda menghemat biaya dengan memanfaatkan slot BigQuery yang ada, daripada harus menyediakan bentuk komputasi baru.
URL yang Ditandatangani
Untuk mendapatkan akses ke data yang diwakili oleh sebuah objek, buat URL yang ditandatangani. Anda dapat menggunakan URL yang ditandatangani untuk melihat data objek secara langsung, dan juga dapat meneruskan URL yang ditandatangani ke fungsi jarak jauh agar dapat berfungsi dengan data tabel objek.
Gunakan
fungsi EXTERNAL_OBJECT_TRANSFORM
untuk menghasilkan URL bertanda tangan, seperti yang ditunjukkan dalam contoh berikut:
SELECT uri, signed_url FROM EXTERNAL_OBJECT_TRANSFORM(TABLE mydataset.myobjecttable, ['SIGNED_URL']);
Tindakan ini akan menampilkan hasil yang mirip dengan berikut ini:
---------------------------------------------------------------------------------------------------
| uri | signed_url |
—--------------------------------------------------------------------------------------------------
| gs://mybucket/a.docx | https://storage.googleapis.com/mybucket/a.docx?X-Goog-Signature=abcd&... |
—-------------------------------------------------------------------------------------------------
| gs://mybucket/b.pdf | https://storage.googleapis.com/mybucket/b.pdf?X-Goog-Signature=wxyz&... |
—--------------------------------------------------------------------------------------------------
URL bertanda tangan yang dihasilkan dari tabel objek memungkinkan setiap pengguna atau prosedur yang memilikinya untuk membaca objek yang sesuai. Masa berlaku URL bertanda tangan yang dihasilkan akan berakhir setelah 6 jam. Untuk informasi selengkapnya, lihat URL Bertanda Tangan Cloud Storage.
Kontrol akses
Tabel objek dibuat di atas BigLake, sehingga menggunakan koneksi eksternal berdasarkan akun layanan untuk mengakses data Cloud Storage. Tindakan ini akan memisahkan akses ke tabel dari akses ke penyimpanan objek pokok melalui delegasi akses. Anda memberikan izin pada akun layanan untuk mengakses data dan metadata dari objek dan menampilkannya dalam tabel. Anda memberikan izin hanya kepada pengguna di tabel, tempat Anda dapat mengatur akses data menggunakan Identity and Access Management (IAM) dan keamanan tingkat baris.
Tabel objek bervariasi dari tabel lain yang menggunakan delegasi akses, karena memiliki
akses ke baris tabel objek yang akan memberi akses ke konten file
yang mendasarinya. Meskipun tidak dapat mengakses objek secara langsung, namun pengguna dapat
membuat URL bertanda tangan
yang memungkinkan mereka melihat konten file. Misalnya,
jika memiliki akses ke baris tabel objek yang mewakili file image flower.jpg
, pengguna dapat membuat URL bertanda tangan untuk menampilkan file dan melihat
bahwa file tersebut adalah gambar bunga aster.
Menetapkan kebijakan akses tingkat baris pada tabel objek akan membatasi akses pengguna atau grup ke metadata objek di baris yang dipilih, dan juga ke objek yang diwakili oleh baris tersebut. Misalnya, pernyataan berikut memberi pengguna Alice akses hanya ke baris yang mewakili objek yang dibuat sebelum 25 Juni 2022:
CREATE ROW ACCESS POLICY before_20220625 ON my_dataset.my_object_table GRANT TO ("user:[email protected]") FILTER USING (updated < TIMESTAMP("2022-06-25"));
Dengan menerapkan kebijakan akses tingkat baris ini, hasil berikut berlaku untuk Alice:
- Menjalankan kueri
SELECT * FROM my_dataset.my_object_table;
hanya akan menampilkan baris yang memiliki nilaiupdated
sebelum 25 Juni 2022. - Menjalankan inferensi pada
my_dataset.my_object_table
hanya menampilkan prediksi untuk objek yang memiliki nilaiupdated
sebelum 25 Juni 2022. - Membuat URL bertanda tangan untuk
my_dataset.my_object_table
hanya akan membuat URL untuk objek yang memiliki nilaiupdated
sebelum 25 Juni 2022.
Anda juga dapat membatasi akses ke baris tabel objek menggunakan metadata kustom.
Misalnya, pernyataan berikut membatasi grup users
untuk hanya mengakses baris yang objeknya telah diberi tag sebagai tidak berisi
informasi identitas pribadi:
CREATE ROW ACCESS POLICY no_pii ON my_dataset.my_object_table GRANT TO ("group:[email protected]") FILTER USING (ARRAY_LENGTH(metadata)=1 AND metadata[OFFSET(0)].name="no_pii")
Model keamanan
Peran organisasi berikut biasanya terlibat dalam mengelola dan menggunakan tabel objek:
- Administrator data lake. Administrator ini biasanya mengelola kebijakan Identity and Access Management (IAM) pada bucket dan objek Cloud Storage.
- Administrator data warehouse. Administrator ini biasanya membuat, menghapus, dan mengupdate tabel.
- Analis data. Analis biasanya membaca data dan menjalankan kueri.
Administrator data lake bertanggung jawab untuk membuat koneksi dan membagikannya dengan administrator data warehouse. Selanjutnya, administrator data warehouse akan membuat tabel, menetapkan kontrol akses yang sesuai, dan membagikan tabel tersebut kepada analis data.
File objek yang didukung
Anda dapat membuat tabel objek pada semua jenis serta ukuran file data tidak terstruktur, dan membuat fungsi jarak jauh untuk menangani semua jenis data tidak terstruktur. Namun, untuk melakukan inferensi dengan menggunakan BigQuery ML, tabel objek hanya dapat menggunakan file image yang memenuhi beberapa persyaratan ukuran dan jenis. Untuk mengetahui informasi selengkapnya, lihat Batasan.
Penyimpanan cache metadata untuk peningkatan performa
Anda dapat menggunakan metadata yang di-cache untuk meningkatkan performa inferensi dan jenis analisis lainnya pada tabel objek. Cache metadata sangat membantu jika tabel objek mereferensikan objek dalam jumlah besar. Metadata tersebut mencakup nama file, informasi partisi, dan metadata fisik dari file seperti jumlah baris. Anda dapat memilih apakah akan mengaktifkan cache metadata pada tabel atau tidak. Kueri yang memiliki jumlah file besar dan dengan filter partisi Hive akan mendapatkan manfaat terbesar dari penyimpanan metadata.
Jika Anda tidak mengaktifkan penyimpanan metadata ke cache, kueri pada tabel harus membaca sumber data eksternal untuk mendapatkan metadata objek yang dapat meningkatkan latensi kueri; daftar jutaan file dari sumber data eksternal dapat memerlukan waktu beberapa menit. Jika Anda mengaktifkan caching metadata, kueri dapat menghindari pencantuman file dari sumber data eksternal serta mencapai partisi dan pruning file yang lebih cepat.
Ada dua properti yang mengontrol fitur ini:
- Keusangan maksimum, yang mengontrol kapan kueri menggunakan metadata yang disimpan dalam cache.
- Mode cache metadata, yang mengontrol cara metadata dikumpulkan.
Saat mengaktifkan caching metadata, Anda dapat menentukan interval maksimum keusangan metadata yang dapat diterima untuk operasi terhadap tabel. Misalnya, jika Anda menentukan interval 1 jam, operasi terhadap tabel akan menggunakan metadata yang disimpan dalam cache jika telah diperbarui dalam satu jam terakhir. Jika metadata yang di-cache lebih lama dari itu, operasi akan kembali untuk mengambil metadata dari Cloud Storage. Anda dapat menentukan interval keusangan antara 30 menit dan 7 hari.
Anda dapat memilih untuk memuat ulang cache secara otomatis atau manual:
- Untuk pemuatan ulang otomatis, cache dimuat ulang pada interval yang ditentukan sistem, biasanya antara 30 dan 60 menit. Memuat ulang cache secara otomatis merupakan pendekatan yang tepat jika file di Cloud Storage ditambahkan, dihapus, atau diubah secara acak. Jika Anda perlu mengontrol waktu pemuatan ulang, misalnya untuk memicu pemuatan ulang di akhir tugas pemuatan transformasi ekstrak, gunakan pemuatan ulang manual.
Untuk pembaruan manual, jalankan prosedur sistem
BQ.REFRESH_EXTERNAL_METADATA_CACHE
untuk memperbarui cache metadata sesuai jadwal yang memenuhi persyaratan Anda. Memuat ulang cache secara manual merupakan pendekatan yang baik jika file di Cloud Storage ditambahkan, dihapus, atau diubah pada interval yang diketahui, misalnya sebagai output pipeline.Jika Anda melakukan beberapa pemuatan ulang manual secara serentak, hanya satu yang akan berhasil.
Cache metadata akan habis masa berlakunya setelah 7 hari jika tidak diperbarui.
Anda harus mempertimbangkan bagaimana nilai interval keusangan dan mode caching metadata akan berinteraksi sebelum menetapkannya. Perhatikan contoh berikut:
- Jika Anda memuat ulang cache metadata secara manual untuk sebuah tabel, dan menetapkan
interval usang menjadi 2 hari, Anda harus menjalankan
prosedur sistem
BQ.REFRESH_EXTERNAL_METADATA_CACHE
setiap 2 hari atau kurang jika menginginkan operasi terhadap tabel agar menggunakan metadata yang disimpan dalam cache. - Jika Anda otomatis memuat ulang cache metadata untuk tabel dan menyetel interval penghentian ke 30 menit, kemungkinan beberapa operasi terhadap tabel tersebut akan dibaca dari Cloud Storage jika refresh cache metadata memerlukan waktu yang lebih lama dari periode 30 hingga 60 menit yang biasa.
Untuk menemukan informasi tentang tugas pemuatan ulang metadata, buat kueri
tampilan INFORMATION_SCHEMA.JOBS
,
seperti yang ditunjukkan dalam contoh berikut:
SELECT * FROM `region-us.INFORMATION_SCHEMA.JOBS_BY_PROJECT` WHERE job_id LIKE '%metadata_cache_refresh%' AND creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 6 HOUR) ORDER BY start_time DESC LIMIT 10;
Untuk mempelajari lebih lanjut, lihat Cache metadata.
Untuk mengetahui informasi selengkapnya tentang cara menyetel opsi caching metadata, lihat Membuat tabel objek.
Batasan
- Tabel objek bersifat hanya baca karena dipetakan ke objek data tidak terstruktur di Cloud Storage. Anda tidak dapat mengubah tabel objek atau mengubah data tabel objek.
- Dukungan tabel objek tidak tersedia di Legacy SQL, atau lingkungan cloud lainnya seperti AWS dan Microsoft Azure.
- Jika ingin melakukan inferensi dengan menggunakan BigQuery ML, model dan tabel objek yang Anda gunakan harus memenuhi persyaratan yang dijelaskan dalam Batasan.
- Kueri yang menyertakan tabel objek tidak dapat mengakses lebih dari 10 GB metadata objek. Misalnya, jika kueri mengakses 100 TB dari kombinasi kolom metadata dalam tabel objek dan data objek melalui URL yang ditandatangani, hanya 10 GB dari 100 TB tersebut yang dapat berasal dari kolom metadata.
- Tabel objek diberi batasan yang sama seperti semua tabel BigQuery lainnya. Untuk mengetahui informasi selengkapnya, lihat Kuota.
- Kueri atas tabel objek memiliki batasan yang sama seperti semua kueri BigQuery lainnya. Untuk mengetahui informasi selengkapnya, lihat Kuota.
- Fungsi jarak jauh yang memproses data tidak terstruktur dari tabel objek memiliki batasan yang sama seperti semua fungsi jarak jauh lainnya.
- URL bertanda tangan yang dihasilkan untuk objek dalam tabel objek akan habis masa berlakunya setelah 6 jam, yang merupakan batas waktu eksekusi kueri.
- Inferensi dengan BigQuery ML tidak didukung dengan harga on-demand atau pada edisi Standar.
Fungsi berikut tidak didukung dengan harga on demand atau edisi Standar:
Biaya
Biaya dikaitkan dengan aspek tabel objek berikut:
- Membuat kueri tabel.
- Memuat ulang cache metadata.
Jika memiliki reservasi slot, Anda tidak akan dikenai biaya untuk mengkueri tabel eksternal. Sebaliknya, slot digunakan untuk kueri-kueri ini.
Tabel berikut menunjukkan pengaruh model penetapan harga Anda terhadap penerapan biaya ini:
Harga sesuai permintaan |
Edisi Standard, Enterprise, dan Enterprise Plus |
|
---|---|---|
Kueri |
Anda ditagih untuk byte yang diproses oleh kueri pengguna. |
Slot dalam penetapan pemesanan dengan jenis tugas QUERY digunakan selama waktu kueri. |
Memuat ulang cache metadata secara manual. |
Anda ditagih untuk byte yang diproses untuk memuat ulang cache. |
Slot dalam penetapan pemesanan dengan jenis tugas QUERY digunakan selama pemuatan ulang cache. |
Memuat ulang cache metadata secara otomatis. |
Anda ditagih untuk byte yang diproses untuk memuat ulang cache. |
Slot dalam penetapan pemesanan dengan jenis tugas BACKGROUND digunakan selama pemuatan ulang cache.Jika tidak ada reservasi BACKGROUND yang tersedia untuk memuat ulang
cache metadata, BigQuery akan otomatis menggunakan slot di
reservasi QUERY jika Anda menggunakan edisi Enterprise atau Enterprise Plus. |
Menggunakan tabel objek dengan Analytics Hub
Tabel objek kompatibel dengan Analytics Hub. Set data yang berisi tabel objek dapat dipublikasikan sebagai listingan Analytics Hub. Pelanggan Analytics Hub dapat berlangganan listingan ini, yang menyediakan set data hanya baca, yang disebut set data tertaut, di project mereka. Pelanggan dapat membuat kueri semua tabel dalam set data tertaut, termasuk semua tabel objek. Untuk mengetahui informasi selengkapnya, lihat Berlangganan ke listingan.
Langkah selanjutnya
- Pelajari cara membuat tabel objek.
- Pelajari cara menjalankan inferensi pada tabel objek image.
- Pelajari cara menganalisis tabel objek menggunakan fungsi jarak jauh.