Seiring peningkatan atau penurunan workload pada cluster Ray di Vertex AI, Anda dapat menskalakan jumlah replika secara manual untuk menyesuaikan permintaan. Misalnya, jika Anda memiliki kapasitas berlebih, Anda dapat memperkecil skala kumpulan pekerja untuk menghemat biaya. Halaman ini menjelaskan cara mengubah jumlah replika untuk pekerja yang ada Google Cloud.
Batasan
Saat menskalakan cluster, Anda hanya bisa mengubah jumlah replika di kumpulan pekerja yang ada. Misalnya, Anda tidak dapat menambahkan atau menghapus kumpulan pekerja dari pada cluster Anda atau mengubah jenis mesin dari kumpulan pekerja Anda. Selain itu, jumlah replika untuk kumpulan pekerja Anda tidak boleh lebih rendah dari satu.
Jika Anda menggunakan koneksi peering VPC untuk terhubung ke cluster Anda, ada batasan jumlah maksimum node. Maksimum jumlah node bergantung pada jumlah node yang dimiliki cluster saat dibuat. Untuk informasi selengkapnya, lihat Penghitungan jumlah node maksimum. Jumlah maksimum ini tidak hanya mencakup kumpulan pekerja, tetapi juga node head Anda. Jika Anda menggunakan konfigurasi jaringan default, jumlah node tidak boleh melebihi batas atas seperti yang dijelaskan dalam membuat cluster dokumentasi tambahan.
Jumlah maksimum penghitungan node
Jika Anda menggunakan akses layanan pribadi (peering VPC) untuk menghubungkan
ke node Anda, gunakan formula berikut untuk memeriksa bahwa Anda tidak
jumlah maksimum node (M), dengan asumsi f(x) = min(29, (32 -
ceiling(log2(x))):
f(2 * M) = f(2 * N)f(64 * M) = f(64 * N)f(max(32, 16 + M)) = f(max(32, 16 + N))
Jumlah total maksimum node dalam cluster Ray on Vertex AI yang dapat Anda
tingkatkan skala hingga (M) bergantung pada jumlah total awal node yang Anda siapkan (N).
Setelah membuat gugus Ray on Vertex AI, Anda dapat menskalakan total
jumlah node dengan jumlah berapa pun antara P dan M inklusif, dengan P adalah
jumlah kumpulan objek di cluster Anda.
Jumlah total awal node dalam cluster dan target peningkatan skala angka harus dalam blok warna yang sama.
Perbarui jumlah replika
Anda dapat menggunakan Konsol Google Cloud atau Vertex AI SDK untuk Python guna mengupdate jumlah replika kumpulan pekerja. Jika cluster Anda menyertakan beberapa kumpulan pekerja, Anda masing-masing dapat mengubah setiap jumlah replika dalam satu permintaan.
Konsol
Di Konsol Google Cloud, buka halaman Ray on Vertex AI.
Dari daftar cluster, klik cluster yang akan diubah.
Di halaman Cluster details, klik Edit cluster.
Di panel Edit cluster, pilih kumpulan pekerja yang akan diperbarui, lalu mengubah jumlah replika.
Klik Perbarui.
Tunggu beberapa menit sampai cluster Anda diupdate. Kapan update dilakukan Anda dapat melihat jumlah replika yang diupdate di Detail cluster kami.
Ray on Vertex AI SDK
import vertexai
import vertex_ray
vertexai.init()
cluster = vertex_ray.get_ray_cluster("CLUSTER_NAME")
# Get the resource name.
cluster_resource_name = cluster.cluster_resource_name
# Create the new worker pools
new_worker_node_types = []
for worker_node_type in cluster.worker_node_types:
worker_node_type.node_count = REPLICA_COUNT # new worker pool size
new_worker_node_types.append(worker_node_type)
# Make update call
updated_cluster_resource_name = vertex_ray.update_ray_cluster(
cluster_resource_name=cluster_resource_name,
worker_node_types=new_worker_node_types,
)