Usa Private Service Connect per accedere all'AI generativa su Vertex AI da on-premise

Crea due reti VPC: vertex-networking-vpc e onprem-vpc

In questa sezione, creerai due reti VPC: una per essere principale per accedere all'AI generativa di Vertex AI (nota anche come GenAI), e l'altro per simulare la rete on-premise.

crea le reti VPC

1. Crea la rete VPC per accedere all'API GenAI (vertex-networking-vpc):

   gcloud compute networks create vertex-networking-vpc --subnet-mode custom
   

2. Crea la rete VPC per simulare la rete on-premise (onprem-vpc):

   gcloud compute networks create onprem-vpc --subnet-mode custom
   

3. Nella rete onprem-vpc, crea una subnet denominata onprem-vpc-subnet1, con un intervallo IPv4 principale di 172.16.10.0/24:

   gcloud compute networks subnets create onprem-vpc-subnet1 \
      --range 172.16.10.0/24 \
      --network onprem-vpc \
      --region us-central1
   

4. Nella console Google Cloud, vai alla scheda Reti nel progetto attuale in pagina Rete VPC.

   Vai alla rete VPC

5. Nell'elenco delle reti VPC, verifica che i due reti sono state create: vertex-networking-vpc e onprem-vpc.

6. Nella pagina Rete VPC, fai clic sulla scheda Subnet nel progetto attuale.

7. Nell'elenco delle subnet VPC, verifica che onprem-vpc-subnet1 subnet è stata creata nella rete onprem-vpc.

Configura la connettività ibrida

In questa sezione creerai due VPN ad alta disponibilità collegati tra loro. Uno risiede nella vertex-networking-vpc rete VPC. L'altro risiede onprem-vpc rete VPC. Ogni gateway contiene un un router Cloud e una coppia di tunnel VPN.

Crea i gateway VPN ad alta disponibilità

1. In Cloud Shell, crea il gateway VPN ad alta disponibilità vertex-networking-vpc rete VPC:

   gcloud compute vpn-gateways create vertex-networking-vpn-gw1 \
      --network vertex-networking-vpc \
      --region us-central1
   

2. Crea il gateway VPN ad alta disponibilità per onprem-vpc Rete VPC:

   gcloud compute vpn-gateways create onprem-vpn-gw1 \
      --network onprem-vpc \
      --region us-central1
   

3. Nella console Google Cloud, vai alla scheda Gateway Cloud VPN Pagina VPN.

   Vai alla VPN

4. Nell'elenco dei gateway VPN, verifica che i due gateway ( vertex-networking-vpn-gw1 e onprem-vpn-gw1) sono stati creati e che ciascuno abbia due indirizzi IP.

Creazione di router Cloud

1. In Cloud Shell, crea un router Cloud per vertex-networking-vpc rete VPC:

   gcloud compute routers create vertex-networking-vpc-router1 \
      --region us-central1\
      --network vertex-networking-vpc \
      --asn 65001
   

2. Crea un router Cloud per la rete VPC onprem-vpc:

   gcloud compute routers create onprem-vpc-router1 \
      --region us-central1\
      --network onprem-vpc\
      --asn 65002
   

Aggiungi un gateway Cloud NAT alla rete VPC onprem-vpc

In questo passaggio, aggiungerai un gateway Cloud NAT Router Cloud per la rete VPC onprem-vpc. Un gateway Cloud NAT fornisce la connettività in uscita per Compute Engine di macchine virtuali (VM) senza indirizzi IP esterni.

1. In Cloud Shell, aggiungi un gateway Cloud NAT all'istanza onprem-vpc-router1 Router Cloud:

   gcloud compute routers nats create us-central-cloudnat-onprem \
      --router=onprem-vpc-router1 \
      --auto-allocate-nat-external-ips \
      --nat-all-subnet-ip-ranges \
      --region us-central1
   

2. Nella console Google Cloud, vai alla pagina Router Cloud.

   Vai a Router Cloud

3. Nell'elenco dei router Cloud, verifica che vertex-networking-vpc-router1 e onprem-vpc-router1 creati. Potresti dover aggiornare la scheda del browser della console Google Cloud per visualizzare i nuovi valori.

4. Nell'elenco Router Cloud, fai clic su onprem-vpc-router1.

5. Nella pagina Dettagli router, verifica che us-central-cloudnat-onprem Il gateway Cloud NAT è stato creato.

Crea tunnel VPN

1. Nella rete vertex-networking-vpc, crea un tunnel VPN chiamato vertex-networking-vpc-tunnel0:

   gcloud compute vpn-tunnels create vertex-networking-vpc-tunnel0 \
      --peer-gcp-gateway onprem-vpn-gw1 \
      --region us-central1 \
      --ike-version 2 \
      --shared-secret [ZzTLxKL8fmRykwNDfCvEFIjmlYLhMucH] \
      --router vertex-networking-vpc-router1 \
      --vpn-gateway vertex-networking-vpn-gw1 \
      --interface 0
   

2. Nella rete vertex-networking-vpc, crea un tunnel VPN chiamato vertex-networking-vpc-tunnel1:

   gcloud compute vpn-tunnels create vertex-networking-vpc-tunnel1 \
      --peer-gcp-gateway onprem-vpn-gw1 \
      --region us-central1 \
      --ike-version 2 \
      --shared-secret [bcyPaboPl8fSkXRmvONGJzWTrc6tRqY5] \
      --router vertex-networking-vpc-router1 \
      --vpn-gateway vertex-networking-vpn-gw1 \
      --interface 1
   

3. Nella rete onprem-vpc, crea un tunnel VPN chiamato onprem-vpc-tunnel0:

   gcloud compute vpn-tunnels create onprem-vpc-tunnel0 \
      --peer-gcp-gateway vertex-networking-vpn-gw1 \
      --region us-central1\
      --ike-version 2 \
      --shared-secret [ZzTLxKL8fmRykwNDfCvEFIjmlYLhMucH] \
      --router onprem-vpc-router1 \
      --vpn-gateway onprem-vpn-gw1 \
      --interface 0
   

4. Nella rete onprem-vpc, crea un tunnel VPN chiamato onprem-vpc-tunnel1:

   gcloud compute vpn-tunnels create onprem-vpc-tunnel1 \
      --peer-gcp-gateway vertex-networking-vpn-gw1 \
      --region us-central1\
      --ike-version 2 \
      --shared-secret [bcyPaboPl8fSkXRmvONGJzWTrc6tRqY5] \
      --router onprem-vpc-router1 \
      --vpn-gateway onprem-vpn-gw1 \
      --interface 1
   

5. Nella console Google Cloud, vai alla pagina VPN.

   Vai alla VPN

6. Nell'elenco dei tunnel VPN, verifica che i quattro tunnel VPN siano stati è stato creato.

Definizione di sessioni BGP

Il router Cloud utilizza il protocollo BGP (Border Gateway Protocol) per scambiare le route tra sulla tua rete VPC (in questo caso, vertex-networking-vpc) e la rete on-premise (rappresentata da onprem-vpc). Sul router Cloud, devi configurare un'interfaccia e un peer BGP per il tuo router on-premise. L'abbinamento dell'interfaccia e della configurazione peer BGP crea una sessione BGP. In questa sezione creerai due sessioni BGP per vertex-networking-vpc e due per onprem-vpc.

Dopo aver configurato le interfacce e i peer BGP tra i router, inizieranno automaticamente a scambiare le route.

Stabilisci sessioni BGP per vertex-networking-vpc

1. In Cloud Shell, nella rete vertex-networking-vpc, crea un'istanza Interfaccia BGP per vertex-networking-vpc-tunnel0:

   gcloud compute routers add-interface vertex-networking-vpc-router1 \
      --interface-name if-tunnel0-to-onprem \
      --ip-address 169.254.0.1 \
      --mask-length 30 \
      --vpn-tunnel vertex-networking-vpc-tunnel0 \
      --region us-central1
   

2. Nella rete vertex-networking-vpc, crea un peer BGP per bgp-onprem-tunnel0:

   gcloud compute routers add-bgp-peer vertex-networking-vpc-router1 \
      --peer-name bgp-onprem-tunnel0 \
      --interface if-tunnel0-to-onprem \
      --peer-ip-address 169.254.0.2 \
      --peer-asn 65002 \
      --region us-central1
   

3. Nella rete vertex-networking-vpc, crea un'interfaccia BGP per vertex-networking-vpc-tunnel1:

   gcloud compute routers add-interface vertex-networking-vpc-router1 \
      --interface-name if-tunnel1-to-onprem \
      --ip-address 169.254.1.1 \
      --mask-length 30 \
      --vpn-tunnel vertex-networking-vpc-tunnel1 \
      --region us-central1
   

4. Nella rete vertex-networking-vpc, crea un peer BGP per bgp-onprem-tunnel1:

   gcloud compute routers add-bgp-peer vertex-networking-vpc-router1 \
      --peer-name bgp-onprem-tunnel1 \
      --interface if-tunnel1-to-onprem \
      --peer-ip-address 169.254.1.2 \
      --peer-asn 65002 \
      --region us-central1
   

Stabilisci sessioni BGP per onprem-vpc

1. Nella rete onprem-vpc, crea un'interfaccia BGP per onprem-vpc-tunnel0:

   gcloud compute routers add-interface onprem-vpc-router1 \
      --interface-name if-tunnel0-to-vertex-networking-vpc \
      --ip-address 169.254.0.2 \
      --mask-length 30 \
      --vpn-tunnel onprem-vpc-tunnel0 \
      --region us-central1
   

2. Nella rete onprem-vpc, crea un peer BGP per bgp-vertex-networking-vpc-tunnel0:

   gcloud compute routers add-bgp-peer onprem-vpc-router1 \
      --peer-name bgp-vertex-networking-vpc-tunnel0 \
      --interface if-tunnel0-to-vertex-networking-vpc \
      --peer-ip-address 169.254.0.1 \
      --peer-asn 65001 \
      --region us-central1
   

3. Nella rete onprem-vpc, crea un'interfaccia BGP per onprem-vpc-tunnel1:

   gcloud compute routers add-interface onprem-vpc-router1  \
      --interface-name if-tunnel1-to-vertex-networking-vpc \
      --ip-address 169.254.1.2 \
      --mask-length 30 \
      --vpn-tunnel onprem-vpc-tunnel1 \
      --region us-central1
   

4. Nella rete onprem-vpc, crea un peer BGP per bgp-vertex-networking-vpc-tunnel1:

   gcloud compute routers add-bgp-peer onprem-vpc-router1 \
      --peer-name bgp-vertex-networking-vpc-tunnel1 \
      --interface if-tunnel1-to-vertex-networking-vpc \
      --peer-ip-address 169.254.1.1 \
      --peer-asn 65001 \
      --region us-central1
   

Convalida la creazione di una sessione BGP

1. Nella console Google Cloud, vai alla pagina VPN.

   Vai alla VPN

2. Nell'elenco dei tunnel VPN, verifica che il valore nel campo La colonna Stato sessione BGP per ciascuno dei tunnel è stata modificata da Configura la sessione BGP su BGP stabilito. Potresti dover aggiornare la scheda del browser della console Google Cloud per visualizzare i nuovi valori.

Crea l'endpoint Private Service Connect (PSC)

In questa sezione, creerai un endpoint Private Service Connect (PSC) per le API di Google che verranno usate dalle istanze VM nella rete onprem-vpc accedi all'API GenAI dalla tua rete onprem-vpc.

Un endpoint Private Service Connect (PSC) è un indirizzo IP interno indirizzo nella rete onprem-vpc a cui i client possono accedere direttamente in quella rete. Questo endpoint viene creato eseguendo il deployment di una regola di forwarding che indirizza il traffico di rete che corrisponde all'indirizzo IP dell'endpoint PSC a un bundle di API di Google, nello specifico all-apis gruppo.

L'indirizzo IP dell'endpoint PSC (192.168.0.1) verrà pubblicizzato dalla vertex-networking-vpc-router router Cloud come route pubblicizzata personalizzata alla rete onprem-vpc in un passaggio successivo.

1. Prenota un indirizzo IP interno globale da assegnare all'endpoint:

   gcloud compute addresses create psc-googleapi-ip \
      --global \
      --purpose=PRIVATE_SERVICE_CONNECT \
      --addresses=192.168.0.1 \
      --network=vertex-networking-vpc
   

2. Crea l'endpoint, insieme a una regola di forwarding che collega alle API e ai servizi Google:

   gcloud compute forwarding-rules create pscvertex \
      --global \
      --network=vertex-networking-vpc\
      --address=psc-googleapi-ip \
      --target-google-apis-bundle=all-apis
   

3. Elenca gli endpoint PSC configurati e verifica che l'endpoint pscvertex è stato creato:

   gcloud compute forwarding-rules list  \
      --filter target="(all-apis OR vpc-sc)" --global
   

4. Ottieni i dettagli dell'endpoint PSC configurato e verifica che l'IP l'indirizzo è 192.168.0.1:

   gcloud compute forwarding-rules describe \
      pscvertex --global
   

Crea annunci di route personalizzati per vertex-networking-vpc

In questa sezione, creerai una route personalizzata per vertex-networking-vpc-router1 (il router Cloud vertex-networking-vpc) per pubblicizzare l'indirizzo IP dell'endpoint PSC alla rete onprem-vpc.

1. Nella console Google Cloud, vai alla pagina Router Cloud.

   Vai a Router Cloud

2. Nell'elenco Router Cloud, fai clic su vertex-networking-vpc-router1.

3. Nella pagina Dettagli router, fai clic su editModifica.

4. Nella sezione Route annunciate, per Route, seleziona Crea route personalizzate.

5. Seleziona la casella di controllo Pubblicizza tutte le subnet visibili al router Cloud per continuare a pubblicizzare le subnet disponibili per il router Cloud. L'abilitazione di questa opzione imita il comportamento del router Cloud in modalità pubblicitaria predefinita.

6. Fai clic su Aggiungi una route personalizzata.

7. Per Origine, seleziona Intervallo IP personalizzato.

8. In Intervallo di indirizzi IP, inserisci il seguente indirizzo IP:

   192.168.0.1
   

9. In Descrizione, inserisci il seguente testo:

   Custom route to advertise Private Service Connect endpoint IP address
   

10. Fai clic su Fine e poi su Salva.

Verifica che onprem-vpc abbia appreso le route annunciate

1. Nella console Google Cloud, vai alla pagina Route.

   Vai a Routes

2. Nella scheda Route operative, procedi nel seguente modo:

   1. In corrispondenza di Rete, scegli onprem-vpc.
   2. In corrispondenza di Regione, scegli us-central1 (Iowa).
   3. Fai clic su Visualizza.

   4. Nell'elenco delle route, verifica che siano presenti voci i cui nomi iniziano con onprem-vpc-router1-bgp-vertex-networking-vpc-tunnel0 e onprem-vpc-router1-bgp-vfertex-networking-vpc-tunnel1 ed entrambi il cui intervallo IP di destinazione è 192.168.0.1/32. (192.168.0.1 è l'indirizzo IP dell'endpoint PSC).

      Se queste voci non vengono visualizzate immediatamente, attendi qualche minuto. e poi aggiorna la scheda del browser della console Google Cloud.

Configura un'istanza VM nella rete on-premise

In questa sezione, creerai un'istanza VM di Compute Engine nella onprem-vpc rete VPC. Questa istanza VM simula un client on-premise che si connette all'endpoint PSC accede all'API GenAI.

Crea un account di servizio gestito dall'utente

In questo tutorial, creerai un account di servizio gestito dall'utente seguendo Compute Engine e IAM best practice.

1. In Cloud Shell, esegui seguenti comandi, sostituendo PROJECT_ID con ID progetto:

   projectid=PROJECT_ID
   gcloud config set project ${projectid}
   

2. Crea l'account di servizio:

   gcloud iam service-accounts create user-managed-sa
   

3. Assegna il parametro Utente Vertex AI (roles/aiplatform.user) ruolo IAM all'account di servizio:

   gcloud projects add-iam-policy-binding $projectid \
      --member="serviceAccount:user-managed-sa@$projectid.iam.gserviceaccount.com" \
      --role="roles/aiplatform.user"
   

Crea l'istanza VM on-prem-client

In questo passaggio creerai l'istanza VM, che utilizza Indirizzo IP di Private Service Connect (192.168.0.1) per accedere a Google le API su VPN ad alta disponibilità.

Per consentire a Identity-Aware Proxy (IAP) di connettersi al tuo VM, devi creare una regola firewall che:

• Si applica a tutte le istanze VM che vuoi rendere accessibili IAP. In questo caso, lo stato è solo on-prem-client.
• Consente il traffico TCP attraverso la porta 22 dall'intervallo IP 35.235.240.0/20. Questo intervallo contiene tutti gli indirizzi IP Utilizzi IAP per Inoltro TCP.

1. Crea l'istanza VM on-prem-client. Il seguente comando installa anche i pacchetti tcpdump e dnsutils, che contengono i valori tcpdump e dig utilità che utilizzerai in seguito per convalidare le richieste API:

   gcloud compute instances create on-prem-client \
      --zone=us-central1-a \
      --image-family=debian-11 \
      --image-project=debian-cloud \
      --subnet=onprem-vpc-subnet1 \
      --scopes=https://www.googleapis.com/auth/cloud-platform \
      --no-address \
      --shielded-secure-boot \
      --service-account=user-managed-sa@$projectid.iam.gserviceaccount.com \
      --metadata startup-script="#! /bin/bash
         sudo apt-get update
         sudo apt-get install tcpdump dnsutils -y"
   

2. Crea una regola firewall IAP denominata ssh-iap-on-prem-vpc:

   gcloud compute firewall-rules create ssh-iap-on-prem-vpc \
      --network onprem-vpc \
      --allow tcp:22 \
      --source-ranges=35.235.240.0/20
   

Convalida l'accesso a internet pubblico per l'AI generativa su Vertex AI

In questa sezione accederai all'istanza VM on-prem-client utilizzando Identity-Aware Proxy e poi convaliderai la connettività alle API Vertex AI (inclusa l'IA generativa) eseguendo dig contro il pubblico Dominio Vertex AI (us-central1-aiplatform.googleapis.com).

1. In Cloud Shell (Tab Uno), esegui seguenti comandi, sostituendo PROJECT_ID con ID progetto:

   projectid=PROJECT_ID
   gcloud config set project ${projectid}
   

2. Accedi all'istanza VM on-prem-client utilizzando IAP:

   gcloud compute ssh on-prem-client --project=$projectid --zone=us-central1-a --tunnel-through-iap
   

3. Esegui il comando dig:

   dig us-central1-aiplatform.googleapis.com
   

   Dovresti vedere un output dig simile al seguente, dove gli indirizzi IP nella sezione della risposta sono indirizzi IP pubblici:

   ; <<>> DiG 9.16.44-Debian <<>> us-central1.aiplatfom.googleapis.com
   ;; global options: +cmd
   ;; Got answer:
   ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 42506
   ;; flags: qr rd ra; QUERY: 1, ANSWER: 16, AUTHORITY: 0, ADDITIONAL: 1
   
   ;; OPT PSEUDOSECTION:
   ; EDNS: version: 0, flags:; udp: 512
   ;; QUESTION SECTION:
   ;us-central1.aiplatfom.googleapis.com. IN A
   
   ;; ANSWER SECTION:
   us-central1.aiplatfom.googleapis.com. 300 IN A  173.194.192.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  142.250.152.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  172.217.219.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  209.85.146.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  209.85.147.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  142.250.125.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  142.250.136.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  142.250.148.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  209.85.200.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  209.85.234.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  142.251.171.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  108.177.112.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  142.250.128.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  142.251.6.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  172.217.212.95
   us-central1.aiplatfom.googleapis.com. 300 IN A  74.125.124.95
   
   ;; Query time: 8 msec
   ;; SERVER: 169.254.169.254#53(169.254.169.254)
   ;; WHEN: Wed Sep 27 04:10:16 UTC 2023
   ;; MSG SIZE  rcvd: 321
   

Configura e convalida l'accesso privato all'AI generativa su Vertex AI

In questa sezione configurerai l'accesso privato all'AI generativa su Vertex AI in modo che che quando invii richieste all'endpoint di servizio pubblico (us-central1-aiplatform.googleapis.com), viene reindirizzato al tuo l'endpoint PSC. L'endpoint PSC a sua volta inoltra la richiesta all'indirizzo

Aggiorna il file /etc/hosts in modo che punti all'endpoint PSC

In questo passaggio, aggiungerai al file /etc/hosts una riga che genera le richieste inviati all'endpoint di servizio pubblico (us-central1-aiplatform.googleapis.com) verrà reindirizzato all'endpoint PSC (192.168.0.1).

1. Nell'istanza VM on-prem-client (scheda Uno), utilizza un editor di testo come vim o nano per aprire il file /etc/hosts:

   sudo vim /etc/hosts
   

2. Aggiungi la seguente riga al file:

   192.168.0.1 us-central1-aiplatform.googleapis.com
   

   Questa riga assegna l'indirizzo IP dell'endpoint PSC (192.168.0.1) al nome di dominio completo API Google Vertex AI (us-central1-aiplatform.googleapis.com).

   Il file modificato dovrebbe avere il seguente aspetto:

   127.0.0.1       localhost
   ::1             localhost ip6-localhost ip6-loopback
   ff02::1         ip6-allnodes
   ff02::2         ip6-allrouters
   
   192.168.0.1 us-central1-aiplatform.googleapis.com  # Added by you
   172.16.10.6 on-prem-client.us-central1-a.c.vertex-genai-400103.internal on-prem-client  # Added by Google
   169.254.169.254 metadata.google.internal  # Added by Google
   

3. Salva il file come segue:

   • Se utilizzi vim, premi il tasto Esc, quindi digita :wq per salvare il file e uscire.
   • Se utilizzi nano, digita Control+O e premi Enter per salvare il file, quindi digita Control+X per uscire.

4. Invia un ping a Vertex AI come segue:

   ping us-central1-aiplatform.googleapis.com
   

   Il comando ping dovrebbe restituire il seguente output. 192.168.0.1 è il Indirizzo IP dell'endpoint PSC:

   PING us-central1-aiplatform.googleapis.com (192.168.0.1) 56(84) bytes of data.
   

5. Digita Control+C per uscire da ping.

6. Esegui questo comando tcpdump per la risoluzione DNS e il percorso dei dati IP quando invii richiesta di previsione online all'endpoint:

    sudo tcpdump -i any port 53 -n or host 192.168.0.1
   

Crea la richiesta privata

In questo passaggio creerai un file di testo denominato request.json contenente il payload per una richiesta curl di esempio che invii all'API REST GenAI. Per ulteriori informazioni sulle richieste di esempio, consulta Richiesta di esempio.

1. Mantenendo in esecuzione il comando tcpdump nella scheda 1, apri una nuova nella sessione Cloud Shell (scheda due) facendo clic su add apri una nuova scheda in in Cloud Shell.

2. Nella nuova sessione di Cloud Shell (scheda 2), esegui questi comandi: sostituzione di PROJECT_ID con il tuo ID progetto:

   projectid=PROJECT_ID
   gcloud config set project ${projectid}
   

3. Accedi all'istanza VM on-prem-client utilizzando IAP:

   gcloud compute ssh on-prem-client --project=$projectid --zone=us-central1-a --tunnel-through-iap
   

4. Esegui questi comandi, sostituzione di PROJECT_ID con il tuo ID progetto:

   projectid=PROJECT_ID
   gcloud config set project ${projectid}
   

5. Utilizza un editor di testo come vim o nano per creare una nuova file denominato request.json contenente il seguente testo:

   {
      "instances": [
         { "prompt": "Give me ten interview questions for the role of program manager."}
      ],
      "parameters": {
         "temperature": 0.2,
         "maxOutputTokens": 256,
         "topK": 40,
         "topP": 0.95
      }
   }
   

6. Esegui questo comando per inviare una richiesta all'endpoint PSC, inoltra la richiesta all'API GenAI. Quando l'endpoint riceve la inoltra alla VM on-prem-client:

   curl -X POST \
      -H "Authorization: Bearer $(gcloud auth print-access-token)" \
      -H "Content-Type: application/json; charset=utf-8" \
      -d @request.json \
      "https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/publishers/google/models/text-bison:predict"
   

   Dovresti vedere una risposta simile al seguente esempio:

   {
      "predictions": [
         {
         "content": " 1. **What is your experience in managing programs?**\n2. **What are your strengths and weaknesses as a program manager?**\n3. **What is your approach to managing a program?**\n4. **How do you handle risks and challenges in a program?**\n5. **How do you communicate with stakeholders in a program?**\n6. **How do you measure the success of a program?**\n7. **What is your experience in working with cross-functional teams?**\n8. **What is your experience in managing budgets and resources?**\n9. **What is your experience in managing change in a program?**\n10. **What are your career goals as a program manager?**",
         "citationMetadata": {
            "citations": []
         },
         "safetyAttributes": {
            "categories": [
            "Finance",
            "Health"
            ],
            "blocked": false,
            "scores": [
               0.6,
               0.1
            ]
         }
         }
      ],
      "metadata": {
         "tokenMetadata": {
            "outputTokenCount": {
               "totalBillableCharacters": 505,
               "totalTokens": 153
            },
            "inputTokenCount": {
               "totalBillableCharacters": 54,
               "totalTokens": 12
            }
         }
      }
   }
   

7. Nella Scheda 1, verifica che PSC indirizzo IP dell'endpoint (192.168.0.1) utilizzato per accedere API Vertex AI dall'istanza VM on-prem-client (subnet 172.16.10.0/28).

   Dal terminale tcpdump nella scheda uno di Cloud Shell, puoi vedere che una ricerca DNS per us-central1-aiplatform.googleapis.com non è necessario, perché la riga che hai aggiunto al file /etc/hosts ha la precedenza, mentre l'indirizzo IP dell'endpoint PSC (192.168.0.1) viene utilizzata nel percorso dati.

   Dovresti vedere un output tcpdump simile al seguente:

   23:48:49.938797 ens4  Out IP 172.16.10.9.38578 > 192.168.0.1.443: Flags [P.], seq 2054:2093, ack 6264, win 501, options [nop,nop,TS val 2943864305 ecr 2340789954], length 39
   23:48:49.938947 ens4  Out IP 172.16.10.9.38578 > 192.168.0.1.443: Flags [P.], seq 2093:2117, ack 6264, win 501, options [nop,nop,TS val 2943864305 ecr 2340789954], length 24
   23:48:49.939839 ens4  Out IP 172.16.10.9.38578 > 192.168.0.1.443: Flags [F.], seq 2117, ack 6264, win 501, options [nop,nop,TS val 2943864306 ecr 2340789954], length 0
   23:48:49.940292 ens4  In  IP 192.168.0.1.443 > 172.16.10.9.38578: Flags [.], ack 2117, win 272, options [nop,nop,TS val 2340789958 ecr 2943864305], length 0
   23:48:49.940437 ens4  In  IP 192.168.0.1.443 > 172.16.10.9.38578: Flags [F.], seq 6264, ack 2117, win 272, options [nop,nop,TS val 2340789958 ecr 2943864305], length 0
   23:48:49.940442 ens4  Out IP 172.16.10.9.38578 > 192.168.0.1.443: Flags [.], ack 6265, win 501, options [nop,nop,TS val 2943864307 ecr 2340789958], length 0
   23:48:49.941193 ens4  In  IP 192.168.0.1.443 > 172.16.10.9.38578: Flags [.], ack 2118, win 272, options [nop,nop,TS val 2340789959 ecr 2943864306], length 0