Questa pagina mostra come creare un set di dati Vertex AI dal tuo dati tabulari per poter iniziare ad addestrare i modelli di classificazione e regressione. Tu puoi creare un set di dati utilizzando la console Google Cloud l'API Vertex AI.
Prima di iniziare
Prima di poter creare un set di dati Vertex AI dai tuoi dati tabulari, devi prima preparare i dati. Per maggiori dettagli, vedi:
- Preparare i dati di addestramento tabulari per i modelli di classificazione e regressione
- Best practice per la creazione di dati di addestramento tabulari.
Crea un set di dati vuoto e associa i dati preparati
Per creare un modello di machine learning per la classificazione o la regressione, devi devi avere una raccolta rappresentativa di dati con cui eseguire l'addestramento. Utilizza la Console Google Cloud o l'API per associare i dati preparati al del set di dati. Associando i dati, puoi apportare modifiche e avviare il modello addestramento.
Console Google Cloud
- Nella console Google Cloud, nella sezione Vertex AI, vai a alla pagina Set di dati.
- Fai clic su Crea per aprire la pagina dei dettagli per la creazione del set di dati.
- Modifica il campo Nome set di dati per creare un nome visualizzato descrittivo per il set di dati.
- Seleziona la scheda Tabulare.
- Seleziona l'obiettivo Regressione/classificazione.
- Seleziona una regione dall'elenco a discesa Regione.
- Se vuoi utilizzare chiavi di crittografia gestite dal cliente (CMEK) con il tuo set di dati, apri Opzioni avanzate e specifica la chiave. (Anteprima)
- Fai clic su Crea per creare il set di dati vuoto e passa alla scheda Origine.
- Scegli una delle seguenti opzioni, a seconda dell'origine dati.
File CSV sul computer
- Fai clic su Carica file CSV dal tuo computer.
- Fai clic su Seleziona file e scegli tutti i file locali da caricare in Cloud Storage di sincronizzare la directory di una VM con un bucket.
- Nella sezione Seleziona un percorso Cloud Storage, inserisci il percorso del percorso o fai clic su Sfoglia per scegliere la località di un bucket.
File CSV in Cloud Storage
- Fai clic su Seleziona file CSV da Cloud Storage.
- Nella sezione Seleziona file CSV da Cloud Storage, inserisci il percorso di Cloud Storage bucket o fai clic su Sfoglia per scegliere la posizione dei tuoi file CSV.
Una tabella o una visualizzazione in BigQuery
- Fai clic su Seleziona una tabella o una visualizzazione da BigQuery.
- Inserisci gli ID progetto, set di dati e tabella per il file di input.
- Fai clic su Continua.
L'origine dati è associata al set di dati.
API
Quando crei un set di dati, lo associ anche alla relativa origine dati. Il codice necessario per la creazione un set di dati dipende dal fatto che i dati di addestramento si trovino Cloud Storage o BigQuery. Se l'origine dati risiede in un progetto diverso, assicurati di configurare le autorizzazioni richieste.Creazione di un set di dati con dati in Cloud Storage
REST
Devi utilizzare il metodo datasets.create per creare un del set di dati.
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
-
LOCATION: regione in cui verrà archiviato il set di dati. Deve essere un
che supporta
e risorse del set di dati. Ad esempio:
us-central1
. - PROJECT: il tuo ID progetto.
- DATASET_NAME: il nome visualizzato del set di dati.
-
METADATA_SCHEMA_URI: l'URI del file di schema per il tuo scopo.
gs://google-cloud-aiplatform/schema/dataset/metadata/tabular_1.0.0.yaml
-
URI: percorsi (URI) dei bucket Cloud Storage contenenti i dati di addestramento.
Può essercene più di uno. Ogni URI ha il seguente formato:
gs://GCSprojectId/bucketName/fileName
- PROJECT_NUMBER: il numero di progetto generato automaticamente per il tuo progetto.
Metodo HTTP e URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets
Corpo JSON della richiesta:
{ "display_name": "DATASET_NAME", "metadata_schema_uri": "METADATA_SCHEMA_URI", "metadata": { "input_config": { "gcs_source": { "uri": [URI1, URI2, ...] } } } }
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Salva il corpo della richiesta in un file denominato request.json
.
ed esegui questo comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets"
PowerShell
Salva il corpo della richiesta in un file denominato request.json
.
ed esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
{ "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateDatasetOperationMetadata", "genericMetadata": { "createTime": "2020-07-07T21:27:35.964882Z", "updateTime": "2020-07-07T21:27:35.964882Z" } }
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta API Java Vertex AI documentazione di riferimento.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta API Node.js Vertex AI documentazione di riferimento.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta documentazione di riferimento dell'API Python.
Creazione di un set di dati con dati in BigQuery
REST
Puoi utilizzare datasets.create per creare un set di dati.Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
-
LOCATION: regione in cui verrà archiviato il set di dati. Deve essere un
che supporta
e risorse del set di dati. Ad esempio:
us-central1
. - PROJECT: il tuo ID progetto.
- DATASET_NAME: il nome visualizzato del set di dati.
-
METADATA_SCHEMA_URI: l'URI del file di schema per il tuo scopo.
gs://google-cloud-aiplatform/schema/dataset/metadata/tabular_1.0.0.yaml
-
URI: percorso della tabella BigQuery contenente i dati di addestramento. Nel modulo:
bq://bqprojectId.bqDatasetId.bqTableId
- PROJECT_NUMBER: il numero di progetto generato automaticamente per il tuo progetto.
Metodo HTTP e URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets
Corpo JSON della richiesta:
{ "display_name": "DATASET_NAME", "metadata_schema_uri": "METADATA_SCHEMA_URI", "metadata": { "input_config": { "bigquery_source" :{ "uri": "URI } } } }
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Salva il corpo della richiesta in un file denominato request.json
.
ed esegui questo comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets"
PowerShell
Salva il corpo della richiesta in un file denominato request.json
.
ed esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
{ "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateDatasetOperationMetadata", "genericMetadata": { "createTime": "2020-07-07T21:27:35.964882Z", "updateTime": "2020-07-07T21:27:35.964882Z" } }
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta API Java Vertex AI documentazione di riferimento.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta API Node.js Vertex AI documentazione di riferimento.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta documentazione di riferimento dell'API Python.
Ottieni stato operazione
Alcune richieste avviano operazioni a lunga esecuzione il cui completamento richiede tempo. Questi restituiscono il nome di un'operazione, che puoi utilizzare per visualizzare o annullare l'operazione. Vertex AI offre metodi helper per effettuare chiamate a operazioni a lunga esecuzione. Per ulteriori informazioni, consulta la sezione Utilizzo di modelli operazioni.