Anleitung: Erste Schritte mit der Gemini API

Python Node.js Web REST Go Dart (Flutter) Android Swift

In diesem Tutorial erfahren Sie, wie Sie direkt von Ihrem Swift-App, die das Google AI Swift SDK verwendet Sie können dieses SDK verwenden, wenn Sie direkt mit REST APIs oder serverseitigem Code (wie Python) arbeiten, um auf Gemini-Modellen in deine Swift-App ein.

In dieser Anleitung erfahren Sie, wie Sie Folgendes tun:

• Projekt einschließlich API-Schlüssel einrichten
• Text aus reiner Texteingabe generieren
• Text aus Text- und Bildeingaben (multimodal) generieren
• Unterhaltungen mit mehreren Themen erstellen (Chat)
• Streaming für schnellere Interaktionen verwenden

Darüber hinaus enthält dieses Tutorial Abschnitte zu fortgeschrittenen Anwendungsfällen (z. B. Zählen von Tokens) sowie Optionen für Generieren von Inhalten.

Vorbereitung

In diesem Tutorial wird davon ausgegangen, dass Sie mit Xcode zur Entwicklung von Swift vertraut sind. Apps.

Um diese Anleitung abzuschließen, müssen Ihre Entwicklungsumgebung und Die Swift-App erfüllt die folgenden Anforderungen:

• Xcode 15.0 oder höher
• Ihre Swift-App muss auf iOS 15 oder höher bzw. macOS 12 oder höher ausgerichtet sein.

Projekt einrichten

Bevor Sie die Gemini API aufrufen, müssen Sie Ihr Xcode-Projekt einrichten, das umfasst das Einrichten des API-Schlüssels, das Hinzufügen des SDK-Pakets zu Ihrem Xcode-Projekt, und das Initialisieren des Modells.

API-Schlüssel einrichten

Zur Verwendung der Gemini API benötigen Sie einen API-Schlüssel. Falls Sie noch keines haben, einen Schlüssel in Google AI Studio zu erstellen.

API-Schlüssel anfordern

API-Schlüssel sichern

Es wird dringend empfohlen, keinen API-Schlüssel in Ihre Version einzuchecken. zu steuern. Eine alternative Möglichkeit besteht darin, GenerativeAI-Info.plist und lesen anschließend den API-Schlüssel aus der Datei .plist. -Datei. Legen Sie die Datei .plist im Stammverzeichnis Ihrer App ab und aus der Versionskontrolle ausschließen.

enum APIKey {
  // Fetch the API key from `GenerativeAI-Info.plist`
  static var `default`: String {
    guard let filePath = Bundle.main.path(forResource: "GenerativeAI-Info", ofType: "plist")
    else {
      fatalError("Couldn't find file 'GenerativeAI-Info.plist'.")
    }
    let plist = NSDictionary(contentsOfFile: filePath)
    guard let value = plist?.object(forKey: "API_KEY") as? String else {
      fatalError("Couldn't find key 'API_KEY' in 'GenerativeAI-Info.plist'.")
    }
    if value.starts(with: "_") {
      fatalError(
        "Follow the instructions at https://ai.google.dev/tutorials/setup to get an API key."
      )
    }
    return value
  }
}

Weitere Informationen finden Sie in der Beispiel-App , um zu erfahren, wie Sie Ihren API-Schlüssel in einer .plist-Datei speichern.

Bei allen Snippets in dieser Anleitung wird davon ausgegangen, dass Sie auf Ihren API-Schlüssel zugreifen. aus der On-Demand-Ressource .plist.

SDK-Paket zu Projekt hinzufügen

Wenn Sie die Gemini API in Ihrer eigenen Swift-App verwenden möchten, fügen Sie die GoogleGenerativeAI hinzu zu Ihrer App hinzufügen:

1. Klicken Sie in Xcode im Projektnavigator mit der rechten Maustaste auf Ihr Projekt.

2. Wählen Sie im Kontextmenü Pakete hinzufügen aus.

3. Fügen Sie im Dialogfeld Pakete hinzufügen die Paket-URL in die Suchleiste ein:

   https://github.com/google/generative-ai-swift
   

4. Klicken Sie auf Paket hinzufügen. Xcode fügt jetzt das Paket GoogleGenerativeAI hinzu. zu Ihrem Projekt hinzufügen.

Generatives Modell initialisieren

Bevor Sie API-Aufrufe ausführen können, müssen Sie das generative Modell initialisieren.

1. Importieren Sie das Modul GoogleGenerativeAI:

   import GoogleGenerativeAI
   

2. Initialisieren Sie das generative Modell:

   // Access your API key from your on-demand resource .plist file
   // (see "Set up your API key" above)
   // The Gemini 1.5 models are versatile and work with most use cases
   let model = GenerativeModel(name: "gemini-1.5-flash", apiKey: APIKey.default)
   

Beachten Sie beim Angeben eines Modells Folgendes:

• Verwenden Sie ein Modell, das für Ihren Anwendungsfall spezifisch ist (z. B. gemini-1.5-flash) für die multimodale Eingabe. In diesem Handbuch finden Sie die Anweisungen für die Implementierungsliste das empfohlene Modell für jeden Anwendungsfall.

Gängige Anwendungsfälle implementieren

Ihr Projekt ist nun eingerichtet. Jetzt können Sie mit der Gemini API experimentieren, um verschiedene Anwendungsfälle zu implementieren:

• Text aus reiner Texteingabe generieren
• Text aus Text- und Bildeingaben (multimodal) generieren
• Unterhaltungen mit mehreren Themen erstellen (Chat)
• Streaming für schnellere Interaktionen verwenden

Text aus reiner Texteingabe generieren

Wenn die Prompt-Eingabe nur Text enthält, verwenden Sie ein Gemini 1.5-Modell oder den Gemini 1.0 Pro-Modell mit generateContent zum Generieren von Textausgabe:

import GoogleGenerativeAI

// The Gemini 1.5 models are versatile and work with both text-only and multimodal prompts
// Access your API key from your on-demand resource .plist file (see "Set up your API key" above)
let model = GenerativeModel(name: "gemini-1.5-flash", apiKey: APIKey.default)

let prompt = "Write a story about a magic backpack."
let response = try await model.generateContent(prompt)
if let text = response.text {
  print(text)
}

Text aus Text- und Bildeingabe generieren (multimodal)

Gemini bietet verschiedene Modelle, die multimodale Eingaben verarbeiten können. (Gemini 1.5-Modelle), damit Sie beide Texte eingeben können und Bilder. Sehen Sie sich die Bildanforderungen für Prompts

Wenn die Prompt-Eingabe sowohl Text als auch Bilder enthält, verwenden Sie ein Gemini 1.5-Modell mit der Methode generateContent, um eine Textausgabe zu generieren:

import GoogleGenerativeAI

// The Gemini 1.5 models are versatile and work with both text-only and multimodal prompts
// Access your API key from your on-demand resource .plist file (see "Set up your API key" above)
let model = GenerativeModel(name: "gemini-1.5-flash", apiKey: APIKey.default)

let image1 = UIImage(...)
let image2 = UIImage(...)

let prompt = "What's different between these pictures?"

let response = try await model.generateContent(prompt, image1, image2)
if let text = response.text {
  print(text)
}

Multi-Turn Conversations erstellen (Chat)

Mit Gemini kannst du Unterhaltungen im freien Format über mehrere Runden hinweg führen. Die Das SDK vereinfacht den Prozess, da es den Status der Unterhaltung verwaltet. Im Gegensatz zu mit generateContent müssen Sie den Unterhaltungsverlauf nicht speichern, sich selbst zu zeigen.

Wenn Sie eine Unterhaltung mit mehreren Teilnehmern (z. B. einen Chat) erstellen möchten, verwenden Sie ein Gemini 1.5-Modell oder das Gemini 1.0 Pro und initialisieren Sie den Chat, indem Sie startChat() aufrufen. Verwenden Sie dann sendMessage(), um eine neue Nutzernachricht zu senden, die auch den und die Antwort auf das Chatprotokoll.

Es gibt zwei mögliche Optionen für role, die mit den Inhalten in einer Gespräch:

• user: Die Rolle, die die Aufforderungen bereitstellt. Dieser Wert ist der Standardwert für sendMessage Anrufe.

• model: Die Rolle, die die Antworten bereitstellt. Diese Rolle kann verwendet werden, wenn startChat() wird mit vorhandenem history aufgerufen.

import GoogleGenerativeAI

let config = GenerationConfig(
  maxOutputTokens: 100
)

// The Gemini 1.5 models are versatile and work with multi-turn conversations (like chat)
// Access your API key from your on-demand resource .plist file (see "Set up your API key" above)
let model = GenerativeModel(
  name: "gemini-1.5-flash",
  apiKey: APIKey.default,
  generationConfig: config
)

let history = [
  ModelContent(role: "user", parts: "Hello, I have 2 dogs in my house."),
  ModelContent(role: "model", parts: "Great to meet you. What would you like to know?"),
]

// Initialize the chat
let chat = model.startChat(history: history)
let response = try await chat.sendMessage("How many paws are in my house?")
if let text = response.text {
  print(text)
}

Streaming für schnellere Interaktionen nutzen

Standardmäßig gibt das Modell nach Abschluss der gesamten Generierung eine Antwort zurück . Sie können schnellere Interaktionen erzielen, wenn Sie nicht auf die gesamte Ergebnis. Verwenden Sie stattdessen Streaming, um Teilergebnisse zu verarbeiten.

Das folgende Beispiel zeigt, wie Streaming mit der generateContentStream-Methode zum Generieren von Text aus einer Text- und Bildeingabe .

import GoogleGenerativeAI

// The Gemini 1.5 models are versatile and work with both text-only and multimodal prompts
// Access your API key from your on-demand resource .plist file (see "Set up your API key" above)
let model = GenerativeModel(name: "gemini-1.5-flash", apiKey: APIKey.default)

let image1 = UIImage(named: "")!
let image2 = UIImage(named: "")!

let prompt = "What's different between these pictures?"
var fullResponse = ""
let contentStream = model.generateContentStream(prompt, image1, image2)
for try await chunk in contentStream {
  if let text = chunk.text {
    print(text)
    fullResponse += text
  }
}
print(fullResponse)

Sie können einen ähnlichen Ansatz für reine Texteingabe und Chat-Anwendungsfälle verwenden.

// Use streaming with text-only input
let contentStream = model.generateContentStream(prompt)

// Use streaming with multi-turn conversations (like chat)
let responseStream = chat.sendMessageStream(message)

Erweiterte Anwendungsfälle implementieren

Die im vorherigen Abschnitt dieses Tutorials beschriebenen gängigen Anwendungsfälle damit Sie sich mit der Nutzung der Gemini API vertraut machen können. In diesem Abschnitt werden einige Anwendungsfälle, die als fortgeschrittener betrachtet werden können.

Funktionsaufrufe

Funktionsaufrufe erleichtern Ihnen, Ausgaben für strukturierte Daten generativen Modellen. Sie können diese Ausgaben dann verwenden, um andere APIs aufzurufen und die relevanten Antwortdaten an das Modell zu senden. Mit anderen Worten, Funktionsaufrufe helfen generative Modelle mit externen Systemen verbinden, damit die generierten Inhalte aktuelle und korrekte Informationen enthält. Weitere Informationen finden Sie in der Anleitung für Funktionsaufrufe.

Anzahl der Tokens

Bei langen Prompts kann es hilfreich sein, Tokens zu zählen, bevor sie gesendet werden an das Modell übergeben. Die folgenden Beispiele zeigen, wie countTokens() verwendet wird für verschiedene Anwendungsfälle:

// For text-only input
let response = try await model.countTokens("Why is the sky blue?")
print(response.totalTokens)

// For text-and-image input (multi-modal)
let response = try await model.countTokens(prompt, image1, image2)
print(response.totalTokens)

// For multi-turn conversations (like chat)
let chat = model.startChat()
let history = chat.history
let message = try ModelContent(role: "user", "Why is the sky blue?")
let contents = history + [message]
let response = try await model.countTokens(contents)
print(response.totalTokens)

Optionen zum Steuern der Inhaltserstellung

Sie können die Generierung von Inhalten steuern, indem Sie Modellparameter konfigurieren und die Sicherheitseinstellungen.

Modellparameter konfigurieren

Jeder Prompt, den Sie an das Modell senden, enthält Parameterwerte, mit denen generiert das Modell eine Antwort. Das Modell kann für verschiedene Parameterwerte unterschiedliche Ergebnisse generieren. Weitere Informationen zu Modellparameter: Die Konfiguration wird für die gesamte Lebensdauer der Modellinstanz beibehalten.

let config = GenerationConfig(
  temperature: 0.9,
  topP: 0.1,
  topK: 16,
  maxOutputTokens: 200,
  stopSequences: ["red"]
)

// Access your API key from your on-demand resource .plist file (see "Set up your API key" above)
let model = GenerativeModel(
  // The Gemini 1.5 models are versatile and work with most use cases
  name: "gemini-1.5-flash",
  apiKey: APIKey.default,
  generationConfig: config
)

Sicherheitseinstellungen verwenden

Mithilfe der Sicherheitseinstellungen kannst du anpassen, wie wahrscheinlich es ist, dass du Antworten erhältst, als schädlich eingestuft werden. Standardmäßig blockieren die Sicherheitseinstellungen Inhalte mit der Einstellung „Medium“ und/oder eine hohe Wahrscheinlichkeit, dass sie in allen Dimensionen unsicher sind. Weitere Informationen Weitere Informationen zu den Sicherheitseinstellungen

So legen Sie eine Sicherheitseinstellung fest:

// Access your API key from your on-demand resource .plist file (see "Set up your API key" above)
let model = GenerativeModel(
  // The Gemini 1.5 models are versatile and work with most use cases
  name: "gemini-1.5-flash",
  apiKey: APIKey.default,
  safetySettings: [
    SafetySetting(harmCategory: .harassment, threshold: .blockOnlyHigh)
  ]
)

Sie können auch mehrere Sicherheitseinstellungen festlegen:

let harassmentSafety = SafetySetting(harmCategory: .harassment, threshold: .blockOnlyHigh)
let hateSpeechSafety = SafetySetting(harmCategory: .hateSpeech, threshold: .blockMediumAndAbove)

// Access your API key from your on-demand resource .plist file (see "Set up your API key" above)
let model = GenerativeModel(
  // The Gemini 1.5 models are versatile and work with most use cases
  name: "gemini-1.5-flash",
  apiKey: APIKey.default,
    safetySettings: [harassmentSafety, hateSpeechSafety]
)

Nächste Schritte

• Beim Prompt-Design werden Aufforderungen erstellt, die die gewünschte Antwort aus Sprachmodellen auslösen. Gut strukturierte Eingabeaufforderungen sind wichtig, um genaue, hochwertige Antworten aus einem Sprachmodell zu gewährleisten. Best Practices für das Schreiben von Prompts

• Gemini bietet mehrere Modellvarianten für unterschiedliche Anforderungen wie Eingabetypen und -komplexität, Implementierungen für Chat und andere Dialogsprachaufgaben und Größenbeschränkungen. Weitere Informationen zu den verfügbaren Gemini-Modellen