Handbuch für die Migration von Foundry Local SDK

C# SDK-Migrationshandbuch

Um Ihre Fähigkeit zu verbessern, Anwendungen mit ai auf dem Gerät zu versenden, gibt es wesentliche Änderungen an der Architektur des C#-SDK in version 0.8.0 und höher. In diesem Abschnitt erläutern wir die wichtigsten Änderungen, mit denen Sie Ihre Anwendungen zur neuesten Version des SDK migrieren können.

Das folgende Diagramm zeigt, wie die vorherige Architektur – für frühere Versionen vor 0.8.0 – in großem Maße auf die Verwendung eines REST-Webservers zum Verwalten von Modellen und Inferenzen wie Chatabschlüssen basiert.

Das SDK würde einen Remoteprozeduraufruf (Remote Procedural Call, RPC) verwenden, um die ausführbare Datei für die Foundry Local-CLI auf dem Computer zu finden, den Webserver zu starten und dann über HTTP mit diesem zu kommunizieren. Diese Architektur hatte mehrere Einschränkungen, darunter:

• Komplexität beim Verwalten des Webserverlebenszyklus.
• Anspruchsvolle Bereitstellung: Endbenutzer mussten die Foundry Local-CLI auf ihren Computern und Ihre Anwendung installiert haben.
• Die Versionsverwaltung der CLI und des SDK kann zu Kompatibilitätsproblemen führen.

Um diese Probleme zu beheben, verwendet die neu gestaltete Architektur in der Version 0.8.0 und später einen optimierteren Ansatz. Die neue Architektur lautet wie folgt:

In dieser neuen Architektur:

• Ihre Anwendung ist eigenständig. Die Lokale Cli für Foundry muss nicht separat auf dem Computer des Endbenutzers installiert werden, sodass Sie Anwendungen einfacher bereitstellen können.
• Der REST-Webserver ist optional. Sie können den Webserver weiterhin verwenden, wenn Sie in andere Tools integriert werden möchten, die über HTTP kommunizieren. Lesen Sie Verwendung von Chat-Vervollständigungen über den REST-Server mit Foundry Local, um Details zur Nutzung dieses Features zu erfahren.
• Das SDK bietet native Unterstützung für Chatabschlusse und Audiotranskriptionen, sodass Sie Unterhaltungs-KI-Anwendungen mit weniger Abhängigkeiten erstellen können. Ausführliche Informationen zur Verwendung dieses Features finden Sie unter Use Foundry Local Native Chat Completions API.
• Auf Windows Geräten können Sie einen Windows ML-Build verwenden, der hardwarebeschleunigung für Modelle auf dem Gerät verarbeitet, indem Sie die richtige Laufzeit und Treiber abrufen.

API-Änderungen

Version 0.8.0 und höher bietet eine objektorientiertere und komponierbare API. Der Haupteinstiegspunkt ist weiterhin die FoundryLocalManager Klasse, aber anstatt eine flache Gruppe von Methoden zu sein, die über statische Aufrufe einer zustandslosen HTTP-API ausgeführt werden, macht das SDK jetzt Methoden für die FoundryLocalManager Instanz verfügbar, die den Status über den Dienst und die Modelle beibehalten.

Die API ermöglicht die Konfiguration von Foundry Local über den Webserver, die Protokollierung, den Cachespeicherort und die Modellvariantenauswahl. Die Configuration Klasse ermöglicht es Ihnen, beispielsweise den Anwendungsnamen, den Protokollierungsgrad, die Webserver-URLs sowie die Verzeichnisse für Anwendungsdaten, Modellcache und Protokolle einzurichten:

var config = new Configuration
{
    AppName = "app-name",
    LogLevel = Microsoft.AI.Foundry.Local.LogLevel.Information,
    Web = new Configuration.WebService
    {
        Urls = "http://127.0.0.1:55588"
    },
    AppDataDir = "./foundry_local_data",
    ModelCacheDir = "{AppDataDir}/model_cache",
    LogsDir = "{AppDataDir}/logs"
};

API-Referenz

• Weitere Informationen zum Foundry Local C# SDK finden Sie unter Foundry Local C# SDK API Reference.

JavaScript SDK-Migrationshandbuch

Um Ihre Fähigkeit zu verbessern, Anwendungen mit ai auf dem Gerät zu versenden, gibt es erhebliche Änderungen an der Architektur des JavaScript SDK. In diesem Abschnitt erläutern wir die wichtigsten Änderungen, mit denen Sie Ihre Anwendungen zur neuesten Version des SDK migrieren können.

Das folgende Diagramm zeigt, wie sich die vorherige Architektur stark auf die Verwendung eines REST-Webservers zum Verwalten von Modellen und Rückschlüssen wie Chatabschlussen stützt:

Das SDK würde einen Remoteprozeduraufruf (Remote Procedural Call, RPC) verwenden, um die ausführbare Datei für die Foundry Local-CLI auf dem Computer zu finden, den Webserver zu starten und dann über HTTP mit diesem zu kommunizieren. Diese Architektur hatte mehrere Einschränkungen, darunter:

• Komplexität beim Verwalten des Webserverlebenszyklus.
• Anspruchsvolle Bereitstellung: Endbenutzer mussten die Foundry Local-CLI auf ihren Computern und Ihre Anwendung installiert haben.
• Die Versionsverwaltung der CLI und des SDK kann zu Kompatibilitätsproblemen führen.

Um diese Probleme zu beheben, verwendet die neu gestaltete Architektur einen optimierteren Ansatz. Die neue Architektur lautet wie folgt:

In dieser neuen Architektur:

• Ihre Anwendung ist eigenständig. Die Lokale Cli für Foundry muss nicht separat auf dem Computer des Endbenutzers installiert werden, sodass Sie Anwendungen einfacher bereitstellen können.
• Der REST-Webserver ist optional. Sie können den Webserver weiterhin verwenden, wenn Sie in andere Tools integriert werden möchten, die über HTTP kommunizieren.
• Das SDK bietet native Unterstützung für Chatabschlusse und Audiotranskriptionen, sodass Sie Unterhaltungs-KI-Anwendungen mit weniger Abhängigkeiten erstellen können.

API-Änderungen

Die neueste Version bietet eine objektorientiertere und komponierbare API. Der Haupteinstiegspunkt ist weiterhin die FoundryLocalManager Klasse, aber anstatt eine flache Gruppe von Methoden zu sein, die über statische Aufrufe einer zustandslosen HTTP-API ausgeführt werden, macht das SDK jetzt Methoden für die FoundryLocalManager Instanz verfügbar, die den Status über den Dienst und die Modelle beibehalten.

Die API ermöglicht die Konfiguration von Foundry Local über den Webserver, die Protokollierung, den Cachespeicherort und die Modellvariantenauswahl. Beispielsweise können Sie mit config den Anwendungsnamen, die Protokollierungsstufe, die Webserver-URLs und die Verzeichnisse für Anwendungsdaten, Modellcache und Protokolle festlegen:

const config = {
  appName: "app-name",
  logLevel: "info",
  webServiceUrls: "http://127.0.0.1:55588",
  appDataDir: "./foundry_local_data",
  modelCacheDir: "{appDataDir}/model_cache",
  logsDir: "{appDataDir}/logs",
};

In der vorherigen Version des Foundry Local JavaScript SDK konnten Sie diese Einstellungen nicht direkt über das SDK konfigurieren, wodurch Die Fähigkeit zum Anpassen des Verhaltens des Diensts eingeschränkt wurde.

Referenzen

• Integration mit Rückschluss-SDKs
• Verwendung der Foundry Local nativen Chat-Completions-API

Python SDK-Migrationshandbuch

Um Ihre Fähigkeit zu verbessern, Anwendungen mithilfe von KI auf dem Gerät zu versenden, gibt es erhebliche Änderungen an der Architektur des Python SDK. In diesem Abschnitt erläutern wir die wichtigsten Änderungen, mit denen Sie Ihre Anwendungen zur neuesten Version des SDK migrieren können.

Das folgende Diagramm zeigt, wie sich die vorherige Architektur stark auf die Verwendung eines REST-Webservers zum Verwalten von Modellen und Rückschlüssen wie Chatabschlussen stützt:

Das SDK würde einen Remoteprozeduraufruf (Remote Procedural Call, RPC) verwenden, um die ausführbare Datei für die Foundry Local-CLI auf dem Computer zu finden, den Webserver zu starten und dann über HTTP mit diesem zu kommunizieren. Diese Architektur hatte mehrere Einschränkungen, darunter:

• Komplexität beim Verwalten des Webserverlebenszyklus.
• Anspruchsvolle Bereitstellung: Endbenutzer mussten die Foundry Local-CLI auf ihren Computern und Ihre Anwendung installiert haben.
• Die Versionsverwaltung der CLI und des SDK kann zu Kompatibilitätsproblemen führen.

Um diese Probleme zu beheben, verwendet die neu gestaltete Architektur einen optimierteren Ansatz. Die neue Architektur lautet wie folgt:

In dieser neuen Architektur:

• Ihre Anwendung ist eigenständig. Die Lokale Cli für Foundry muss nicht separat auf dem Computer des Endbenutzers installiert werden, sodass Sie Anwendungen einfacher bereitstellen können.
• Der REST-Webserver ist optional. Sie können den Webserver weiterhin verwenden, wenn Sie in andere Tools integriert werden möchten, die über HTTP kommunizieren.
• Das SDK bietet native Unterstützung für Chatabschlusse und Audiotranskriptionen, sodass Sie Unterhaltungs-KI-Anwendungen mit weniger Abhängigkeiten erstellen können.

API-Änderungen

Die neueste Version bietet eine objektorientiertere und komponierbare API. Der Haupteinstiegspunkt ist weiterhin die FoundryLocalManager Klasse, aber das Initialisierungsmuster, die Modellverwaltung und -ableitung haben sich alle erheblich geändert.

Die API ermöglicht die Konfiguration von Foundry Local über den Webserver, die Protokollierung, den Cachespeicherort und die Modellvariantenauswahl. Die Configuration Klasse ermöglicht es Ihnen, beispielsweise den Anwendungsnamen, den Protokollierungsgrad, die Webserver-URLs sowie die Verzeichnisse für Anwendungsdaten, Modellcache und Protokolle einzurichten:

from foundry_local_sdk import Configuration

config = Configuration(
    app_name="app-name",
    log_level="info",
    web={"urls": "http://127.0.0.1:55588"},
    model_cache_dir="./foundry_local_data/model_cache",
)

Referenzen

• Verwenden von Chatabschlussen über REST-Server
• Verwendung der Foundry Local nativen Chat-Completions-API

Rust SDK-Migrationshandbuch

Um Ihre Fähigkeit zur Bereitstellung von Anwendungen mit geräteseitiger KI zu verbessern, gibt es erhebliche Änderungen an der Architektur des Rust SDK. In diesem Abschnitt erläutern wir die wichtigsten Änderungen, mit denen Sie Ihre Anwendungen zur neuesten Version des SDK migrieren können.

Das folgende Diagramm zeigt, wie sich die vorherige Architektur stark auf die Verwendung eines REST-Webservers zum Verwalten von Modellen und Rückschlüssen wie Chatabschlussen stützt:

Das SDK würde einen Remoteprozeduraufruf (REMOTE Procedure Call, RPC) verwenden, um die ausführbare Datei der Foundry Local CLI auf dem Computer zu finden, den Webserver zu starten und dann über HTTP mit ihr zu kommunizieren. Diese Architektur hatte mehrere Einschränkungen, darunter:

• Komplexität beim Verwalten des Webserverlebenszyklus.
• Anspruchsvolle Bereitstellung: Endbenutzer mussten die Foundry Local-CLI auf ihren Computern und Ihre Anwendung installiert haben.
• Die Versionsverwaltung der CLI und des SDK kann zu Kompatibilitätsproblemen führen.

Um diese Probleme zu beheben, verwendet die neu gestaltete Architektur einen optimierteren Ansatz. Die neue Architektur lautet wie folgt:

In dieser neuen Architektur:

• Ihre Anwendung ist eigenständig. Die Lokale Cli für Foundry muss nicht separat auf dem Computer des Endbenutzers installiert werden, sodass Sie Anwendungen einfacher bereitstellen können.
• Der REST-Webserver ist optional. Sie können den Webserver weiterhin verwenden, wenn Sie in andere Tools integriert werden möchten, die über HTTP kommunizieren.
• Das SDK bietet native Unterstützung für Chatabschlusse und Audiotranskriptionen, sodass Sie Unterhaltungs-KI-Anwendungen mit weniger Abhängigkeiten erstellen können.

API-Änderungen

Die neueste Version bietet eine objektorientiertere und komponierbare API. Das Generatormuster wurde durch einen konfigurationsbasierten Ansatz ersetzt, und die Modellverwaltung verwendet jetzt dedizierte Model Objekte.

Das neue SDK bietet native Chat- und Audioclients, sodass in den meisten Fällen manuelle HTTP-Anforderungen nicht erforderlich sind:

use foundry_local_sdk::{FoundryLocalConfig, FoundryLocalManager};

let config = FoundryLocalConfig::new("app-name");
let manager = FoundryLocalManager::create(config)?;

let model = manager.catalog().get_model("qwen2.5-0.5b").await?;
model.download(None).await?;
model.load().await?;

// Native chat client - no HTTP server needed
let client = model.create_chat_client().temperature(0.7).max_tokens(256);

Referenzen

• Verwenden von Chatabschlussen über REST-Server
• Verwendung der Foundry Local nativen Chat-Completions-API