Foundry Local SDK 参考

C# SDK 参考

安装软件包

如果您正在Windows上开发或部署，请选择“Windows”选项卡。Windows包与Windows ML运行时集成，提供相同的API接口，并支持更广泛的硬件加速范围。

dotnet add package Microsoft.AI.Foundry.Local.WinML
dotnet add package OpenAI

dotnet add package Microsoft.AI.Foundry.Local
dotnet add package OpenAI

GitHub存储库中的 C# 示例是预配置项目。 如果要从头开始生成，则应阅读 Foundry Local SDK 参考 ，详细了解如何使用 Foundry Local 设置 C# 项目。

项目配置

示例存储库包含一个自动处理平台检测的 .csproj 文件。 如果要从头开始生成项目，请使用此配置作为参考：

<Project Sdk="Microsoft.NET.Sdk">

  <PropertyGroup>
    <OutputType>Exe</OutputType>
    <ImplicitUsings>enable</ImplicitUsings>
    <Nullable>enable</Nullable>
  </PropertyGroup>

  <!-- Windows: target Windows SDK for WinML hardware acceleration -->
  <PropertyGroup Condition="$([MSBuild]::IsOSPlatform('Windows'))">
    <TargetFramework>net9.0-windows10.0.26100</TargetFramework>
    <WindowsAppSDKSelfContained>false</WindowsAppSDKSelfContained>
    <Platforms>ARM64;x64</Platforms>
    <WindowsPackageType>None</WindowsPackageType>
    <EnableCoreMrtTooling>false</EnableCoreMrtTooling>
  </PropertyGroup>

  <!-- Non-Windows: standard .NET -->
  <PropertyGroup Condition="!$([MSBuild]::IsOSPlatform('Windows'))">
    <TargetFramework>net9.0</TargetFramework>
  </PropertyGroup>

  <PropertyGroup Condition="'$(RuntimeIdentifier)'==''">
    <RuntimeIdentifier>$(NETCoreSdkRuntimeIdentifier)</RuntimeIdentifier>
  </PropertyGroup>

  <!-- Windows: WinML for hardware acceleration -->
  <ItemGroup Condition="$([MSBuild]::IsOSPlatform('Windows'))">
    <PackageReference Include="Microsoft.AI.Foundry.Local.WinML" />
  </ItemGroup>

  <!-- Non-Windows: standard SDK -->
  <ItemGroup Condition="!$([MSBuild]::IsOSPlatform('Windows'))">
    <PackageReference Include="Microsoft.AI.Foundry.Local" />
  </ItemGroup>

  <!-- Linux GPU support -->
  <ItemGroup Condition="'$(RuntimeIdentifier)' == 'linux-x64'">
    <PackageReference Include="Microsoft.ML.OnnxRuntime.Gpu" />
    <PackageReference Include="Microsoft.ML.OnnxRuntimeGenAI.Cuda" />
  </ItemGroup>

  <!-- Shared utilities -->
  <ItemGroup>
    <Compile Include="../Shared/*.cs" />
  </ItemGroup>

</Project>

下表说明了关键项目设置：

快速入门

使用此代码片段验证 SDK 是否可以初始化和访问本地模型目录。

using Microsoft.AI.Foundry.Local;
using Microsoft.Extensions.Logging;
using System.Linq;

var config = new Configuration
{
  AppName = "app-name",
  LogLevel = Microsoft.AI.Foundry.Local.LogLevel.Information,
};

using var loggerFactory = LoggerFactory.Create(builder =>
{
  builder.SetMinimumLevel(Microsoft.Extensions.Logging.LogLevel.Information);
});
var logger = loggerFactory.CreateLogger<Program>();

await FoundryLocalManager.CreateAsync(config, logger);
var manager = FoundryLocalManager.Instance;

var catalog = await manager.GetCatalogAsync();
var models = await catalog.ListModelsAsync();

Console.WriteLine($"Models available: {models.Count()}");

此示例打印你的硬件支持的模型数量。

示例

• 有关演示如何使用 Foundry Local C# SDK 的示例应用程序，请参阅 Foundry Local C# SDK 示例GitHub存储库。

API 参考

• 有关 Foundry Local C# SDK 的更多详细信息，请参阅 Foundry Local C# SDK API 参考。

本机音频转录 API

C# SDK 包括一个本机音频客户端，用于使用 Whisper 模型在设备上转录音频文件。 这会在进程内运行推理，而无需 REST Web 服务器。

获取音频客户端

加载 Whisper 模型后，获取音频客户端：

var audioClient = await model.GetAudioClientAsync();

音频听录方法

AudioClient 设置

示例

var audioClient = await model.GetAudioClientAsync();
audioClient.Settings.Language = "en";
audioClient.Settings.Temperature = 0.0f;

await foreach (var chunk in audioClient.TranscribeAudioStreamingAsync(
    "recording.mp3", CancellationToken.None))
{
    Console.Write(chunk.Text);
}

参考：

• 使用 Foundry Local 转录音频文件

JavaScript SDK 参考文档

安装软件包

如果您正在Windows上开发或部署，请选择“Windows”选项卡。Windows包与Windows ML运行时集成，提供相同的API接口，并支持更广泛的硬件加速范围。

npm install foundry-local-sdk-winml openai

npm install foundry-local-sdk openai

快速入门

使用此代码片段验证 SDK 是否可以初始化和访问本地模型目录。

import { FoundryLocalManager } from 'foundry-local-sdk';

console.log('Initializing Foundry Local SDK...');

const manager = FoundryLocalManager.create({
    appName: 'foundry_local_samples',
    logLevel: 'info'
});
console.log('✓ SDK initialized successfully');

// Explore available models
console.log('\nFetching available models...');
const catalog = manager.catalog;
const models = await catalog.getModels();

console.log(`Found ${models.length} models:`);
for (const model of models) {
    console.log(`  - ${model.alias}`);
}

此示例输出硬件的可用模型列表。

示例

• 有关演示如何使用 Foundry Local JavaScript SDK 的示例应用程序，请参阅 Foundry Local JavaScript SDK 示例GitHub存储库。

API 参考

• 有关 Foundry Local JavaScript SDK 的更多详细信息，请参阅 Foundry Local JavaScript SDK API 参考。

参考

• 与推理 SDK 集成
• 使用 Foundry Local 原生聊天完成 API

Python SDK 参考

安装软件包

如果您正在Windows上开发或部署，请选择“Windows”选项卡。Windows包与Windows ML运行时集成，提供相同的API接口，并支持更广泛的硬件加速范围。

pip install foundry-local-sdk-winml openai

pip install foundry-local-sdk openai

快速入门

使用此代码片段验证 SDK 是否可以初始化和访问本地模型目录。

import asyncio
from foundry_local_sdk import Configuration, FoundryLocalManager


async def main():
    config = Configuration(app_name="app-name")
    FoundryLocalManager.initialize(config)
    manager = FoundryLocalManager.instance

    models = manager.catalog.list_models()
    print(f"Models available: {len(models)}")


if __name__ == "__main__":
    asyncio.run(main())

此示例打印你的硬件支持的模型数量。

示例

• 有关演示如何使用 Foundry Local Python SDK 的示例应用程序，请参阅 Foundry Local SDK 示例GitHub存储库。

配置

类 Configuration 允许自定义 SDK 行为：

from foundry_local_sdk import Configuration

config = Configuration(
    app_name="app-name",
    log_level="info",
    model_cache_dir="./foundry_local_data/model_cache",
    web={"urls": "http://127.0.0.1:55588"},
)

核心 API

原生聊天补全 API

加载模型后，获取聊天客户端：

client = model.get_chat_client()

本机音频转录 API

加载 Whisper 模型后，获取音频客户端：

audio_client = model.get_audio_client()

参考：

• 使用 Foundry Local 转录音频文件
• 使用 Foundry Local 原生聊天完成 API
• 通过 REST 服务器使用聊天自动完成功能

Rust SDK 文档参考

安装软件包

如果您正在Windows上开发或部署，请选择“Windows”选项卡。Windows包与Windows ML运行时集成，提供相同的API接口，并支持更广泛的硬件加速范围。

cargo add foundry-local-sdk --features winml
cargo add tokio --features full
cargo add tokio-stream anyhow

cargo add foundry-local-sdk
cargo add tokio --features full
cargo add tokio-stream anyhow

快速入门

使用此代码片段验证 SDK 是否可以初始化和访问本地模型目录。

use foundry_local_sdk::{FoundryLocalConfig, FoundryLocalManager};

#[tokio::main]
async fn main() -> anyhow::Result<()> {
    let manager = FoundryLocalManager::create(FoundryLocalConfig::new("app-name"))?;

    let models = manager.catalog().get_models().await?;
    println!("Models available: {}", models.len());

    Ok(())
}

此示例打印你的硬件支持的模型数量。

示例

• 有关演示如何使用 Foundry Local Rust SDK 的示例应用程序，请参阅 Foundry Local SDK 示例GitHub存储库。

配置

该 FoundryLocalConfig 结构允许自定义 SDK 行为：

use foundry_local_sdk::FoundryLocalConfig;

let config = FoundryLocalConfig::new("app-name")
    .with_log_level("info")
    .with_model_cache_dir("./foundry_local_data/model_cache")
    .with_web_urls("http://127.0.0.1:55588");

核心 API

原生聊天补全 API

加载模型后，使用可选设置创建聊天客户端：

let client = model.create_chat_client()
    .temperature(0.7)
    .max_tokens(256);

消息类型：ChatCompletionRequestSystemMessage、、ChatCompletionRequestUserMessageChatCompletionRequestMessage.

本机音频转录 API

加载 Whisper 模型后，创建音频客户端：

let audio_client = model.create_audio_client();

参考：

• 使用 Foundry Local 转录音频文件
• 使用 Foundry Local 原生聊天完成 API
• 通过 REST 服务器使用聊天自动完成功能