Usar IA local com Microsoft Foundry on Windows

Microsoft Foundry on Windows é a principal solução para desenvolvedores que buscam integrar recursos locais de IA em seus aplicativos Windows.

Microsoft Foundry on Windows fornece aos desenvolvedores...

• Modelos de IA e APIs prontos para uso via Windows AI APIs e Foundry Local
• Estrutura de inferência de IA para executar qualquer modelo localmente por meio de Windows ML

Independentemente de você ser novo em IA ou um especialista experiente em Machine Learning (ML), Microsoft Foundry on Windows tem algo para você.

Um diagrama mostrando os vários componentes que compõem Microsoft Foundry on Windows (Windows AI APIs, Foundry Local e Windows ML).

APIs e modelos de IA prontos para uso

Seu aplicativo pode usar facilmente os seguintes modelos locais de IA e APIs em menos de uma hora. A distribuição e o runtime dos arquivos de modelo são tratados por Microsoft e os modelos são compartilhados entre aplicativos. Usar esses modelos e APIs usa apenas um punhado de linhas de código, sem necessidade de experiência de ML.

Usando outros modelos com Windows ML

Você pode usar uma ampla variedade de modelos do Hugging Face ou de outras fontes ou até mesmo treinar seus próprios modelos e executá-los localmente em computadores Windows 10 e posteriores usando Windows ML(a compatibilidade e o desempenho do modelo variarão de acordo com o hardware do dispositivo).

Para saber mais, consulte encontrar ou treinar modelos para uso com Windows ML.

Com qual opção começar

Siga esta árvore de decisão para selecionar a melhor abordagem para seu aplicativo e cenário:

1. Verifique se o Windows AI APIs integrado abarca o seu cenário e se você está visando computadores Copilot+. Este é o caminho mais rápido para o mercado com o mínimo de esforço de desenvolvimento.

2. Se o Windows AI APIs não tiver o que você precisa ou se precisar oferecer suporte ao Windows 10 e versões posteriores, considere Foundry Local para cenários LLM ou de conversão de voz para texto.

3. Se você precisar de modelos personalizados, deseja aproveitar os modelos existentes do Hugging Face ou de outras fontes ou tem requisitos de modelo específicos que não são cobertos pelas opções acima, Windows ML oferece a flexibilidade para localizar ou treinar seus próprios modelos (e dá suporte Windows 10 e posterior).

Seu aplicativo também pode usar uma combinação de todas essas três tecnologias.

Tecnologias disponíveis para IA local

As seguintes tecnologias estão disponíveis em Microsoft Foundry on Windows:

Microsoft Foundry on Windows também inclui ferramentas de desenvolvedor, como Foundry Toolkit para Visual Studio Code e AI Dev Gallery que ajudarão você a criar recursos de IA com êxito.

Foundry Toolkit para Visual Studio Code é uma Extensão do VS Code que permite baixar e executar modelos de IA localmente, incluindo acesso à aceleração de hardware para melhor desempenho e dimensionamento por DirectML. Também é possível que o Foundry Toolkit o ajude com:

• Testando modelos em um playground intuitivo ou em seu aplicativo com uma API REST.
• Ajuste fino seu modelo de IA, localmente ou na nuvem (em uma máquina virtual) para criar novas habilidades, melhorar a confiabilidade das respostas, definir o tom e o formato da resposta.
• Ajuste fino de modelos populares de linguagem pequena (SLMs), como Phi-3 e Mistral.
• Implante o recurso de IA na nuvem ou com um aplicativo executado em um dispositivo.
• Aproveite a aceleração de hardware para melhorar o desempenho com os recursos de IA usando o DirectML. O DirectML é uma API de baixo nível que permite que seu hardware de dispositivo Windows acelere o desempenho de modelos de ML usando a GPU ou a NPU do dispositivo. O emparelhamento do DirectML com o ONNX Runtime normalmente é a maneira mais simples para os desenvolvedores levarem a IA acelerada por hardware para seus usuários em escala. Saiba mais: Visão Geral do DirectML.
• Quantificar e validar um modelo para uso na NPU usando os recursos de conversão de modelo

Ideias para aproveitar a IA local

Algumas maneiras que Windows aplicativos podem aproveitar a IA local para aprimorar sua funcionalidade e experiência do usuário incluem:

• Os aplicativos podem usar modelos LLM de IA Generativa para entender tópicos complexos a fim de resumir, reescrever, relatar ou expandir.
• Os aplicativos podem usar modelos llm para transformar conteúdo de forma livre em um formato estruturado que seu aplicativo pode entender.
• Os aplicativos podem usar modelos de Pesquisa Semântica que permitem que os usuários pesquisem conteúdo por meio do significado e encontrem rapidamente o conteúdo relacionado.
• Os aplicativos podem usar modelos de processamento de linguagem natural para raciocinar sobre requisitos complexos de linguagem natural e planejar e executar ações para realizar a solicitação do usuário.
• Os aplicativos podem usar modelos de manipulação de imagem para modificar imagens de forma inteligente, apagar ou adicionar elementos, aumentar a resolução ou gerar novo conteúdo.
• Os aplicativos podem usar modelos de diagnóstico preditivo para ajudar a identificar e prever problemas e ajudar a orientar o usuário ou fazer isso por eles.

Usando modelos de IA de nuvem

Se usar recursos locais de IA não for o caminho certo para você, usar modelos e recursos de IA de nuvem pode ser uma solução.

Usar práticas de IA responsável

Sempre que você estiver incorporando recursos de IA em seu aplicativo Windows, recomendamos seguir as diretrizes do documento Desenvolvendo Aplicações e Funcionalidades de IA Generativa Responsáveis no Windows.