Usa IA local com Microsoft Foundry on Windows

Microsoft Foundry on Windows é a solução principal para programadores que procuram integrar capacidades de IA local nas suas aplicações Windows.

Microsoft Foundry on Windows fornece aos programadores...

• Modelos e APIs de IA prontos a usar via Windows AI APIs e Foundry Local
• Framework de inferência de IA para executar qualquer modelo localmente através de Windows ML

Independentemente de seres novo em IA ou um especialista experiente em Machine Learning (ML), Microsoft Foundry on Windows tem algo para ti.

Modelos e APIs de IA prontos a usar

A sua aplicação pode utilizar facilmente os seguintes modelos e APIs locais de IA em menos de uma hora. A distribuição e o tempo de execução dos ficheiros de modelo são geridos pela Microsoft, e os modelos são partilhados entre as aplicações. Usar estes modelos e APIs requer apenas algumas linhas de código, sem qualquer conhecimento em ML.

Usar outros modelos com Windows ML

Podes usar uma grande variedade de modelos do Hugging Face ou de outras fontes, ou até treinar os teus próprios modelos, e executá-los localmente em PCs Windows 10 e posteriores usando Windows ML(a compatibilidade e desempenho dos modelos variam consoante o hardware do dispositivo).

Consulte encontrar ou treinar modelos para uso com Windows ML para saber mais.

Com que opção começar

Siga esta árvore de decisão para selecionar a melhor abordagem para a sua aplicação e cenário:

1. Verifique se o Windows AI APIs integrado cobre o seu cenário e se está destinado a PCs com Copilot+. Este é o caminho mais rápido para o mercado com esforço mínimo de desenvolvimento.

2. Se o Windows AI APIs não tiver o que precisa, ou precisar de suportar Windows 10 e posteriores, considere Foundry Local para cenários de LLM ou conversão de voz em texto.

3. Se precisares de modelos personalizados, quiseres aproveitar modelos existentes do Hugging Face ou de outras fontes, ou tiveres requisitos específicos de modelos que não estão cobertos pelas opções acima, o Windows ML dá-te a flexibilidade para encontrar ou treinar os teus próprios modelos (e suporta Windows 10 e posteriores).

A sua aplicação também pode usar uma combinação destas três tecnologias.

Tecnologias disponíveis para IA local

As seguintes tecnologias estão disponíveis em Microsoft Foundry on Windows:

Microsoft Foundry on Windows inclui também ferramentas para programadores como Foundry Toolkit para Visual Studio Code e AI Dev Gallery que o ajudarão a ter sucesso a desenvolver capacidades de IA.

Foundry Toolkit for Visual Studio Code é uma Extensão VS Code que permite descarregar e executar modelos de IA localmente, incluindo acesso a aceleração por hardware para melhor desempenho e escalabilidade através do DirectML. O Foundry Toolkit também pode ajudar-te com:

• Testando modelos em um playground intuitivo ou em seu aplicativo com uma API REST.
• Ajustando seu modelo de IA, tanto localmente quanto na nuvem (em uma máquina virtual) para criar novas habilidades, melhorar a confiabilidade das respostas, definir o tom e o formato da resposta.
• Ajuste fino de modelos populares de linguagem pequena (SLMs), como Phi-3 e Mistral.
• Implante seu recurso de IA na nuvem ou com um aplicativo executado em um dispositivo.
• Aproveite a aceleração de hardware para obter um melhor desempenho com recursos de IA usando DirectML. O DirectML é uma API de baixo nível que permite ao hardware do seu dispositivo Windows acelerar o desempenho dos modelos de ML usando a GPU ou NPU do dispositivo. Emparelhar o DirectML com o ONNX Runtime é normalmente a maneira mais simples para os desenvolvedores trazerem IA acelerada por hardware para seus usuários em escala. Saiba mais: Visão geral do DirectML.
• Quantize e valide um modelo para uso em NPU usando os recursos de conversão de modelo

Ideias para tirar partido da IA local

Algumas formas pelas quais as aplicações Windows podem aproveitar a IA local para melhorar a sua funcionalidade e experiência do utilizador incluem:

• As aplicações podem usar modelos de LLM de IA Generativa para compreender tópicos complexos e resumir, reescrever, reportar ou expandir.
• As aplicações podem usar modelos LLM para transformar conteúdos livres num formato estruturado que a sua aplicação possa compreender.
• As aplicações podem usar modelos de Pesquisa Semântica que permitem aos utilizadores pesquisar conteúdo pelo significado e encontrar rapidamente conteúdos relacionados.
• Os aplicativos podem usar modelos de processamento de linguagem natural para raciocinar sobre requisitos complexos de linguagem natural e planejar e executar ações para atender à solicitação do usuário.
• Os aplicativos podem usar modelos de manipulação de imagem para modificar imagens de forma inteligente, apagar ou adicionar assuntos, escalonar ou gerar novos conteúdos.
• Os aplicativos podem usar modelos de diagnóstico preditivos para ajudar a identificar e prever problemas e ajudar a orientar o usuário ou fazer isso por ele.

Usando modelos de IA na nuvem

Se usar recursos de IA locais não é o caminho certo para você, usar modelos e recursos de IA na nuvem pode ser uma solução.

Use práticas de IA responsável

Sempre que estiver a incorporar funcionalidades de IA na sua aplicação Windows, recomendamos altamente seguir as orientações Desenvolvimento de Aplicações e Funcionalidades de IA Generativa Responsáveis no Windows.