Featurização para transferência de aprendizado

Este artigo fornece um exemplo de como fazer a definição de recursos para transferência de aprendizado usando UDFs do Pandas.

Featurização para transferência de aprendizado em modelos de DL

O Azure Databricks dá suporte à personalização com modelos de aprendizado profundo. Modelos de aprendizado profundo pré-treinados podem ser usados para computar recursos para uso em outros modelos de downstream. O Azure Databricks dá suporte à personalização em escala, distribuindo a computação em um cluster. É possível realizar a extração de características com as bibliotecas de aprendizado profundo incluídas no Databricks Runtime ML, incluindo TensorFlow e PyTorch.

O Azure Databricks também dá suporte a aprendizado de transferência, uma técnica bastante relacionada à featurização. O aprendizado de transferência permite que você reutilize o conhecimento de um domínio com problema em um domínio relacionado. Featurização é, em si, um método simples e poderoso para aprendizado por transferência: a computação de características usando um modelo de aprendizado profundo pré-treinado transfere conhecimento sobre boas características do domínio original.

Etapas para calcular características para aprendizado por transferência

Este artigo demonstra como calcular recursos para a transferência de aprendizado usando um modelo do TensorFlow previamente treinado por meio do seguinte fluxo de trabalho:

1. Comece com um modelo de aprendizado profundo previamente treinado, neste caso, um modelo de classificação de imagem de tensorflow.keras.applications.
2. Trunque as últimas camadas do modelo. O modelo modificado produz um tensor de características como saída, em vez de uma previsão.
3. Aplique esse modelo a um novo conjunto de dados de imagem de um domínio de problema diferente, calculando os recursos para as imagens.
4. Use esses recursos para treinar um novo modelo. O caderno a seguir omite a etapa final. Para obter exemplos de treinamento de um modelo simples, como regressão logística, confira Treinar modelos de IA e ML.

Exemplo: usar UDFs do Pandas para personalização

O notebook a seguir usa UDFs do Pandas para executar a etapa de definição de recursos. pandas UDFs, e sua nova variante pandas UDFs de iterador escalar, oferecem APIs flexíveis, dão suporte a qualquer biblioteca de aprendizado profundo e proporcionam alto desempenho.

Featurização e transferência de aprendizado com TensorFlow

Obter notebook