Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Von Bedeutung
DIE KI-Runtime für Einzelknotenaufgaben befindet sich in der öffentlichen Vorschau. Die verteilte Schulungs-API für Multi-GPU-Workloads verbleibt in der Betaversion.
Diese Seite enthält Notizbuchbeispiele für die Feinabstimmung großer Sprachmodelle (LLMs) mit AI Runtime. Diese Beispiele veranschaulichen verschiedene Ansätze zur Feinabstimmung, einschließlich parametereffizienter Methoden wie Low-Rank Adaption (LoRA) und vollständig überwachter Feinabstimmung.
| Tutorial | Beschreibung |
|---|---|
| Optimierung des Qwen2-0.5B-Modells | Optimieren Sie das Qwen2-0.5B-Modell effizient mit Transformator-Verstärkungslernen (TRL), Liger Kernels für speichereffizientes Training und LoRA für parametereffiziente Feinabstimmung. |
| Feinabstimmung von Llama-3.2-3B mit Unsloth | Feinabstimmung von Llama-3.2-3B mithilfe der Unsloth-Bibliothek. |
| Überwachte Feinabstimmung mit DeepSpeed und TRL | Verwenden Sie die Serverless GPU Python-API, um überwachte Feinabstimmungen (SFT) mithilfe der Transformer Reinforcement Learning (TRL)-Bibliothek mit DeepSpeed ZeRO Phase 3 Optimierung auszuführen. |
| LORA Feinabstimmung mit Axolotl | Verwenden Sie die Serverless-GPU-Python-API, um ein Olmo3-7B-Modell mithilfe der Axolotl-Bibliothek mit LORA feinzutunen. |
| Verteilte Feinabstimmung von Qwen2-0,5B | Optimieren Sie das Qwen2-0.5B-Modell mithilfe von LoRA- und Liger-Kernels für eine speichereffiziente verteilte Schulung mit Parameterreduzierung. |
| Verteiltes Fein-Tuning von Llama-3.2-3B mit Unsloth | Durchführen einer Feinabstimmung von Llama-3.2-3B mittels verteiltem Training über mehrere GPUs mit der Unsloth-Bibliothek für ein optimiertes, parametereffizientes Training. |
| Die Feinabstimmung von Llama 3.1 8B mit LLM Foundry | Feinjustierung des Llama 3.1 8B-Modells unter Verwendung der Mosaic LLM Foundry mit verteilten Trainingsstrategien und Evaluierung des Modells. |
| Feinabstimmung GPT-OSS 120B mit DDP und FSDP | Optimieren Sie das GPT-OSS 120B-Modell von OpenAI mit supervisierter Feinabstimmung auf H100 GPUs mit DDP und FSDP verteilten Trainingsstrategien. |
| Verteiltes Training mit PyTorch FSDP | Trainiere Transformer-Modelle mit PyTorch Fully Sharded Data Parallel (FSDP), um Modellparameter auf mehreren GPUs zu verteilen. |
Video-Demo
Dieses Video beschreibt ausführlich das Beispielnotizbuch Llama-3.2-3B feinabstimmen mit Unsloth (12 Minuten).