ai_query verwenden

ai_query ist eine allgemeine AI-Funktion mit der Sie alle unterstützten KI-Modelle direkt aus SQL oder Python abfragen können. Im Gegensatz zu aufgabenspezifischen KI-Funktionen, die für eine bestimmte Aufgabe entwickelt und optimiert sind, haben Sie bei ai_query die vollständige Kontrolle über Modell, Prompt und Parameter.

Vollständige Syntax- und Parameterreferenz finden Sie unter ai_query Funktion.

Wann verwendet werden soll ai_query

Databricks empfiehlt, mit einer aufgabenspezifischen KI-Funktion zu beginnen, wenn eine mit Ihrem Ziel übereinstimmt. Verwenden Sie diese Funktion ai_query , wenn eine aufgabenspezifische Funktion Ihren Anforderungen nicht entspricht. Wenn Sie beispielsweise Folgendes tun müssen:

• Steuern Sie die Eingabeaufforderung, die Modellparameter oder das Ausgabeformat präziser.
• Abfragen eines benutzerdefinierten, optimierten oder externen Modells
• Benötigen Sie Flexibilität, um den Durchsatz oder die Qualität weiter zu optimieren.

Bewährte Methoden

• Verwenden Sie von Databricks gehostete Modelle. Verwenden Sie von Databricks gehostete Foundation-Modellendpunkte (präfixiert mit databricks-) anstelle von bereitgestellten Durchsatzendpunkten. Diese Endpunkte werden vollständig verwaltet und ohne Bereitstellung oder Konfiguration automatisch skaliert.
• Wählen Sie ein Modell aus, das für die Batch-Ableitung optimiert ist. Databricks optimiert bestimmte Modelle für Batchworkloads mit hohem Durchsatz. Die Verwendung eines nicht optimierten Modells kann zu einem reduzierten Durchsatz und längeren Auftragsabschlusszeiten führen. Die vollständige Liste der batchoptimierten Modelle finden Sie unter "Unterstützte Modelle ".
• Übermitteln Sie Ihr vollständiges Dataset in einer einzigen Abfrage. KI-Funktionen behandeln automatisch Parallelisierung, Wiederholungen und Skalierung. Das manuelle Aufteilen von Daten in kleine Batches kann den Durchsatz reduzieren.
• failOnError wird für große Workloads auf false festgelegt. Dadurch kann der Auftrag abgeschlossen werden und Fehlermeldungen für fehlgeschlagene Zeilen zurückgeben, sodass die erfolgreichen Ergebnisse erhalten bleiben, ohne das gesamte Dataset erneut verarbeiten zu müssen.

Unterstützte Modelle

ai_query unterstützt von Databricks gehostete Modelle, bereitgestellte Durchsatzmodelle, benutzerdefinierte Modelle und externe Modelle.

In der folgenden Tabelle sind die unterstützten Modelltypen, die zugehörigen Modelle sowie die Konfigurationsanforderungen für die Bereitstellung von Endpunkten für jedes Modell zusammengefasst.

Verwenden ai_query mit Foundation-Modellen

Im folgenden Beispiel wird die Verwendung von ai_query mit einem Foundation-Modell veranschaulicht, das von Azure Databricks gehostet wird.

• Informationen zu Syntaxdetails und Parametern finden Sie in ai_query der Funktion .
• Beispiele für multimodale Eingabeabfragen finden Sie unter "Multimodale Eingabeeingaben ".
• Unter "Beispiele für erweiterte Szenarien" finden Sie Anleitungen zum Konfigurieren von Parametern für erweiterte Anwendungsfälle, z. B.:
  • Behandeln von Fehlern mithilfe von failOnError
  • Strukturierte Ausgaben auf Azure Databricks zur Angabe einer strukturierten Ausgabe für die Abfrageantworten.

SQL

SELECT text, ai_query(
    "databricks-gpt-oss-120b",
    "Summarize the given text comprehensively, covering key points and main ideas concisely while retaining relevant details and examples. Ensure clarity and accuracy without unnecessary repetition or omissions: " || text
) AS summary
FROM uc_catalog.schema.table;

Python

df_out = df.selectExpr(
  "ai_query('databricks-gpt-oss-120b', CONCAT('Please provide a summary of the following text: ', text), modelParameters => named_struct('max_tokens', 100, 'temperature', 0.7)) as summary"
)
df_out.write.mode("overwrite").saveAsTable('output_table')

Beispielnotizbuch: Batchableitung und strukturierte Datenextraktion

Im folgenden Beispielnotizbuch wird veranschaulicht, wie Sie mithilfe der einfachen strukturierten Datenextraktion ai_query rohe, unstrukturierte Daten in organisierte, verwendbare Informationen über automatisierte Extraktionstechniken transformieren. Dieses Notizbuch zeigt auch, wie Sie die Agent-Auswertung nutzen, um die Genauigkeit mithilfe von Boden-Wahrheitsdaten auszuwerten.

Batch-Inferenz und Notebook zur Extraktion strukturierter Daten

Notebook abrufen

Verwenden Sie ai_query mit herkömmlichen ML-Modellen

ai_query unterstützt herkömmliche ML-Modelle, einschließlich vollständig benutzerdefinierter Modelle. Diese Modelle müssen auf Model Serving-Endpunkten bereitgestellt werden. Informationen zu Syntaxdetails und Parametern finden Sie unter ai_query Funktion.

SELECT text, ai_query(
  endpoint => "spam-classification",
  request => named_struct(
    "timestamp", timestamp,
    "sender", from_number,
    "text", text),
  returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10

Beispielnotizbuch: Batch-Inferenz mit BERT für die Erkennung benannter Entitäten

Das folgende Notizbuch zeigt ein herkömmliches ML-Modellbatch-Ableitungsbeispiel mit BERT.

Batch-Inferenz mithilfe von BERT für die Erkennung benannter Entitäten im Notizbuch

Notebook abrufen