Databricks Runtime 18.2 (Beta)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 18.2 (Beta).

Diese Version enthält alle Features, Verbesserungen und Fehlerbehebungen aller vorherigen Databricks-Runtime-Versionen. Databricks hat diese Version im April 2026 veröffentlicht.

Änderungen des Verhaltens

• XPath ruft keine externen DTDs mehr ab
• NULL-Strukturbewahrung bei INSERT, MERGE und bei Streaming-Schreibvorgängen mit Schemaentwicklung
• NullType-Unterstützung (VOID) in Delta-Tabellen
• SHOW CREATE TABLE unterstützt Metrikansichten
• Fix für LEFT OUTER JOIN LATERAL, das Zeilen entfernt
• NATURAL JOIN berücksichtigt den Abgleich von Spalten ohne Groß-/Kleinschreibung.
• SQL UDF-Abhängigkeitsüberprüfung im Unity-Katalog
• Optimierte Schreibvorgänge für partitionierte Unity-Katalogtabellen, die mit CRTAS erstellt wurden
• AWS SDK v1-Abhängigkeiten sind schattiert
• Korrektur der fehlerhaften EPSG-Autorität bei ESRI-definierter SRID 102100

XPath ruft keine externen DTDs mehr ab

Wenn Sie XPath über XML auswerten, lädt Azure Databricks keine externen Dokumenttypdefinitionen (DTDs), die im Dokument deklariert sind. Bisher konnte XPath fehlschlagen, wenn der XML-Code einen externen DTD-Verweis enthielt, der auf eine falsch formatierte URL oder einen nicht erreichbaren Endpunkt verweist. Da die DTD-Überprüfung von der XPath-Auswertung getrennt ist, geben Abfragen, die bereits erfolgreich waren, dieselben Ergebnisse wie zuvor zurück. Abfragen, die zuvor nur während des externen DTD-Abrufs fehlgeschlagen waren, können jetzt erfolgreich sein.

NULL-Strukturarchivierung in INSERT, MERGE und Streaming-Schreibvorgängen mit Schemaentwicklung

Für INSERT, MERGE, und Streaming-Schreibvorgänge, die Schema-Evolution verwenden, wird nun eine NULL-Struct in der Quelle als NULL im Ziel gespeichert. Zuvor wurde dieser Wert fälschlicherweise als eine Nicht-Null-Struktur materialisiert, bei der jedes Feld auf NULL gesetzt wurde, während dieselben Vorgänge ohne Schema-Evolution ordnungsgemäß NULL-Strukturen beibehalten haben. Wenn ihr Code auf dem Empfang einer Nicht-Null-Struktur basiert, deren Felder alle NULL waren, aktualisieren Sie den Code stattdessen, um eine NULL-Struktur zu behandeln.

Unterstützung von NullType (VOID) in Delta-Tabellen

Delta-Tabellen unterstützen jetzt Spalten von VOID (von Spark's NullType). VOID Spalten werden beim Lesen nicht mehr aus dem Tabellenschema gelöscht. Schreibvorgänge sind nicht betroffen. Siehe VOID Typ für Einschränkungen, wo VOID Spalten im Schema erscheinen können.

SHOW CREATE TABLE unterstützt Metrikansichten

SHOW CREATE TABLE unterstützt jetzt Metrikansichten. Zuvor hat das Ausführen dieses Befehls in einer Metrikansicht einen Fehler ausgelöst. Die Ausgabe für Metriksichten enthält den vollqualifizierten dreiteiligen Namen mit Katalog (z. B. CREATE VIEW catalog.db.my_metric_view ...), wodurch es einfacher ist, die Metriksicht an der richtigen Position wiederherzustellen.

Korrektur für LEFT OUTER JOIN LATERAL, die Zeilen entfernt

Ein Fehler, bei dem Zeilen aus LEFT OUTER JOIN LATERAL Abfragen fälschlicherweise gelöscht wurden, wurde jetzt behoben. Abfragen, die dieses Konstrukt verwenden, geben jetzt die richtigen Ergebnisse zurück. Um vorübergehend zum vorherigen Verhalten zurückzukehren, setzen Sie spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic auf true.

NATURAL JOIN unterstützt den Abgleich von groß- und kleinschreibungsunabhängigen Spalten.

NATURAL JOIN verwendet jetzt bei der spaltenübergreifenden Übereinstimmung ordnungsgemäß einen fallunempfindlichen Vergleich, wenn spark.sql.caseSensitive auf false (die Standardeinstellung) gesetzt ist. Früher verwendete NATURAL JOIN einen fallsensitiven Vergleich, um allgemeine Spalten zu identifizieren, was dazu führte, dass Spalten, die sich nur in Groß- und Kleinschreibung unterschieden (z. B. ID versus id), nicht als übereinstimmend erkannt wurden. Dies führte dazu, dass NATURAL JOIN Cross-Join-Ergebnisse still und heimlich erzeugt wurden. Diese Korrektur stimmt das Verhalten von NATURAL JOIN mit USING Verknüpfungen überein, die die Groß-/Kleinschreibung bereits korrekt berücksichtigen. Von diesem Fehler betroffene Abfragen geben jetzt korrekte Ergebnisse mit ordnungsgemäß verknüpften Spalten zurück.

SQL UDF-Abhängigkeitsüberprüfung im Unity-Katalog

Unity Catalog erzwingt jetzt die Abhängigkeitsüberprüfung für benutzerdefinierte SQL-Funktionen (UDFs), um die Umgehung der Zugriffssteuerung zu verhindern. Zuvor konnten sql-Funktionen, die über die REST-API erstellt wurden, auf Abhängigkeiten verweisen, auf die der Benutzer nicht zugreifen konnte. SQL UDFs mit ungültigen Abhängigkeitskonfigurationen werden jetzt von der Ausführung blockiert.

Optimierte Schreibvorgänge für partitionierte Unity-Katalogtabellen, die mit CRTAS erstellt wurden

Optimierte Schreibvorgänge werden jetzt ordnungsgemäß auf partitionierte Unity-Katalogtabellen angewendet, die mit CREATE OR REPLACE TABLE ... AS SELECT (CRTAS) erstellt wurden. Zuvor haben CRTAS für neue partitionierte Unity-Katalogtabellen keine optimierten Schreibvorgänge angewendet, was zu einer höheren Anzahl kleiner Dateien pro Partition führt. Dieser Fix kann die Schreiblatenz erhöhen. Wenn Sie das vorherige Verhalten wiederherstellen möchten, setzen Sie spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled auf false.

AWS SDK v1-Abhängigkeiten sind schattiert

AWS SDK v1-Abhängigkeiten, die mit Databricks Runtime gebündelt sind, sind jetzt schattiert und nicht mehr direkt auf dem Klassenpfad verfügbar. Wenn Ihr Code von AWS SDK v1-Bibliotheken abhängt, die zuvor von Databricks Runtime bereitgestellt wurden, fügen Sie sie als explizite Abhängigkeiten in Ihrem Projekt hinzu. Diese Änderung bereitet sich auf die Migration zu AWS SDK v2 vor, nachdem der AWS-Support für SDK v1 beendet wurde.

Korrigieren falscher EPSG-Autorität für ESRI-definierte SRID 102100

Die Koordinatenverweissystemzuordnung (CRS) für SRID 102100 verwendet ESRI:102100 jetzt ordnungsgemäß anstelle der falschen EPSG:102100. Dieser Fix stellt sicher, dass Geospatialdaten mit der richtigen Autorität gespeichert werden, um eine bessere Interoperabilität mit anderen Systemen zu ermöglichen.

Neue Features und Verbesserungen

• CREATE OR REPLACE-Unterstützung für temporäre Tabellen
• agg() Alias für measure() Funktion
• Snowflake JDBC-Treiber-Upgrade
• pyspark.pipelines.testing Namespacealias
• Verbesserte Leistung beim automatischen Laden
• Delta-Tabellenverlauf enthält Schreiboptionskennzeichnungen
• Unterstützung für strukturiertes Streaming und Replay

CREATE OR REPLACE-Unterstützung für temporäre Tabellen

CREATE OR REPLACE TEMP TABLE Die Syntax wird jetzt unterstützt, sodass Sie temporäre Tabellen in einer einzelnen Anweisung erstellen oder ersetzen können. Dadurch ist es nicht erforderlich, temporäre Tabellen explizit abzulegen und neu zu erstellen.

agg() Alias für measure() Funktion

agg() ist jetzt als Alias für die measure() Funktion verfügbar. Diese Änderung ist vollständig abwärtskompatibel. Vorhandene Abfragen, die measure() verwenden, funktionieren weiterhin ohne Änderung. agg() erzeugt identische Ergebnisse, wenn es mit denselben Argumenten verwendet wird.

Snowflake JDBC-Treiber-Upgrade

Der Snowflake DRIVER wird von 3.22.0 auf 3.28.0 aktualisiert.

pyspark.pipelines.testing Namespacealias

pyspark.pipelines.testing ist jetzt als Komfortalias für dlt.testing APIs verfügbar. Importieren Sie Lakeflow Spark deklarative Pipelines Testtools über beide Namensräume.

Verbesserte Leistung beim automatischen Laden

Auto Loader verwendet jetzt eine effizientere Eintragsmethode, die die Eintragsgeschwindigkeit für Cloudspeicherquellen verbessert. Wenn Ihr Datenstrom aufgrund von langen Auflistungsvorgängen überlappend auslöst, kann diese Optimierung zu höheren Kosten für die Cloudauflistungs-API führen. Überwachen Sie Ihre Triggerintervalle, und passen Sie die Planung an, um überlappende Vorgänge zu verhindern, wenn Kostensteigerungen beobachtet werden.

Delta-Tabellenverlauf enthält Schreiboptionskennzeichnungen

Delta-Tabellenverlauf (DESCRIBE HISTORY) enthält jetzt Schreiboptionen-Flags in der Spalte operationParameters für die Vorgänge WRITE und REPLACE TABLE. Wenn die folgenden Optionen explizit aktiviert sind, werden sie als boolesche Flags im Verlauf angezeigt (nur in folgenden trueFällen enthalten):

Für WRITE und REPLACE TABLE Vorgänge:

• isDynamicPartitionOverwrite: vorhanden, wenn der Dynamische Partitionsüberschreibmodus verwendet wurde
• canOverwriteSchema: vorhanden, wenn das Schema überschreiben (overwriteSchema) aktiviert wurde
• canMergeSchema: vorhanden, wenn die Schemazusammenführung (mergeSchema) aktiviert wurde

Für REPLACE TABLE Vorgänge:

• predicate: vorhanden, wann replaceWhere verwendet wurde
• isV1WriterSaveAsTableOverwrite: vorhanden, wenn die Ersetzung durch eine .saveAsTable Überschreibung ausgelöst wurde

Unterstützung für strukturiertes Streaming, Zurückspulen und Replay

Strukturiertes Streaming unterstützt jetzt das Zurückspulen und die Wiedergabe für Streaming-Pipelines. Dieses Feature ermöglicht die Erneute Verarbeitung von einem früheren Punkt im Datenstrom, um Fehler wie Schemaänderungen, falsch formatierte Eingabedaten oder Logikfehler wiederherzustellen, ohne dass ein vollständiger Zustand zurückgesetzt werden muss. Dadurch wird das Standardverhalten vorhandener Streamingworkloads nicht geändert.

Verbesserungen der Bibliothek

• Aktualisierte Python-Bibliotheken:

  In dieser Version wurden keine Bibliotheken aktualisiert.

• Aktualisierte R-Bibliotheken:

  In dieser Version wurden keine Bibliotheken aktualisiert.

• Aktualisierte Java-Bibliotheken:

  • io.delta.delta-sharing-client_2.13 von 1.3.9 bis 1.3.10

Apache Spark

Databricks Runtime 18.2 umfasst Apache Spark 4.1.0. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 18.1 enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• SPARK-56219 Rückgängigmachen von "[SC-225028][PS] Angleichung des groupby idxmax und idxmin Verhaltens bei skipna=False an pandas 2/3"
• SPARK-56204 Strip Alias Wrapper von Inline-Tabellenzeilen-Ausdrücken im Parser
• SPARK-56186 PyPy eingestellt
• SPARK-56202 Refaktorierung von Streaming-Join-Tests: Aufspaltung der Base/Suite-Hierarchie und Vereinfachung der Modusweiterleitung
• SPARK-56221 Funktionsgleichheit zwischen spark.catalog.* und DDL-Befehlen
• SPARK-56301 Korrigieren von Tippfehlern in error-conditions.json
• SPARK-55729 Unterstützung des Datenquellenlesers für das neue Zustandsformat v4 beim Stream-Stream-Join
• SPARK-56256 Hinzufügen der emptyDataFrame-API zu SparkSession
• SPARK-56205 Überprüfen der Prüfpunkt-ID des Basiszustandsspeichers vor dem Commit von Microbatch
• SPARK-55827 Korrigieren des Typhinweiss für Datenquellenmitarbeiter
• SPARK-55579 Benennen Sie PySpark-Fehlerklassen in "eval-type-agnostic" um.
• SPARK-56247 Beheben des Fallbackverhaltens und Typhinweises von inheritable_thread_target
• SPARK-56244 Optimieren des Benchmarkklassenlayouts in bench_eval_type.py
• SPARK-56262 Entfernen der unnötigen Deaktivierung der mypy-Überprüfung für Typen
• SPARK-55969 regr_r2 sollte den ersten Parameter als die abhängige Variable behandeln
• SPARK-56179 Konsolidieren von Fehlerklassen für Typeninkonsistenz - Teil 3
• SPARK-55630 Aktualisierung der übereinstimmenden Kennzeichnung für nicht äußere Seite im Stream-Stream-Join v4 überspringen
• SPARK-56217 Behebung von bucketBy-Ausnahmen in Connect
• SPARK-56225 Fehlermeldung zur Verbesserung der Ansicht MIT SCHEMA EVOLUTION
• SPARK-55865 Umbenennen von _LEGACY_ERROR_TEMP_1266 in CANNOT_TRUNCATE_EXTERNAL_TABLE
• SPARK-55861 Umbenennen von _LEGACY_ERROR_TEMP_2045 in UNSUPPORTED_TABLE_CHANGE
• SPARK-56166 Verwenden von ArrowBatchTransformer.enforce_schema, um spaltenweise Koersionslogik zu ersetzen
• SPARK-56245 Behebung der DataFrame.eval Inplace-Zuweisung in Pandas 3
• SPARK-56062 Isolieren von memory_profiler zur Verbesserung der Importzeit
• SPARK-55964-Systemkatalog hat Vorrang vor dem Benutzerkatalog für BUILTIN- und SESSION-Schemas.
• SPARK-56226 Erfassen von Analysefehlern vor dem InternalFrame.__init__ in .loc
• SPARK-55723 Verallgemeinern enforce_schema Fehler zu PySparkTypeError
• SPARK-54878 Option "sortKeys" zu to_json Funktion hinzufügen
• SPARK-56219 Vereinheitlichung des Verhaltens von groupby mit idxmax und idxmin bei skipna=False in Einklang mit pandas 2/3
• SPARK-44065 Optimieren von BroadcastHashJoin-Skew in OptimizeSkewedJoin
• SPARK-56179 Rückgängig machen "[SC-225014][PYTHON] Konsolidieren Fehlerklassen für Typkonflikt - Teil 3"
• SPARK-53399 Zusammenführen Python UDFs
• SPARK-56224 Polnische Typanmerkungen für accumulators.py
• SPARK-55448 Beheben des Verlusts der Abfrageereignisse, wenn die Sitzung während der Abfrage geschlossen wird
• SPARK-55862 Umbenennen von _LEGACY_ERROR_TEMP_2027 in UNEXPECTED_OPERATOR_IN_CORRELATED_SUBQUERY
• SPARK-56201 Führen Sie die Tests von SPARK-49829 mit VCF-Joins durch, da StateDataSource dies nun unterstützt.
• SPARK-56179 Konsolidieren von Fehlerklassen für Typeninkonsistenz - Teil 3
• SPARK-56184 Ersetzen durch assert ordnungsgemäße SparkRuntimeException Partitionsspaltenanalyse
• ** SPARK-56206 Fehlerbehebung bei der Groß-/Kleinschreibungs-unabhängigen Erkennung von doppelten CTE-Namen
• SPARK-55866 Umbenennen von _LEGACY_ERROR_TEMP_2145 in OPTION_VALUE_EXCEEDS_ONE_CHARACTER
• SPARK-56067 Verzögerter Import von psutil zur Verbesserung der Importgeschwindigkeit
• SPARK-56066 Verzögerter Import von numpy, um die Importgeschwindigkeit zu verbessern
• SPARK-55719 Entfernen der Veraltungswarnung für spark.sql.hive.convertCTAS
• SPARK-56179 Fehlerklassen für Typeninkonsistenz konsolidieren – Teil 2
• SPARK-55510 Aktualisieren structured-streaming-state-data-source.md Dokuments, um deleteRange widerzuspiegeln
• SPARK-56050 Eifrig auflösen IDENTIFIER() mit Zeichenfolgenliteralen zur Analysezeit
• SPARK-56151 Verbessern der CreateVariable-Anzeigezeichenfolge
• SPARK-55751 Hinzufügen von Metriken zum Laden des Zustandsspeichers aus DFS
• SPARK-56188 Align Series.map({}) with pandas 3 empty-dict behavior
• SPARK-55964 Der Systemkatalog "[SC-223957] hat Vorrang vor dem Benutzerkatalog für BUILTIN und SESSION-Schemas."
• SPARK-55577 Umgestalten SQL_SCALAR_ARROW_ITER_UDF Wrapper-, Mapper- und Serialisierungslogik
• SPARK-55596 Filterung erweiterter Partitionsstatistiken für DSV2
• SPARK-56179 Rückgängig machen von "[SC-224777][PYTHON] Konsolidieren von Fehlerklassen für Typkonflikt - Teil 2"
• Der SPARK-55964-Systemkatalog hat Vorrang vor dem Benutzerkatalog für BUILTIN- und SESSION-Schemas.
• SPARK-56050 Rückgängig machen von "[SC-224153][SQL] Sofortiges Auflösen von IDENTIFIER() mit Zeichenfolgenliteralen beim Parsen"
• SPARK-56179 Konsolidierung von Fehlertypen für Typinkompatibilität – Teil 2
• SPARK-56102UnionEstimation Codebereinigung
• SPARK-51712 Verschlucken Sie nicht tödliche Throwables beim Auflösen von Tabellen/Ansichten in spark.catalog.listTables()
• SPARK-55881 Hinzufügen von queryId, errorMessage und rootExecutionId zur REST-API zur SQL-Ausführung
• SPARK-56050 Eifrig auflösen IDENTIFIER() mit Zeichenfolgenliteralen zur Analysezeit
• SPARK-55628 Integrieren des Streamstream-Verknüpfungsstatusformats V4
• SPARK-56187 Behebung der Null-Werte-Reihenfolge in Series.argsort für Pandas 3
• SPARK-56167 astype auf das Standardverhalten für Zeichenfolgen in Pandas 3 abstimmen.
• SPARK-56018 Verwende Ruff als Formatierer
• SPARK-56042 Korrigieren von vertauschten Metriken der externen/internen Spaltenfamilien im RocksDBStateStoreProvider
• SPARK-56179 Konsolidierung von Fehlerklassen für Typenkonflikt - Teil 1
• SPARK-56089 Angleichung von asinh/acosh an den Fdlibm-Algorithmus für maschinenübergreifende Kompatibilität
• SPARK-55453 Korrigieren des LIKE-Musterabgleichs für ergänzende Unicode-Zeichen
• SPARK-52785 Vereinfachen der Super()-Syntax in PySpark
• Beheben SPARK-56169 in der Fehlerberichterstattung, wenn der Typ des untergeordneten Elements durch die Plantransformation geändert wird.
• SPARK-55557 Hyperbolische Funktionen sollten bei großen Eingaben nicht überlaufen.
• SPARK-47997 Hinzufügen eines Fehlerparameters zu "DataFrame.drop" und "Series.drop"
• SPARK-55008 Abfrage-ID in SparkUI anzeigen
• SPARK-54660 Hinzufügen eines RTM-Triggers zu Python
• SPARK-56047 Propagieren distinctCount durch die Union in der CBO-Statistikschätzung
• SPARK-56111 Fügen Sie SparkContext.isDriver() hinzu, und verwenden Sie es über die Codebasis hinweg.
• SPARK-55999 ForceSnapshotUploadOnLag standardmäßig aktivieren
• SPARK-55610 Füge getExecutorInfos zum StatusTracker in Python hinzu
• SPARK-55728 Einführung einer Konfiguration für die Größe des Threadpools zur Dateichecksumme und die Möglichkeit, den Threadpool zu deaktivieren.
• SPARK-55686 SizeEstimator kümmert sich um Compact Object Headers
• SPARK-56044 HistoryServerDiskManager löscht den App-Store bei der Veröffentlichung nicht, wenn sich die App nicht in der aktiven Karte befindet.
• SPARK-55809 HeapHistogram verwendet DiagnosticCommandMBean anstelle von jmap-Unterprozess
• SPARK-56122 Verwenden Sie pandas-kompatible numerische dtype-Check in Series.cov
• SPARK-56113 Verbesserung der Pandas 3-Zeichenfolgenwiederherstellung in Pandas-on-Spark
• SPARK-56118 Anpassung der Booleschen Verarbeitung in Pandas 3.0 an GroupBy.quantile
• SPARK-53823 Implementieren der Zulassungsliste für den Echtzeitmodus
• SPARK-55977 Fix isin() zur Verwendung strenger Typenvergleiche wie bei pandas
• SPARK-54027 Unterstützung für Kafka Source RTM
• SPARK-50284 Dokumente für die ParseJson-Funktion ändern
• SPARK-56035 [SQL] Verwendung von AggregationValidator zur Validierung von Aggregate mit einem Single-Pass-Resolver
• SPARK-55557 Rückgängig machen "[SC-223720][SQL] Hyperbolische Funktionen sollten bei großen Eingaben nicht überlaufen"
• SPARK-56075 Entfernen einer Gruppe veralteter Python-Fehlerklassen
• SPARK-55967 Vereinheitlichen der Spaltenkonvertierung für Connect DataFrame
• SPARK-53915 Hinzufügen von RealTimeScanExec und der Möglichkeit, lange ausgeführte Batches auszuführen
• SPARK-55557 Hyperbolische Funktionen sollten bei großen Eingabewerten nicht zur Überlauf führen
• SPARK-55147 Zeitstempelbereich für die Zeitintervall-Join-Abfrage im V4-Zustandsformat festlegen
• SPARK-56056 Unterstützung einfacherer Mitarbeiterprofilerstellung mit viztracer
• SPARK-55948 Hinzufügen von DSv2 CDC-Connector-API, Analyseauflösung und SQL CHANGES-Klausel
• SPARK-54599 Reapply "[SC-219008][PYTHON] Refactor PythonExcept...
• SPARK-55390 Konsolidieren SQL_SCALAR_ARROW_UDF Wrapper-, Mapper- und Serialisierungslogik
• SPARK-56023 Besseres Lastenausgleich in LowLatencyMemoryStream
• SPARK-55986 Aktualisieren von Schwarz auf 26.3.1
• SPARK-55667 Check_dependencies in init verschieben
• SPARK-55145 Avro-Unterstützung für timestampbasierte RocksDB-State-Key-Encoder
• SPARK-53970 Falsches Tag "optional" für messageName entfernen...
• SPARK-55059 Zurücksetzen von "[SC-224058][PYTHON] Entfernen der Problemumgehung für leere Tabellen in toPandas"
• SPARK-50111 Hinzufügen von Unterplots-Unterstützung für Kreisdiagramme im Plotly-Back-End
• SPARK-56081 Anpassung der NA-Behandlung von idxmax und idxmin an Pandas 3
• SPARK-56080 Angleichung von Series.argmax/argmin an die Behandlung von NA in pandas 3.0
• SPARK-56060 Umgang mit der Konvertierung von null-Zeichenfolgen in describe() bei leeren Zeitstempel-Datenrahmen in Pandas 3
• SPARK-55059 Problemumgehung für leere Tabellen in ToPandas entfernen
• SPARK-55995 Unterstützung für TIMESTAMP WITH LOCAL TIME ZONE in der SQL-Syntax
• SPARK-55976 Verwenden von "Set" anstelle von "Seq" für Schreibberechtigungen
• SPARK-56073 Vereinfachen des Builds von PythonRunnerConfMap
• SPARK-55887 Spezielle Behandlung für CollectLimitExec/CollectTailExec, um vollständige Tabellenscans zu vermeiden
• SPARK-55980 Immer _cast_back_float in numerischer Arithmetik anwenden
• SPARK-55357 Korrigieren der Docstring-Datei für timestamp_add
• SPARK-55667 Rückgängigmachen von "[SC-223289][PYTHON][CONNECT] Verschieben von check_dependencies nach init"
• SPARK-54285 Rückgängigmachen von "[PYTHON] Cache-Zeitzoneninformationen, um teure Zeitstempelkonvertierung zu vermeiden"
• SPARK-56021 Erhöhen Des Schwellenwerts für "AutoSnapshotRepair" von "maxChangeFileReplay" von 50 auf 500
• SPARK-55870 Dokumentation für Geo-Typen hinzufügen
• SPARK-55962 Verwenden Sie getShort anstelle von getInt Umwandlungen putShortsFromIntsLittleEndian auf Little Endian-Plattformen
• SPARK-55903 Vereinfachen der MERGE-Schemaentwicklung und Überprüfen von Schreibberechtigungen
• SPARK-55326 Freigeben einer Remotesitzung, wenn SPARK_CONNECT_RELEASE_SESSION_ON_EXIT festgelegt ist
• SPARK-55667 Verschiebe check_dependencies nach init
• SPARK-55884 Hinzufügen von v1StatsToV2Stats zu DataSourceV2Relation
• SPARK-55929 Fehlende toString()-Methode zu TableChange.UpdateColumnDefaultValue hinzufügen
• SPARK-55851 Klarstellen von Typen von Datenquellenpartition und Lesezugriff
• SPARK-55828 Hinzufügen von DSV2 TableChange toString und fehlende Fehlerklasse für MERGE INTO Schema-Evolution beheben
• SPARK-55790 Erstellen einer vollständigen SRS-Registrierung mit PROJ 9.7.1-Daten
• SPARK-55645 Hinzufügen von serdeName zu CatalogStorageFormat
• SPARK-54796 Beheben von NPE aufgrund der Racebedingung zwischen der Executor-Initialisierung und der Shuffle-Migration
• SPARK-55983 Neue Single Pass Analyzer-Funktionen und Bugfixes
• SPARK-55964 Cachekohärenz: Eindeutige Funktionsregistrierung bei DROP DATABASE
• SPARK-55868 Behebung des Prädikat-Pushdowns für InMemoryTable bei V2Filters
• SPARK-55973 LeftSemi-Optimierung für die Stream-Stream-Verknüpfung
• SPARK-54665 Beheben des Vergleichs von Booleans und Zeichenfolgen, um das Verhalten von Pandas zu entsprechen.
• SPARK-55539 Erlaubt die Umwandlung von GeographyType in GeometryType
• SPARK-55695 Vermeidung doppelter Planung bei Vorgängen auf Zeilenebene
• SPARK-55904 Verwenden von _check_same_session zum Einschränken von Typen
• SPARK-55965 Warnung hinzufügen, wenn Pandas >= 3.0.0 mit PySpark verwendet werden
• SPARK-55493 [SS] Erstelle keine Verzeichnisse (mkdirs) im Offset/Commit-Protokollverzeichnis des Streaming-Checkpoints in der StateDataSource.
• SPARK-55851 Rückgängig machen von "[SC-223270][PYTHON] Klarstellung der Typen der Datenquellenpartition und des -lesens"
• SPARK-55645 Rückgängig machen von "[SC-221839][SQL] Hinzufügen von serdeName zu CatalogStorageFormat"
• SPARK-55640 Weitergabe von WKB-Parsingfehlern für Geometrie und Geografie
• SPARK-55693 Vermeiden Sie Deadlocks, indem Sie SparkSession.observationManager in ein nicht-lazy val ändern.
• SPARK-55528 Hinzufügen der Standardmäßigen Sortierunterstützung für SQL UDFs
• SPARK-55860 Anstelle UNABLE_TO_INFER_SCHEMA von UNABLE_TO_INFER_SCHEMA_FOR_DATA_SOURCE
• SPARK-55275 Hinzufügen von InvalidPlanInput SQL-Zuständen für SQL/Connect
• SPARK-55645 Hinzufügen von serdeName zu CatalogStorageFormat
• SPARK-55716 Unterstützung der Erzwingung der NOT NULL-Einschränkung bei Einfügungen in V1-Dateiquellen-Tabellen
• SPARK-53226 ClosureCleaner mit Java22+ kompatibel machen
• SPARK-55997 Festlegen der oberen Grenze auf prefixScan im RocksDB-Statusspeicheranbieter
• SPARK-55851 Klarstellen von Typen von Datenquellenpartition und Lesezugriff
• SPARK-55954 Entfernen des falschen Hinweis auf den Überladungstyp bei fillna
• SPARK-56016 Beibehalten benannter Series-Spalten bei der Verkettung mit der ignore_index-Option in Pandas 3
• SPARK-55502 Vereinheitlichung der UDF- und UDTF-Arrow-Fehlerbehandlung bei der Konvertierung
• SPARK-55989 Erhalt von nicht-int64-Index-Datentypen in restore_index
• SPARK-55955 Überladungstyp-Hinweis für drop entfernen
• SPARK-55945 [SDP] Unterstützung für strukturierte Kennungen von Datenströmen in SDP Eager-Analyse-Protos
• SPARK-55714 JDK löst ArithmeticException möglicherweise ohne Nachricht aus
• SPARK-55991 Beheben von Unicode-bezogenen SQL-Textbeschädigungen mit Parametern
• SPARK-55696 Expliziten Fehler zu Encoders.bean für die Schnittstellenklasse hinzufügen
• SPARK-55533 Unterstützung für IGNORE NULLS / RESPECT NULLS bei collect_set
• SPARK-55987 Behebung der Extraktion von Zeitstempeln bei fensterbasierten Joins in V4 mithilfe von findJoinKeyOrdinalForWatermark
• SPARK-55946 Richten Sie pandas_priority so ein, dass gemischte binäre Operationen ordnungsgemäß an Pandas-on-Spark verteilt werden
• SPARK-55264 ExecuteOutput-Befehl zu Spark Connect-Pipelines proto hinzufügen
• SPARK-47672 Vermeiden der doppelten Auswertung von Filter-Pushdown mit Projektions-Pushdown
• SPARK-55780 Ersetzen eines PNG-Logos durch SVG in der Spark Web-Benutzeroberfläche
• SPARK-55821 Durchsetzen von nur Schlüsselwortargumenten in init-Methoden des Serialisierers
• SPARK-55621 Beheben von mehrdeutigen und unnötigen Unicode-Verwendungen
• SPARK-55662 Implementierung des Arguments "idxmin Axis"
• SPARK-55631ALTER TABLE muss den Cache für DSv2-Tabellen ungültig machen.
• SPARK-55692 Behebung von SupportsRuntimeFiltering und SupportsRuntimeV2Filtering Dokumentation
• SPARK-55928 Neuer Linter zur Effektivitätsprüfung der Konfiguration in Ansichten und UDFs
• SPARK-55440 Types Framework – Phase 1a – Core Type System Foundation
• SPARK-55631 Revert "[SC-221596][SQL] muss den Cache für DSv2-Tabellen ungültig machen".
• SPARK-55631ALTER TABLE muss den Cache für DSv2-Tabellen ungültig machen.
• SPARK-55683 Optimieren VectorizedPlainValuesReader.readUnsignedLongs
• SPARK-55892 Fehler beim Laden des Zustandsspeichers, da die wiederverwendete SST-Datei durch Wartung gelöscht wurde
• SPARK-55946 Rückgängig machen: "[SC-223027][PS] Einrichtung von pandas_priority, damit gemischte binäre Operationen korrekt an pandas-on-Spark übergeben werden."
• SPARK-55891 Beibehalten des SQL-Skriptingkontexts innerhalb EXECUTE IMMEDIATE
• SPARK-55907 Korrigieren falscher Fehlerpositionen für ungültige Datentypen in CREATE FUNCTION
• SPARK-55946 Richten Sie pandas_priority so ein, dass gemischte binäre Operationen ordnungsgemäß an Pandas-on-Spark weitergeleitet werden
• SPARK-55694 Blockeinschränkungen in CTAS/RTAS auf Parserebene
• SPARK-55682 Der vom ServiceLoader zurückgegebene Iterator kann NoClassDefFoundError bei hasNext() auslösen.
• SPARK-55155 Fix SETCATALOG für die Verwendung spezieller Zeichen und Backticks im Bezeichnernamen
• SPARK-55932 Behebung des Problems, dass der XML-zu-Variant-Parser bei negativer Skalierung hängt
• SPARK-55673 Hinzufügen weiterer Tests für geschachtelten Typ-Encoder
• SPARK-55679 Behebung von Erkennungsproblemen auf Java 25
• SPARK-55957 Fügen Sie 'DATA_SOURCE_NOT_FOUND' in Catalog.ERROR_HANDLING_RULES hinzu
• SPARK-55052 Hinzufügen von AQEShuffleRead-Eigenschaften zum Physikalischen Planbaum
• SPARK-55652 Optimieren VectorizedPlainValuesReader.readShorts() mit direktem Arrayzugriff für Heappuffer
• SPARK-55659 Verbesserung EventLogFileWriter des Protokollvorgangs stop
• SPARK-54666 Lassen Sie numerische Typen unverändert bei to_numeric
• SPARK-55654 Aktivieren des TreePattern-Prunings für "EliminateSubqueryAliases" und "ResolveInlineTables"
• SPARK-55533 Rückgängig machen von "[SC-220538][SQL] Unterstützen von IGNORE NULLS / RESPECT NULLS für collect_set"
• SPARK-55901 Auslösen eines Fehlers aus Series.replace() ohne Argumente
• SPARK-55896 Verwenden von numpy-Funktionen anstelle von integrierten Funktionen
• SPARK-55655 Machen Sie das Vokabular deterministisch, wenn die Anzahl gleich istCountVectorizer
• SPARK-55811 [SQL] Catch NonFatal statt UnresolvedException beim Aufrufen von nodeWithOutputColumnsString
• SPARK-55533 Unterstützung von IGNORE NULLS / RESPECT NULLS für collect_set
• SPARK-55435 Anstelle StringBuilder von StringBuffer
• SPARK-54807 Qualifizierte Namen für integrierte und Sitzungsfunktionen zulassen (#198171)
• SPARK-55854 Tag-Durchleitung von doppelten Attributen im Ausgabeergebnis der Erweiterung, um AMBIGUOUS_REFERENCE zu vermeiden
• SPARK-55261 Implementierung von Parquet-Leseunterstützung für Geo-Typen
• SPARK-55416 Speicherleck bei der Streaming-Python-Datenquelle, wenn der Endoffset nicht aktualisiert wird
• SPARK-55465 Unterstützung von GeometryType in convert_numpy
• SPARK-55801 Korrektur des Typhinweises von "_SimpleStreamReaderWrapper.getCache"
• SPARK-55800 Entfernen der nicht verwendeten Typüberprüfung des Typs "datetime.date"
• SPARK-55663 Vereinheitlichen des Moduls für Datenquellenfunktionen
• SPARK-55665 Vereinheitlichen, wie Mitarbeiter eine Verbindung mit dem Ausführenden herstellen
• SPARK-53446 Optimieren von BlockManager-Entfernungsvorgängen mit zwischengespeicherten Blockzuordnungen
• SPARK-55867 Korrektur von StringMethods mit pandas 3
• SPARK-55501 Behebung des listagg distinct + within group order by Fehlers
• SPARK-55558 Unterstützung für Tuple/Theta-Set-Vorgänge hinzufügen
• SPARK-55636 Hinzufügen detaillierter Fehler bei deduplizierung ungültiger Spalten
• SPARK-55788 Unterstützung von ExtensionDType für ganzzahlige Werte in Pandas UDF
• SPARK-55464 Unterstützung für GeographyType in convert_numpy
• SPARK-55530 Unterstützung von Geo-Ergebnis-Sets in Hive- und Thrift-Server
• SPARK-55525 Beheben von UDTF_ARROW_TYPE_CONVERSION_ERROR mit nicht definierten Fehlermeldungsparametern
• SPARK-55626 Laden Sie Metadatenspalten nicht in Tabelle, es sei denn, sie sind in V2TableUtil erforderlich.
• SPARK-55533 Rückgängig machen von "[SC-220538][SQL] Unterstützen von IGNORE NULLS / RESPECT NULLS für collect_set"
• SPARK-55435 Rückgängig machen von "[SC-219656][CORE][SQL] Verwende StringBuilder anstelle von StringBuffer"
• SPARK-55533 Unterstützung für IGNORE NULLS / RESPECT NULLS bei collect_set
• SPARK-54452 Behebung einer leeren Antwort vom SparkConnect-Server für spark.sql(...) in FlowFunction
• SPARK-55638 Umgestalten der WKT-Serialisierung in GeometryModel
• SPARK-55551 Verbessern der BroadcastHashJoinExec Ausgabepartitionierung
• SPARK-54314 Verbessern der Server-Side Debuggierbarkeit in Spark Connect durch Erfassen von Dateinamen und Zeilennummern der Clientanwendung
• SPARK-55517 Optimieren VectorizedPlainValuesReader.readBytes() mit direktem Arrayzugriff für Heappuffer
• SPARK-55495 Problem beheben EventLogFileWriters.closeWritercheckError
• SPARK-55279 Hinzufügen sketch_funcs einer Gruppe für DataSketches SQL-Funktionen
• SPARK-55435 Anstelle StringBuilder von StringBuffer
• SPARK-55064 Unterstützung von unbestimmten Shuffle-Retries auf Abfrage-Ebene
• SPARK-55411 SPJ kann ArrayIndexOutOfBoundsException auslösen, wenn Verknüpfungsschlüssel kleiner als Clusterschlüssel sind
• SPARK-55451 Cursor müssen bei OPEN mit dem Sammeln von Ergebnissen beginnen, nicht beim ersten FETCH
• SPARK-54687 Mehr Randfälle mit Generatoren hinzufügen
• SPARK-55691 GetStatus-Client
• SPARK-55277 Hinzufügen protobuf_funcs einer Gruppe für Protobuf SQL-Funktionen
• SPARK-55822 Umbenennen _LEGACY_ERROR_TEMP_0052 in CREATE_VIEW_WITH_IF_NOT_EXISTS_AND_REPLACE
• SPARK-55236 Behebung unerwarteter Ausnahmen in einigen CoarseGrainedExecutorBackendSuite-Testfällen
• SPARK-55275 SQL-Zustandsabdeckung: IllegalStateException
• SPARK-55462 Erneutes Anwenden von "[SC-221123][PYTHON] Support VariantType in convert_numpy"
• SPARK-55062 Unterstützung von Proto2-Erweiterungen in Protobuf-Funktionen
• SPARK-55248 Bereinigen der veralteten API-Nutzung von Jackson in streaming.checkpointing.Checksum
• SPARK-55250 Reduzieren von Hive-Clientaufrufen für CREATE NAMESPACE
• SPARK-55247 Bereinigen veralteter API-Verwendung im Zusammenhang mit o.a.c.io.input.BoundedInputStream
• SPARK-55198 spark-sql sollte kommentarzeile mit führenden Leerzeichen überspringen
• SPARK-55826 Umbenennen _LEGACY_ERROR_TEMP_0006 in MERGE_INSERT_VALUE_COUNT_MISMATCH
• SPARK-55127 Hinzufügen avro_funcs Gruppe für Avro SQL-Funktionen
• SPARK-54914 [SQL] Korrigieren des DROP-Operators in der Pipesyntax zur Unterstützung qualifizierter Spaltennamen
• SPARK-55113EnsureRequirements sollte Tags kopieren
• SPARK-55074 Test für „Merge Into ANSI type coercion“ hinzufügen
• SPARK-54217 Synchronisieren der MonitorThread-Kill-Entscheidung von PythonRunner
• SPARK-54374 Vergrößern des SVG viewBox-Attributs der SQL-Planvisualisierungsinitialisierung
• SPARK-54971 Hinzufügen von WITH SCHEMA EVOLUTION-Syntax für SQL INSERT
• SPARK-55065 Vermeiden Sie zwei JDBC-API-Aufrufe.
• SPARK-55033 Korrigieren der stringArgs von DSv2-Schreibbefehlen
• SPARK-55041 Bereinigen einiger nicht verwendeter privater Elemente funcion/val aus dem Kernmodul
• SPARK-55338 Zentralisierung der Logik zur Dekomprimierung von Spark-Connect-Anfragen im gRPC-Interceptor
• SPARK-55825 Umbenennen _LEGACY_ERROR_TEMP_1309 in PARTITION_BY_NOT_ALLOWED_WITH_INSERT_INTO
• SPARK-55492 Überprüfen, ob "eventTime" in withWatermark eine Spalte auf oberster Ebene ist
• SPARK-55802 Behebung von Ganzzahlüberläufen beim Berechnen von Arrow-Batch-Bytes
• SPARK-55694 Blockeinschränkungen in CTAS/RTAS auf Parserebene
• SPARK-55843 Behandeln der Einheit von datetime64 und timedelta64 dtypes
• SPARK-55824 Umbenennen _LEGACY_ERROR_TEMP_1034 in WINDOW_FUNCTION_NOT_ALLOWED_IN_CLAUSE
• SPARK-55819 Umgestalten von ExpandExec, um prägnant zu sein
• SPARK-55341 Hinzufügen des Kennzeichens auf Speicherebene für zwischengespeicherte lokale Beziehungen
• SPARK-54599 Revert "[SC-219008][PYTHON] Refactor PythonException so it can take errorClass with sqlstate"
• SPARK-46167 Hinzufügen der Achsenimplementierung zu DataFrame.rank
• SPARK-54599 Neugestaltung von PythonException, sodass errorClass mit sqlstate verwendet werden kann
• SPARK-55529 Erneute Anwendung [ES-1721989][SC-220716][PYTHON] Batchzusammenführung auf Pfeilebene für nicht iterator applyInPandas
• SPARK-55794 Immer Aliase OuterReferences
• SPARK-55583 Überprüfen von Pfeilschematypen in Python Datenquelle
• SPARK-37711 Reduzieren von Pandas beschreiben die Auftragsanzahl von O(N) auf O(1)
• SPARK-46168 Hinzufügen eines Achsenarguments für idxmax
• SPARK-46162 Implementieren von Nunique mit axis=1
• SPARK-55552 Hinzufügen der VariantType-Unterstützung zu ColumnarBatchRow.copy() und MutableColumnarRow
• SPARK-55647 Behebung des fehlerhaften Ersetzens von Attributen mit nicht binär stabilen Sortierungen
• SPARK-55747 Beheben von NPE beim Zugriff auf Elemente aus einem Array, das null ist
• SPARK-55757 Verbessern der spark.task.cpus Validierung
• SPARK-55699 Inkonsistentes Lesen von LowLatencyClock bei Verwendung mit ManualClock
• SPARK-55702 Unterstützen des Filter-Prädikats in Fensteraggregatfunktionen
• SPARK-55510 Behebung des deleteRange im Rocksdb-Statusspeicher zum Aufrufen von changelogWriter.
• SPARK-55739 Optimieren OnHeapColumnVector.putIntsLittleEndian/putLongsLittleEndian unter Verwendung auf Platform.copyMemory Little-Endian-Plattformen
• SPARK-55730 Weniger Groß-/Kleinschreibung in der Zeitzone
• SPARK-55701 ES-1694761[SS] Fix race condition in CompactibleFileStreamLog.allFiles
• SPARK-55462 Zurücksetzen von "[SC-221123][PYTHON] Support VariantType in convert_numpy"
• SPARK-55144 Einführung einer neuen Zustandsformatversion für die performante Stream-Stream-Verknüpfung
• SPARK-55606 Serverseitige Implementierung der GetStatus-API
• SPARK-55462 Unterstützung für VariantType in convert_numpy
• SPARK-55600 Fix pandas to arrow lose row count when schema has 0 columns on classic
• SPARK-55700 Beheben der Behandlung ganzzahliger Schlüssel in Reihe mit nicht ganzzahligem Index
• SPARK-55349 Konsolidierung der Pandas-zu-Arrow-Konvertierungswerkzeuge in Serialisierern
• SPARK-55681 Korrigieren der Singleton DataType-Gleichheit nach der Deserialisierung (neu zu aktualisieren)
• SPARK-55681 Rückgängig machen "[SC-221427][SC-214079][SQL] Einzelkonfigurations-Datentypgleichheit nach der Deserialisierung beheben"
• SPARK-55681 Behebung der Singleton-Datentyp-Gleichheit nach der Deserialisierung
• SPARK-55674 Optimierung der Konvertierung von Tabellen mit 0 Spalten in Spark Connect
• SPARK-55323 Erneutes Anwenden von "[SC-218885][PYTHON] Verschieben von UDF-Metadaten in EvalConf zur Vereinfachung des Arbeitsprotokolls"
• SPARK-55322 Erneutes Anwenden [SC-221062][SQL] MaxBy- und MinBy-Überladung mit K-Elementen
• SPARK-55323 Rückgängig machen von "[SC-218885][PYTHON] Verschieben der UDF-Metadaten zu EvalConf zur Vereinfachung des Worker-Protokolls"
• SPARK-55615 Verschieben des SparkContext-Imports in Klassenzweig
• SPARK-55323 Verschieben von UDF-Metadaten in EvalConf zur Vereinfachung des Arbeitsprotokolls
• SPARK-55648 Behandeln eines unerwarteten Schlüsselwortargumentfehlers groupby(axis) mit Pandas 3
• SPARK-55647 Zurücksetzen "[SC-221274][SQL] Falsches Ersetzen von Attributen durch nicht binär-stabile Kollationen"
• SPARK-55646 SQLExecution.withThreadLocalCaptured wurde umgestaltet, um die Aufnahme von Thread-Lokalen von der Ausführung zu trennen.
• SPARK-54854 Hinzufügen einer UUIDv7 queryId zu SQLExecution-Ereignissen
• SPARK-55619 Korrigieren von benutzerdefinierten Metriken im Fall von zusammengeführten Partitionen
• SPARK-55647 Behebung des fehlerhaften Ersetzens von Attributen mit nicht binär stabilen Sortierungen
• SPARK-55322 Wiederherstellen von "[SC-221062][SQL] MaxBy und MinBy Überladung mit K-Elementen"
• SPARK-54740 Starten des Fehlerhandlers früh im Daemonmodus
• SPARK-55493 [SS] Nicht mkdirs im Verzeichnis des Streamingprüfpunktstatus in StateDataSource
• SPARK-55322MaxBy und MinBy Überladung mit K-Elementen
• SPARK-55625 StringOps korrigieren, damit str dtype korrekt funktioniert
• SPARK-55161 Erneut anwenden von "[SC-218867][PYTHON] Profilerunterstützung für die Python-Datenquelle"
• SPARK-55505 Beheben von NPE beim Lesen von EXECUTION_ROOT_ID_KEY in gleichzeitigen Szenarien
• SPARK-55111 Erneute Überprüfung der Erkennung nicht abgeschlossener Neupartitionierungen beim Neustart der Abfrage
• SPARK-55593 Vereinheitlichen des Aggregationszustands für vector_avg/vector_sum
• SPARK-55500 Korrigieren des Analysezyklus zwischen ApplyDefaultCollation, ExtractWindowExpressions und CollationTypeCasts
• SPARK-55494 Einführung von iterator/prefixScan mit mehreren Werten in der StateStore-API
• SPARK-55561 Hinzufügen von Wiederholungsversuchen für alle Kafka-Administratorclientmethoden
• SPARK-55296 Unterstützen des CoW-Modus mit Pandas 3
• SPARK-55479 Beheben von Formatproblemen in SparkShreddingUtils
• SPARK-55372 Fix SHOW CREATE TABLE für Tabellen/Ansichten mit Standardsortierung
• SPARK-55333 Aktivieren DateType und TimeType in convert_numpy
• SPARK-55129 Einführung neuer Schlüssel-Codierer für Zeitstempel als erstklassige (UnsafeRow)
• SPARK-46163 DataFrame.update-Parameter filter_func und Fehler
• SPARK-55372 Wiederherstellen von "[SC-220571][SQL] Fix SHOW CREATE TABLE für Tabellen/ Ansichten mit Standardsortierung"
• SPARK-55480 Alle nicht verwendeten 'noqa' für 'ruff' entfernen
• SPARK-55471 Hinzufügen der Optimiererunterstützung für SequentialStreamingUnion
• SPARK-55584 Verbessere die Fehlermeldung bei der Ausführung einer skalaren Unterabfrage mit EXEC IMMEDIATE
• SPARK-55161 Änderungen rückgängig machen "[SC-218867][PYTHON] Profiler für Python-Datenquelle unterstützen"
• SPARK-55506 Übergib das explizite Eingabeschema an to_pandas in CogroupPandasUDFSerializer
• SPARK-55586 Beispiel hinzufügen jdbc.py
• SPARK-55161 Unterstützung von Profilern für Python-Datenquelle
• SPARK-55529 "[SC-220716][PYTHON] Wiederherstellen der Batchzusammenführung auf Arrow-Ebene für nicht-Iterator applyInPandas"
• SPARK-55385 Minderung der Neuberechnung in zipWithIndex
• SPARK-55529 Arrow-Ebene-Batch-Merge für nicht-Iterator applyInPandas wiederherstellen
• SPARK-55389 Konsolidieren von SQL_MAP_ARROW_ITER_UDF Wrapper-, Mapper- und Serialisierungslogik
• SPARK-55406 Reimplementieren des Threadpools für ExecutePlanResponseReattachableIterator
• SPARK-55372 Fix SHOW CREATE TABLE für Tabellen/Ansichten mit Standardsortierung
• SPARK-55367 venv für das Ausführen von pip-Tests verwenden
• SPARK-55355 Aktualisieren der mypy-Version auf die neueste Version
• SPARK-55460 Entfernen von E203 aus der Ignorierliste von ruff
• SPARK-55541 Unterstützung von Geometrie und Geographie in Katalysatortypkonvertern
• SPARK-55449 Aktivieren von WKB-Parsing und -Schreiben für Geografie
• SPARK-55339 Implementieren der WKT Writer-Unterstützung für Geo-Objekte
• SPARK-54122 Implementieren von TwsTester in Scala
• SPARK-54805 Implementieren von TwsTester in PySpark
• SPARK-55256 Erneutes Anwenden von "[SC-218596][SQL] Unterstützung IGNORE NULLS / RESPECT NULLS für array_agg und collect_list"
• SPARK-55156 Umgang mit include_groups für groupby.apply
• SPARK-55401 Hinzufügen von Wiederholungslogik und Timeoutbehandlung zum Pyspark-Installationsdownload
• SPARK-55229 Implementieren von DataFrame.zipWithIndex in PySpark
• SPARK-55462 Unterstützung für UserDefinedType in convert_numpy
• SPARK-55483 NPE in PivotFirst beheben, wenn die Pivotspalte ein nicht-atomarer Typ mit NULL-Werten ist
• SPARK-55490 Ermöglichen groupby(as_index=False), eine Gruppierung einzuschließen, die nicht im DataFrame mit pandas 3 enthalten ist
• SPARK-55473 Ersetzen Sie itertools.tee durch Chain in applyInPandasWithState
• SPARK-55404 Tastaturinterrupt immer vom SIGINT-Handler auslösen
• SPARK-55407 Logger.warn durch logger.warning ersetzen

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Systemumgebung

• Betriebssystem: Ubuntu 24.04.4 LTS
• Java: Zulu21.48+15-CA
• Skala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.1.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus dem Posit Paket-Manager CRAN-Snapshot am 2025-11-20 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.13-Clusterversion)