Databricks Runtime 18.2 (ベータ)

次のリリース ノートでは、Databricks Runtime 18.2 (ベータ) に関する情報を提供します。

このバージョンには、以前のすべての Databricks ランタイム リリースのすべての機能、機能強化、バグ修正が組み込まれています。 Databricks は 2026 年 4 月にこのバージョンをリリースしました。

動作の変更

• XPath が外部 DTD をフェッチしなくなりました
• スキーマの進化に伴う INSERT、MERGE、およびストリーミング書き込みの NULL 構造体の保持
• デルタ テーブルでの NullType (VOID) のサポート
• SHOW CREATE TABLE ではメトリック ビューがサポートされます
• LEFT OUTER JOIN LATERAL ドロップ行の修正
• NATURAL JOIN では、大文字と小文字が区別されない列の一致が考慮されます
• Unity カタログでの SQL UDF 依存関係の検証
• CRTAS で作成された Unity カタログのパーティションテーブルへの書き込み最適化
• AWS SDK v1 の依存関係が網かけになっている
• ESRI で定義された SRID 102100 の不適切な EPSG 機関を修正する

XPath が外部 DTD をフェッチしなくなりました

XML に対して XPath を評価すると、Azure Databricksドキュメントで宣言された外部ドキュメント型定義 (DTD) が読み込まれないようになりました。 以前は、形式が正しくない URL または到達できないエンドポイントを指す外部 DTD 参照が XML に含まれていた場合、XPath が失敗する可能性がありました。 DTD 検証は XPath の評価とは別であるため、既に成功したクエリは以前と同じ結果を返します。 以前は外部 DTD 取得中にのみ失敗したクエリが成功するようになりました。

スキーマ進化に伴う INSERT、MERGE、およびストリーミング書き込みにおける NULL 構造体の保持

INSERTを使用するMERGE、、およびストリーミング書き込みの場合、ソースの NULL 構造体がターゲットに NULL として格納されるようになりました。 以前は、すべてのフィールドが NULL に設定された null 以外の構造体として、その値が誤って具体化されていましたが、スキーマの進化を伴わない同じ操作では NULL 構造体が正しく保持されていました。 フィールドがすべて NULL である null 以外の構造体を受け取るためにコードが依存している場合は、代わりに NULL 構造体を処理するようにコードを更新してください。

デルタ テーブルでの NullType (VOID) のサポート

Delta Lake テーブルで VOID 列がサポートされるようになりました。 以前は、 VOID 列は、パスベースの DataFrame 読み取り (たとえば、 spark.read.format("delta").load(path)) と時間移動クエリによって暗黙的にスキップされていました。 これらのクエリには、 VOID 列が出力に含まれるようになりました。 書き込みには影響しません。 スキーマにVOID列を表示できる場所の制限については、「VOID型」を参照してください。

Delta Lake テーブルから読み取ったクエリと VOID 列を確認して、追加の列が正しく処理されていることを確認します。 たとえば、以前に 2 つの列を返したクエリは、次の 3 つを返します。

CREATE TABLE my_table(id INT, v VOID, name STRING) USING DELTA;

-- Before DBR 18.2: returns (id, name)
-- After DBR 18.2:  returns (id, v, name)
SELECT * FROM my_table VERSION AS OF 0;

INSERT INTO ... SELECT *など、列の数や位置に依存するクエリは、アップグレード後に失敗する可能性があります。

特に、INSERTが有効になっている特定の クエリでは、データが間違った列に自動的にシフトされる可能性があります。 出力内の追加の VOID 列は後続の列の位置をシフトするため、ターゲット テーブル内の正しくない列にデータが書き込まれる可能性があります。 例えば次が挙げられます。

-- Source table has a VOID column between two INT columns
CREATE TABLE source(a INT, b VOID, c INT) USING DELTA;
-- Target table has two INT columns
CREATE TABLE target(x INT, y INT) USING DELTA;

-- Before DBR 18.2: SELECT * FROM source returns (a, c), inserting a->x and c->y
-- After DBR 18.2:  SELECT * FROM source returns (a, b, c), inserting a->x, b->y,
--                  and c is added as a new column via schema evolution
INSERT INTO target WITH SCHEMA EVOLUTION
SELECT * FROM source VERSION AS OF 0;

SHOW CREATE TABLE ではメトリック ビューがサポートされます

SHOW CREATE TABLE では、メトリック ビューがサポートされるようになりました。 以前は、メトリック ビューでこのコマンドを実行するとエラーが発生しました。 メトリック ビューの出力には、カタログを含む完全修飾 3 部構成の名前 (たとえば、 CREATE VIEW catalog.db.my_metric_view ...) が含まれるため、適切な場所にメトリック ビューを簡単に再作成できます。

LEFT OUTER JOIN LATERAL による行落ち問題の修正

LEFT OUTER JOIN LATERALクエリから誤って行を削除するバグが修正されました。 このコンストラクトを使用するクエリは、正しい結果を返すようになりました。 一時的に前の動作に戻すには、 spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic を true に設定します。

NATURAL JOIN では、大文字と小文字が区別されない列の一致が考慮されます

現在、NATURAL JOIN は、spark.sql.caseSensitive が false（既定値）に設定されている場合、大文字と小文字を区別しない列の一致が正しく使用されるようになっています。 以前 NATURAL JOIN は大文字と小文字を区別する比較を使用して共通の列を識別しており、大文字と小文字が異なる列（たとえば、ID 対 id）は一致しませんでした。 これにより、 NATURAL JOIN は自動的にクロス結合の結果を生成します。 この修正により、NATURAL JOINの動作がUSING結合と一致するように調整されます。 このバグの影響を受けるクエリは、正しく結合された列で正しい結果を返すようになりました。

Unity カタログでの SQL UDF 依存関係の検証

Unity カタログでは、アクセス制御のバイパスを防ぐために、SQL ユーザー定義関数 (UDF) の依存関係検証が適用されるようになりました。 以前は、REST API を使用して作成された SQL 関数は、ユーザーがアクセスできなかった依存関係を参照できました。 無効な依存関係構成を持つ SQL UDF の実行がブロックされるようになりました。

CRTAS で作成された Unity カタログのパーティション分割テーブルに対する最適化された書き込み

最適化された書き込みが 、 CREATE OR REPLACE TABLE ... AS SELECT (CRTAS) で作成されたパーティション分割された Unity カタログ テーブルに正しく適用されるようになりました。 以前は、新しいパーティション分割された Unity カタログ テーブルの CRTAS では、最適化された書き込みが適用されず、パーティションごとに小さなファイルの数が多くなっていました。 この修正により、書き込みの待機時間が長くなる可能性があります。 前の動作に戻すには、 spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled を false に設定します。

AWS SDK v1 の依存関係がシェーディングされている

Databricks Runtime にバンドルされている AWS SDK v1 の依存関係がシェーディングされ、クラスパスで直接使用できなくなりました。 コードが以前に Databricks Runtime によって提供された AWS SDK v1 ライブラリに依存している場合は、それらを明示的な依存関係としてプロジェクトに追加します。 この変更により、AWS SDK v2 への移行の準備が整います。これは、SDK v1 の AWS サポートが終了した後です。

ESRI で定義された SRID 102100 の不適切な EPSG 機関を修正する

SRID 102100 の座標参照システム (CRS) マッピングで、正しくないESRI:102100ではなくEPSG:102100が正しく使用されるようになりました。 この修正により、他のシステムとの相互運用性を向上するために、地理空間データが適切な機関と共に格納されます。

新機能と機能強化

• CREATE OR REPLACE による一時テーブルのサポート
• agg() measure()関数のエイリアス
• Snowflake JDBC ドライバーのアップグレード
• pyspark.pipelines.testing 名前空間のエイリアス
• 自動ローダーリストのパフォーマンス向上
• デルタ テーブル履歴に書き込みオプション フラグが含まれている
• 構造化ストリーミングの巻き戻しと再生のサポート

CREATE OR REPLACE による一時テーブルのサポート

CREATE OR REPLACE TEMP TABLE 構文がサポートされ、1 つのステートメントで 一時テーブル を作成または置換できるようになりました。 これにより、一時テーブルを明示的に削除して再作成する必要がなくなります。

agg()はmeasure()関数のエイリアス

agg() は、 measure() 関数のエイリアスとして使用できるようになりました。 この変更は完全に下位互換性を備えています。 measure()を使用する既存のクエリは変更せずに引き続き動作し、agg()は同じ引数で使用すると同じ結果を生成します。

Snowflake JDBC ドライバーのアップグレード

Snowflake JDBC ドライバーは、3.22.0 から 3.28.0 にアップグレードされます。

pyspark.pipelines.testing 名前空間のエイリアス

pyspark.pipelines.testing は、 dlt.testing API の便利なエイリアスとして使用できるようになりました。 いずれかの名前空間を使用して、Lakeflow Spark の宣言型パイプラインのテスト用ユーティリティをインポートします。

自動ローダーのリスト表示の性能向上

自動ローダー では、クラウド ストレージ ソースの登録速度を向上させる、より効率的な登録方法が使用されるようになりました。 連続ストリームが、一覧表示によるデータ検出にかかる時間に依存し、明示的な ProcessingTime トリガーを設定しない場合、この改善により、クラウド リスト API のコストが増加する可能性があります。 明示的な ProcessingTime トリガーを設定して、一覧表示操作の実行頻度を制御します。

デルタ テーブル履歴に書き込みオプション フラグが含まれている

デルタ テーブル履歴 (DESCRIBE HISTORY) に、operationParametersおよびWRITE操作のREPLACE TABLE列に書き込みオプション フラグが含まれるようになりました。 次のオプションを明示的に有効にすると、履歴にブール型フラグとして表示されます ( trueの場合にのみ含まれます)。

WRITE操作とREPLACE TABLE操作の場合:

• isDynamicPartitionOverwrite: 動的パーティション上書きモードが使用された場合に存在します
• canOverwriteSchema: スキーマの上書き (overwriteSchema) が有効な場合に存在します
• canMergeSchema: スキーマのマージ (mergeSchema) が有効な場合に存在します

REPLACE TABLE操作の場合:

• predicate: replaceWhere が使用されたときの存在
• isV1WriterSaveAsTableOverwrite: .saveAsTable 上書きによって置換がトリガーされたときに存在します

構造化ストリーミングの巻き戻しと再生のサポート

構造化ストリーミングで、 ストリーミング パイプラインの巻き戻しと再生がサポートされるようになりました。 この機能を使用すると、ストリーム内の以前のポイントから再処理を行い、スキーマの変更、入力データの形式が正しくない、ロジック エラーなどのエラーから復旧できます。完全な状態のリセットは必要ありません。 これにより、既存のストリーミング ワークロードの既定の動作は変更されません。

ライブラリのアップグレード

• アップグレードされたPython ライブラリ:

  このバージョンでは、ライブラリはアップグレードされませんでした。

• アップグレードされた R ライブラリは次のとおりです。

  このバージョンでは、ライブラリはアップグレードされませんでした。

• アップグレードされたJava ライブラリ:

  • io.delta.delta-sharing-client_2.13 を 1.3.9 から 1.3.10 に

Apache Spark

Databricks Runtime 18.2 には 、Apache Spark 4.1.0 が含まれています。 このリリースには、 Databricks Runtime 18.1 に含まれるすべての Spark の修正と機能強化、および Spark に対する次の追加のバグ修正と機能強化が含まれています。

• SPARK-56219 "[SC-225028][PS] groupby idxmax と idxmin の skipna=False の振る舞いを pandas 2/3 と一致させた変更を元に戻す"
• SPARK-56204 パーサーのインライン テーブル行式から Alias ラッパーを削除する
• SPARK-56186 pypy を廃止する
• SPARK-56202 ストリーミング結合テストのリファクター: Base/Suite 階層を分割し、モードディスパッチを簡略化する
• SPARK-56221 spark.catalog.* コマンドと DDL コマンドの機能パリティ
• SPARK-56301 で入力ミスを修正する error-conditions.json
• SPARK-55729 新しい状態形式 v4 のストリーム ストリーム結合における状態データソースリーダーのサポート
• SPARK-56256 SparkSession に emptyDataFrame API を追加する
• SPARK-56205 マイクロバッチをコミットする前に、基本状態ストアのチェックポイント ID を検証する
• SPARK-55827 データソース ワーカーの型ヒントを修正する
• SPARK-55579 PySpark エラー クラスの名前を eval-type-agnostic に変更する
• SPARK-56247 inheritable_thread_targetのフォールバック動作と型ヒントを修正する
• SPARK-56244 bench_eval_type.pyでベンチマーク クラスのレイアウトを調整する
• SPARK-56262 型の不要な mypy チェック無効化を削除する
• SPARK-55969 regr_r2は、最初のパラメーターを従属変数として扱う必要がある
• SPARK-56179 型が一致しないエラー クラスを統合する - パート 3
• SPARK-55630 ストリーム間結合 v4 における外側でない側のマッチフラグの更新をスキップする
• SPARK-56217 接続で bucketBy 例外を修正する
• SPARK-56225 ビューのEVOLUTIONエラーメッセージの改善
• SPARK-55865 _LEGACY_ERROR_TEMP_1266の名前を CANNOT_TRUNCATE_EXTERNAL_TABLE に変更する
• SPARK-55861 _LEGACY_ERROR_TEMP_2045の名前を UNSUPPORTED_TABLE_CHANGE に変更する
• SPARK-56166 ArrowBatchTransformer.enforce_schemaを使用して列ごとの型強制ロジックを置き換える
• SPARK-56245 Pandas 3 での DataFrame.eval のインプレース割り当てを修正する
• SPARK-56062 memory_profilerを分離してインポート時間を短縮する
• SPARK-55964 システム カタログは、BUILTIN および SESSION スキーマのユーザー カタログよりも優先されます。
• SPARK-56226InternalFrame.__init__する前に分析エラーをキャッチする.loc
• SPARK-55723 enforce_schemaエラーをPySparkTypeErrorに一般化する
• SPARK-54878 sortKeys オプションを関数に追加to_json
• SPARK-56219 groupby idxmax と idxmin skipna=False の動作を pandas 2/3 に揃える
• SPARK-44065 OptimizeSkewedJoin で BroadcastHashJoin スキューを最適化する
• SPARK-56179 "[SC-225014][PYTHON] 型の不一致のエラー クラスを統合する - パート 3" を元に戻す
• SPARK-53399 Python UDFのマージ
• SPARK-56224 accumulators.py の型注釈を整備する
• SPARK-55448 クエリの実行中にセッションが閉じたときのクエリ イベントの損失を修正する
• SPARK-55862 _LEGACY_ERROR_TEMP_2027の名前を UNEXPECTED_OPERATOR_IN_CORRELATED_SUBQUERY に変更する
• SPARK-56201 StateDataSource によってサポートされるようになった VCF ジョインを使用して SPARK-49829 テストを実行する
• SPARK-56179 型が一致しないエラー クラスを統合する - パート 3
• SPARK-56184 パーティション列の解析で assert を適切な SparkRuntimeException に置き換える
• SPARK-56206 大文字と小文字を区別しない重複 CTE 名の検出を修正する
• SPARK-55866 _LEGACY_ERROR_TEMP_2145の名前を OPTION_VALUE_EXCEEDS_ONE_CHARACTER に変更する
• SPARK-56067 遅延インポート psutil を使用してインポート速度を向上させる
• SPARK-56066 インポート速度を向上させるための numpy の遅延読み込み
• SPARK-55719 spark.sql.hive.convertCTAS の非推奨の警告を削除する
• SPARK-56179 型が一致しないエラー クラスを統合する - パート 2
• SPARK-55510 deleteRange を反映するようにドキュメント structured-streaming-state-data-source.md 更新する
• SPARK-56050 解析時に文字列リテラルを使用して IDENTIFIER() を熱心に解決する
• SPARK-56151 CreateVariable 表示文字列を改善する
• SPARK-55751 DFS からの状態ストアの読み込み時にメトリックを追加する
• SPARK-56188 Series.map({}) を pandas 3 empty-dict の動作に合わせる
• SPARK-55964 "[SC-223957] システム カタログが BUILTIN および SESSION スキーマのユーザー カタログよりも優先されます" を元に戻します。
• SPARK-55577 SQL_SCALAR_ARROW_ITER_UDFのラッパー、マッパー、シリアライザーロジックをリファクターする
• SPARK-55596 DSV2 拡張されたパーティション統計のフィルタリング
• SPARK-56179 "[SC-224777][PYTHON] 型の不一致のエラー クラスを統合する - パート 2" を元に戻す
• SPARK-55964 システム カタログは、BUILTIN および SESSION スキーマのユーザー カタログよりも優先されます。
• SPARK-56050 "[SC-224153][SQL] 解析時に文字列リテラルを使用して IDENTIFIER() を即座に解決する" を元に戻す
• SPARK-56179 型が一致しないエラー クラスを統合する - パート 2
• SPARK-56102UnionEstimation コードのクリーンアップ
• SPARK-51712 spark.catalog.listTables() でテーブル/ビューを解決する際に致命的でない Throwables を処理する
• SPARK-55881 SQL 実行 REST API に queryId、errorMessage、rootExecutionId を追加する
• SPARK-56050 解析時に文字列リテラルを使用して IDENTIFIER() を熱心に解決する
• SPARK-55628 ストリーム同士の結合状態形式 V4 を統合する
• SPARK-56187 Pandas 3 の Series.argsort null 順序を修正する
• SPARK-56167 astype を pandas 3 の既定の文字列動作に合わせる
• SPARK-56018 フォーマッタとしてラフを使用する
• SPARK-56042 RocksDBStateStoreProvider でスワップされた外部/内部の col ファミリ数メトリックを修正しました
• SPARK-56179 型が一致しないエラー クラスを統合する - パート 1
• SPARK-56089 エンジン間互換性のために asinh/acosh を fdlibm アルゴリズムに合わせる
• SPARK-55453 補助 Unicode 文字の LIKE パターン マッチングを修正しました
• SPARK-52785 PySpark での super() 構文の簡略化
• SPARK-56169プラン変換によって子の種類ClassCastException変更された場合のエラー 報告のGetStructFieldを修正しました
• SPARK-55557 双曲線関数が大きな入力でオーバーフローしないようにする
• SPARK-47997 DataFrame.drop と Series.drop に errors パラメーターを追加する
• SPARK-55008 SparkUI でクエリ ID を表示する
• SPARK-54660 PYTHON に RTM トリガーを追加する
• SPARK-56047 CBO 統計推定において UNION 演算を介して を伝達する
• SPARK-56111 SparkContext.isDriver() を追加し、コードベース全体で使用する
• SPARK-55999 forceSnapshotUploadOnLag を既定で有効にする
• SPARK-55610 Python の StatusTracker に getExecutorInfos を追加する
• SPARK-55728 ファイル チェックサムのスレッド プール サイズに conf を導入し、スレッドプールの無効化をサポートする
• SPARK-55686 SizeEstimator はコンパクト なオブジェクト ヘッダーを処理します
• SPARK-56044 アプリがアクティブなマップにない場合、リリース時に HistoryServerDiskManager によってアプリ ストアが削除されない
• SPARK-55809 HeapHistogram では、jmap サブプロセスの代わりに DiagnosticCommandMBean が使用されます
• SPARK-56122 Series.cov で pandas 対応の数値 dtype チェックを使用する
• SPARK-56113 pandas-on-Spark で pandas 3 文字列の復元を改善する
• SPARK-56118 GroupBy.quantile で pandas バージョン 3.0 のブール値の処理に合わせる
• SPARK-53823 リアルタイム モードの許可リストを実装する
• SPARK-55977 pandas のような厳密な型一致を使用するように isin() を修正する
• SPARK-54027 Kafka ソース RTM のサポート
• SPARK-50284 parseJson 関数のドキュメントを変更する
• SPARK-56035 [SQL] シングルパス リゾルバーの検証にAggregationValidator Aggregate導入
• SPARK-55557 "[SC-223720][SQL] ハイパーボリック関数が大きな入力でオーバーフローしないようにする" を元に戻す
• SPARK-56075 デッド python エラー クラスのバッチを削除する
• SPARK-55967 接続データフレームの列変換を統合する
• SPARK-53915 RealTimeScanExec と実行時間の長いバッチを実行する機能を追加する
• SPARK-55557 双曲線関数が大きな入力でオーバーフローしないようにする
• SPARK-55147 V4 状態形式での時間間隔結合の取得におけるタイムスタンプの範囲を決定する
• SPARK-56056 viztracerを使用したワーカーのプロファイリングのサポートを強化する
• SPARK-55948 DSv2 CDC コネクタ API、アナライザー解決、および SQL CHANGES 句を追加する
• SPARK-54599 "[SC-219008][PYTHON] PythonExcept のリファクタリングを再適用する"
• SPARK-55390 SQL_SCALAR_ARROW_UDFのラッパー、マッパー、シリアライザーのロジックを統合する
• SPARK-56023 LowLatencyMemoryStream での負荷分散の向上
• SPARK-55986 黒を 26.3.1 にアップグレードする
• SPARK-55667check_dependenciesを init に移動する
• SPARK-55145 タイムスタンプ ベースの RocksDB 状態キー エンコーダーの Avro のサポート
• SPARK-53970 messageName の正しくない '省略可能' タグを削除します...
• SPARK-55059 "[SC-224058][PYTHON] toPandas で空のテーブルの回避策を削除する" を「元に戻す」
• SPARK-50111 Plotly バックエンドで円グラフのサブプロット のサポートを追加する
• SPARK-56081 idxmax と idxmin NA の処理を pandas 3 に合わせる
• SPARK-56080 Series.argmax/argmin を pandas 3.0 NA 処理に合わせる
• SPARK-56060 空のタイムスタンプ フレームの describe() で pandas 3 のヌル文字列変換を処理する
• SPARK-55059 toPandas で空のテーブルの回避策を削除する
• SPARK-55995 SQL 構文での TIMESTAMP WITH LOCAL TIME ZONE のサポート
• SPARK-55976 書き込み特権に Seq の代わりに Set を使用する
• SPARK-56073 のビルドを簡略化する PythonRunnerConfMap
• SPARK-55887 完全なテーブル スキャンを回避するための CollectLimitExec/CollectTailExec の特別な処理
• SPARK-55980 数値演算で常に_cast_back_floatを適用する
• SPARK-55357 timestamp_addの docstring を修正する
• SPARK-55667 "[SC-223289][PYTHON][CONNECT] check_dependenciesを init に移動する" をリバートする
• SPARK-54285 "[PYTHON] コストの高いタイムスタンプ変換を回避するためにタイムゾーン情報をキャッシュする" を元に戻す
• SPARK-56021 AutoSnapshotRepair の既定の maxChangeFileReplay しきい値を 50 から 500 に引き上げる
• SPARK-55870 Geo 型のドキュメントを追加する
• SPARK-55962 リトルエンディアン プラットフォームでは getShort のキャストの代わりに getInt を使用する
• SPARK-55903 MERGE スキーマの進化を簡略化し、書き込み権限を確認する
• SPARK-55326 SPARK_CONNECT_RELEASE_SESSION_ON_EXITが設定されているときにリモート セッションを解放する
• SPARK-55667check_dependenciesを init に移動する
• SPARK-55884 DataSourceV2Relation に v1StatsToV2Stats を追加する
• SPARK-55929 不足している toString() を TableChange.UpdateColumnDefaultValue に追加する
• SPARK-55851 データソースパーティションの種類と読み取りの種類を明確にする
• SPARK-55828 DSV2 TableChange toString を追加し、スキーマの進化へのマージに関する不足しているエラー クラスを修正する
• SPARK-55790 PROJ 9.7.1 データを使用して完全な SRS レジストリを構築する
• SPARK-55645 CatalogStorageFormat に serdeName を追加する
• SPARK-54796 Executor の初期化とシャッフル移行の間の競合状態によって発生する NPE を修正する
• SPARK-55983 新しいシングルパス アナライザーの機能とバグ修正
• SPARK-55964 キャッシュコヒーレンス: 関数レジストリをDROP DATABASE でクリア
• SPARK-55868 V2Filters の InMemoryTable の述語プッシュダウンを修正しました
• SPARK-55973 ストリーム ストリーム結合に対するLeftSemiの最適化
• SPARK-54665 pandas の動作と一致するようにブール値と文字列の比較を修正しました
• SPARK-55539 GeographyType から GeometryType へのキャストを許可する
• SPARK-55695 行レベルの操作で二重計画を回避する
• SPARK-55904 _check_same_sessionを使用して型を絞り込む
• SPARK-55965 PySpark で pandas >= 3.0.0 が使用されている場合に警告を追加する
• SPARK-55493 [SS] StateDataSource のストリーミング チェックポイント オフセット/コミット ログ ディレクトリに mkdirs を使用しない
• SPARK-55851 "[SC-223270][PYTHON] データソースのパーティションと読み取りの種類を明確にする" を元に戻す
• SPARK-55645 "[SC-221839][SQL] CatalogStorageFormat に serdeName を追加する" を元に戻す
• SPARK-55640 Geometry と Geography の WKB 解析エラーを伝達する
• SPARK-55693 SparkSession.observationManager を非遅延 val にすることでデッドロックを回避する
• SPARK-55528 SQL UDF の既定の照合順序のサポートを追加する
• SPARK-55860 代わりに UNABLE_TO_INFER_SCHEMA を使用する UNABLE_TO_INFER_SCHEMA_FOR_DATA_SOURCE
• SPARK-55275 sql/connect の InvalidPlanInput sql 状態を追加する
• SPARK-55645 CatalogStorageFormat に serdeName を追加する
• SPARK-55716 V1 ファイル ソース テーブルの挿入に対する NOT NULL 制約の適用をサポートする
• SPARK-53226 ClosureCleaner を Java22 以降で動作させる
• SPARK-55997 RocksDB 状態ストア プロバイダーで上限を prefixScan に設定する
• SPARK-55851 データソースパーティションの種類と読み取りの種類を明確にする
• SPARK-55954 fillna の正しくないオーバーロード型ヒントを削除する
• SPARK-56016 pandas 3 における ignore_index を使用する concat で名前付き Series 列を保持する
• SPARK-55502 UDF と UDTF の Arrow 変換エラー処理を統合する
• SPARK-55989 int64 以外のインデックス dtype を保持する restore_index
• SPARK-55955 ドロップのオーバーロード型ヒントを削除する
• SPARK-55945 [SDP] SDP の一括分析プロトのフローの構造化識別子をサポート
• SPARK-55714 JDK がメッセージなしで ArithmeticException をスローする可能性がある
• SPARK-55991 パラメーターを使用して Unicode 関連の SQL テキストの破損を修正する
• SPARK-55696 インターフェイス クラスの Encoders.bean に明示的なエラーを追加する
• SPARK-55533 collect_setのIGNORE NULLS/RESPECT NULLSのサポート
• SPARK-55987 V4 ウィンドウ結合のタイムスタンプ抽出を findJoinKeyOrdinalForWatermark を使用して修正
• SPARK-55946 pandas-on-Spark に正しくディスパッチされるように、混合バイナリ操作に対応したpandas_priorityを設定する
• SPARK-55264 Spark Connect パイプライン proto に ExecuteOutput コマンドを追加する
• SPARK-47672 プロジェクション プッシュダウンを使用し、フィルタープッシュダウンによる二重処理を回避する。
• SPARK-55780 Spark Web UI で PNG ロゴを SVG に置き換える
• SPARK-55821 シリアライザー init メソッドでキーワードのみの引数を適用する
• SPARK-55621 あいまいで不要な Unicode の使用を修正する
• SPARK-55662 idxmin Axis 引数の実装
• SPARK-55631ALTER TABLE DSv2 テーブルのキャッシュを無効にする必要があります
• SPARK-55692SupportsRuntimeFilteringとSupportsRuntimeV2Filteringのドキュメントを修正する
• SPARK-55928 ビューと UDF での構成の有効性のための新しいリンター
• SPARK-55440 Types Framework - フェーズ 1a - コア タイプ システム 基盤
• SPARK-55631 "[SC-221596][SQL] ALTER TABLE DSv2 テーブルのキャッシュを無効にする必要があります" を元に戻す
• SPARK-55631ALTER TABLE DSv2 テーブルのキャッシュを無効にする必要があります
• SPARK-55683 最適化 VectorizedPlainValuesReader.readUnsignedLongs
• SPARK-55892 再利用された SST ファイルがメンテナンスによって削除されたため、状態ストアを読み込むことができない問題を修正しました
• SPARK-55946 "[SC-223027][PS] pandas_priorityをセットアップ して、混合バイナリ ops が pandas-on-Spark に正しくディスパッチされるようにする" を元に戻す
• SPARK-55891 SQL スクリプト コンテキストを内部に保持する EXECUTE IMMEDIATE
• SPARK-55907 で無効なデータ型の誤ったエラー位置を修正する CREATE FUNCTION
• SPARK-55946 pandas-on-Spark に正しくディスパッチされるように、混合バイナリ操作に対応したpandas_priorityを設定する
• SPARK-55694 パーサー レベルで CTAS/RTAS の制約をブロックする
• SPARK-55682 ServiceLoader から返されたイテレーターは、次の場合に NoClassDefFoundError をスローする可能性があります hasNext()
• SPARK-55155 識別子名で特殊な文字とバックティックを使用するように SETCATALOG を修正しました
• SPARK-55932 負のスケールでバリアントパーサーがハングする問題を修正するために XML を修正する
• SPARK-55673 入れ子になった型エンコーダーのテストをさらに追加する
• SPARK-55679 Java 25 での検出 sun.io.serialization.extendedDebugInfoを修正
• SPARK-55957 Catalog.ERROR_HANDLING_RULESに 'DATA_SOURCE_NOT_FOUND' を追加する
• SPARK-55052 物理プラン ツリーに AQEShuffleRead プロパティを追加する
• SPARK-55652 ヒープ バッファーの直接配列アクセスを使用して VectorizedPlainValuesReader.readShorts() を最適化する
• SPARK-55659EventLogFileWriter操作をログに記録するstopを改善する
• SPARK-54666to_numeric上の数値型を変更しない
• SPARK-55654 EliminateSubqueryAliases と ResolveInlineTables に対して TreePattern の剪定を有効にする
• SPARK-55533 "[SC-220538][SQL] collect_set に対する NULLS を無視する / NULLS を尊重する" のサポートを元に戻す
• SPARK-55901 引数を指定しない Series.replace() からエラーを発生させる
• SPARK-55896 組み込みの代わりに numpy 関数を使用する
• SPARK-55655 カウントが等しい場合 CountVectorizer ボキャブラリを決定論的にする
• SPARK-55811 [SQL] 呼び出し時にNonFatalの代わりにUnresolvedExceptionをキャッチするnodeWithOutputColumnsString
• SPARK-55533 collect_setのIGNORE NULLS/RESPECT NULLSのサポート
• SPARK-55435StringBuilder を使用し、StringBufferの代わりにお願いします。
• SPARK-54807 組み込み関数とセッション関数の修飾名を許可する (#198171)
• SPARK-55854 展開出力でパススルー重複属性にタグを付けて、AMBIGUOUS_REFERENCEを防ぐ
• SPARK-55261 Geo 型に対する Parquet 読み込み対応を実装する
• SPARK-55416 エンド オフセットが更新されない場合の、Pythonストリーミングにおけるデータソースのメモリリーク
• SPARK-55465 convert_numpyでの GeometryType のサポート
• SPARK-55801 _SimpleStreamReaderWrapper.getCache の型ヒントを修正しました
• SPARK-55800 datetime.date の未使用の型チェックを削除する
• SPARK-55663 データ ソース関数の モジュール を統合する
• SPARK-55665 ワーカーが Executor との接続を確立する方法を統合する
• SPARK-53446 キャッシュされたブロック マッピングを使用して BlockManager 削除操作を最適化する
• SPARK-55867 Pandas 3 で StringMethods を修正する
• SPARK-55501 listagg distinct + within group order by のバグを修正
• SPARK-55558 Tuple/Theta セット操作のサポートを追加する
• SPARK-55636 無効な列の重複除去の場合に詳細なエラーを追加する
• SPARK-55788 Pandas UDF での整数の ExtensionDType のサポート
• SPARK-55464 convert_numpy での GeographyType のサポート
• SPARK-55530 Hive および Thrift サーバーでの Geo 結果セットのサポート
• SPARK-55525 未定義のエラー メッセージ パラメーターを使用してUDTF_ARROW_TYPE_CONVERSION_ERRORを修正する
• SPARK-55626 V2TableUtil で必要な場合を除き、テーブルにメタデータ列を読み込まない
• SPARK-55533 "[SC-220538][SQL] collect_set に対する NULLS を無視する / NULLS を尊重する" のサポートを元に戻す
• SPARK-55435"[SC-219656][CORE][SQL] StringBuilderの代わりにStringBufferを使用する" を元に戻す
• SPARK-55533 collect_setのIGNORE NULLS/RESPECT NULLSのサポート
• SPARK-54452 FlowFunction 内の spark.sql(...) に対する SparkConnect サーバーからの空の応答を修正する
• SPARK-55638 GeometryModel で WKT シリアル化をリファクターする
• SPARK-55551BroadcastHashJoinExec出力パーティション分割の向上
• SPARK-54314 クライアント アプリケーションのファイル名と行番号をキャプチャすることで、Spark Connect の Server-Side デバッグ可能性を向上させる
• SPARK-55517 ヒープ バッファーの直接配列アクセスを使用して VectorizedPlainValuesReader.readBytes() を最適化する
• SPARK-55495EventLogFileWriters.closeWriter を正しく処理するように修正する checkError
• SPARK-55279 DataSketches SQL 関数 sketch_funcs グループを追加する
• SPARK-55435StringBuilder を使用し、StringBufferの代わりにお願いします。
• SPARK-55064 クエリ レベルの不確定シャッフル再試行のサポート
• SPARK-55411 結合キーがクラスター キーより小さい場合、SPJ が ArrayIndexOutOfBoundsException をスローする可能性がある
• SPARK-55451 カーソルは、最初の FETCH ではなく OPEN で結果の収集を開始する必要があります
• SPARK-54687 ジェネレーターを使用してエッジ ケースをさらに追加する
• SPARK-55691 GetStatus クライアント
• SPARK-55277 Protobuf SQL 関数の protobuf_funcs グループを追加する
• SPARK-55822_LEGACY_ERROR_TEMP_0052をCREATE_VIEW_WITH_IF_NOT_EXISTS_AND_REPLACEに名前変更
• SPARK-55236 一部の CoarseGrainedExecutorBackendSuite テスト ケースで予期しない例外に対処する
• SPARK-55275 SQL 状態コードのカバレッジ: IllegalStateException
• SPARK-55462 "[SC-221123][PYTHON] VariantType のサポートを convert_numpy で適用" を再適用する
• SPARK-55062 protobuf 関数での proto2 拡張機能のサポート
• SPARK-55248 で Jackson の非推奨の API の使用をクリーンアップする streaming.checkpointing.Checksum
• SPARK-55250 CREATE NAMESPACE での Hive クライアント呼び出しを減らす
• SPARK-55247 に関連する非推奨の API の使用をクリーンアップする o.a.c.io.input.BoundedInputStream
• SPARK-55198 spark-sql では、先頭に空白を含むコメント行をスキップする必要がある
• SPARK-55826_LEGACY_ERROR_TEMP_0006をMERGE_INSERT_VALUE_COUNT_MISMATCHに名前変更する
• SPARK-55127 Avro SQL 関数avro_funcsグループを追加する
• SPARK-54914 [SQL] パイプ構文の DROP 演算子を修正して修飾列名をサポートする
• SPARK-55113EnsureRequirements タグをコピーする必要がある
• SPARK-55074 ANSI 型の強制に対するマージテストを追加する
• SPARK-54217 PythonRunner の MonitorThread 強制終了の決定を同期する
• SPARK-54374 SQL プランの視覚化の初期化の SVG viewBox 属性を拡大する
• SPARK-54971 SQL の WITH SCHEMA EVOLUTION 構文を追加する INSERT
• SPARK-55065 2 つの JDBC API 呼び出しを行わないようにする
• SPARK-55033 DSv2 書き込みコマンドの stringArgs を修正しました
• SPARK-55041 コア モジュールから未使用のプライベート funcion/val をクリーンアップする
• SPARK-55338 gRPC インターセプターで Spark Connect 要求の展開ロジックを一元化する
• SPARK-55825_LEGACY_ERROR_TEMP_1309をPARTITION_BY_NOT_ALLOWED_WITH_INSERT_INTOに名前を変更する
• SPARK-55492 withWatermark で指定されている eventTime がトップレベルの列であることを検証する
• SPARK-55802 矢印バッチ バイトを計算するときの整数オーバーフローを修正する
• SPARK-55694 パーサー レベルで CTAS/RTAS の制約をブロックする
• SPARK-55843 datetime64 および timedelta64 dtype の単位を処理する
• SPARK-55824_LEGACY_ERROR_TEMP_1034の名前をWINDOW_FUNCTION_NOT_ALLOWED_IN_CLAUSEに変更
• SPARK-55819 ExpandExec を簡潔にリファクターする
• SPARK-55341 キャッシュされたローカルリレーションのストレージレベルフラグを追加する
• SPARK-54599 "[SC-219008][PYTHON] PythonException をリファクタリングして、sqlstate で errorClass を受け取ることができるようにする" を元に戻す
• SPARK-46167 軸の実装を DataFrame.rank に追加する
• SPARK-54599 sqlstate で errorClass を受け取ることができるように PythonException をリファクタリングする
• SPARK-55529 再適用 [ES-1721989][SC-220716][PYTHON] 非反復処理の applyInPandas における Arrow レベルでのバッチマージを復元する
• SPARK-55794 常にエイリアスOuterReference
• SPARK-55583 Python データ ソースの方向スキーマ型の検証
• SPARK-37711 pandas の describe ジョブ数を O(N) から O(1) に削減
• SPARK-46168 idxmax の軸引数を追加する
• SPARK-46162 axis=1 でヌニークを実装する
• SPARK-55552 ColumnarBatchRow.copy() と MutableColumnarRow に VariantType のサポートを追加する
• SPARK-55647 属性をバイナリ非安定照合順序に誤って置き換える ConstantPropagation を修正しました
• SPARK-55747 null の配列から要素にアクセスするときの NPE の修正
• SPARK-55757spark.task.cpus検証を改善する
• SPARK-55699 ManualClock と共に使用した場合の LowLatencyClock の読み取りに一貫性がない
• SPARK-55702 ウィンドウ集約関数でのフィルタープレディケートのサポート
• SPARK-55510 ChangelogWriter を呼び出す Rocksdb 状態ストアの deleteRange を修正しました
• SPARK-55739リトル エンディアン プラットフォームでOnHeapColumnVector.putIntsLittleEndian/putLongsLittleEndianを使用してPlatform.copyMemoryを最適化する
• SPARK-55730 タイムゾーンを小文字にしない
• SPARK-55701 ES-1694761[SS] CompactibleFileStreamLog.allFiles の競合状態を修正する
• SPARK-55462 "[SC-221123][PYTHON] convert_numpy における VariantType のサポート" の取り消し
• SPARK-55144 高性能ストリーム間結合のための新しい状態フォーマットバージョンを導入する
• SPARK-55606 GetStatus API のサーバー側実装
• SPARK-55462 convert_numpy での VariantType のサポート
• SPARK-55600 クラシックでスキーマに 0 列がある場合に、矢印が行数を失うよう Pandas を修正しました
• SPARK-55700 整数以外のインデックスを持つ系列での整数キーの処理を修正しました
• SPARK-55349 シリアライザーで pandas から Arrow への変換ユーティリティを統合する
• SPARK-55681 逆シリアル化 (reattempt) 後のシングルトン DataType の等価性を修正する
• SPARK-55681 "[SC-221427][SC-214079][SQL] 逆シリアル化後のシングルトン DataType の等価性を修正する" を元に戻す
• SPARK-55681 逆シリアル化後のシングルトン DataType の等価性を修正する
• SPARK-55674 Spark Connect で 0 列のテーブル変換を最適化する
• SPARK-55323 "[SC-218885][PYTHON] UDF メタデータを EvalConf に移動してワーカー プロトコルを簡略化する" を再適用する
• SPARK-55322 K 要素を使用して [SC-221062][SQL] MaxBy および MinBy オーバーロードを再適用する
• SPARK-55323 "[SC-218885][PYTHON] UDF メタデータを EvalConf に移動してワーカー プロトコルを簡略化する" を元に戻す
• SPARK-55615 SparkContext インポートをクラス ブランチに移動する
• SPARK-55323 UDF メタデータを EvalConf に移動してワーカー プロトコルを簡略化する
• SPARK-55648 pandas 3 で予期しないキーワード引数エラー groupby(axis) を処理する
• SPARK-55647 "[SC-221274][SQL] バイナリ安定でない照合順序に属性を誤って置き換える問題の修正" を取り消す
• SPARK-55646 SQLExecution.withThreadLocalCaptured をリファクタリングして、スレッド ローカル キャプチャを実行から分離しました
• SPARK-54854 SQLExecution イベントに UUIDv7 queryId を追加する
• SPARK-55619 結合されたパーティションの場合のカスタム メトリックを修正する
• SPARK-55647 属性をバイナリ非安定照合順序に誤って置き換える ConstantPropagation を修正しました
• SPARK-55322 "[SC-221062][SQL] MaxBy と MinBy の K 要素によるオーバーロード" を元に戻す
• SPARK-54740 デーモン モードで faulthandler を早期に起動する
• SPARK-55493 [SS] StateDataSource のストリーミング チェックポイント状態ディレクトリに mkdirs を使用しない
• SPARK-55322MaxByK 要素を使用したオーバーロードとMinBy
• SPARK-55625 dtype str 正常に動作するように StringOps を修正する
• SPARK-55161 "[SC-218867][PYTHON] Python データ ソースでのプロファイラーのサポート" を再適用する
• SPARK-55505 同時実行シナリオでのEXECUTION_ROOT_ID_KEYの読み取りに関する NPE の修正
• SPARK-55111 クエリ再起動時に未完了のリパーティション検出を確認する
• SPARK-55593 vector_avg/vector_sumの集計状態を統合する
• SPARK-55500、ApplyDefaultCollation、ExtractWindowExpressions、およびCollationTypeCasts 間のアナライザーサイクルを修正
• SPARK-55494 StateStore API で複数値を持つ反復子/prefixScan を導入する
• SPARK-55561 すべての Kafka 管理クライアント メソッドの再試行を追加する
• SPARK-55296 Pandas 3 での CoW モードのサポート
• SPARK-55479 SparkShreddingUtils のスタイルの問題を修正する
• SPARK-55372 既定の照合順序を持つテーブル/ビューの SHOW CREATE TABLE を修正しました
• SPARK-55333 で DateType と TimeType を有効にする convert_numpy
• SPARK-55129 タイムスタンプの新しいキー エンコーダーを最初のクラスとして導入する (UnsafeRow)
• SPARK-46163 DataFrame.update パラメーターのfilter_funcとエラー
• SPARK-55372 "[SC-220571][SQL] 既定の照合順序を持つテーブル/ビューの SHOW CREATE TABLE を修正" を元に戻す
• SPARK-55480 未使用の noqa for ruff をすべて削除する
• SPARK-55471 SequentialStreamingUnion のオプティマイザーサポートを追加する
• SPARK-55584 スカラー サブクエリで EXEC IMMEDIATE に対してより良いエラーを生成する
• SPARK-55161 "[SC-218867][PYTHON] Python データ ソースでのプロファイラーのサポート" を元に戻す
• SPARK-55506 明示的な入力スキーマを to_pandas に渡す CogroupPandasUDFSerializer
• SPARK-55586 例 jdbc.py 追加
• SPARK-55161 Python データ ソースでのプロファイラーのサポート
• SPARK-55529 "[SC-220716][PYTHON] 反復子以外の applyInPandas の方向レベルのバッチ マージを復元する" を元に戻す
• SPARK-55385 で再計算を軽減する zipWithIndex
• SPARK-55529 反復子以外の applyInPandas の方向レベルのバッチ マージを復元する
• SPARK-55389 ラッパー、マッパー、シリアライザーのロジック SQL_MAP_ARROW_ITER_UDF 統合する
• SPARK-55406 ExecutePlanResponseReattachableIterator のスレッド プールを再実装する
• SPARK-55372 既定の照合順序を持つテーブル/ビューの SHOW CREATE TABLE を修正しました
• SPARK-55367 run-pip-tests に venv を使用する
• SPARK-55355 mypy バージョンを最新バージョンにアップグレードする
• SPARK-55460 ruff の無視リストから E203 を削除する
• SPARK-55541 触媒型コンバーターの形状と地理をサポート
• SPARK-55449 Geography の WKB 解析と書き込みを有効にする
• SPARK-55339 Geo オブジェクトの WKT ライター サポートを実装する
• SPARK-54122 Scala で TwsTester を実装する
• SPARK-54805 PySpark で TwsTester を実装する
• SPARK-55256 "[SC-218596][SQL] array_aggとcollect_listの IGNORE NULLS/ RESPECT NULLS をサポートする" を再適用する
• SPARK-55156 の include_groups に対処する groupby.apply
• SPARK-55401 pyspark インストールダウンロードに再試行ロジックとタイムアウト処理を追加する
• SPARK-55229 PySpark で DataFrame.zipWithIndex を実装する
• SPARK-55462 convert_numpy での UserDefinedType のサポート
• SPARK-55483 ピボット列が null 値を持つ非アトミック型である場合の PivotFirst での NPE の修正
• SPARK-55490 pandas 3 groupby(as_index=False) DataFrame に含まれていないグループ化を含める
• SPARK-55473 itertools.tee を applyInPandasWithState のチェーンに置き換える
• SPARK-55404 SIGINT ハンドラーから KeyboardInterrupt を常に発生させる
• SPARK-55407 logger.warn を logger.warning に置き換える

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

システム環境

• オペレーティング システム: Ubuntu 24.04.4 LTS
• Java: Zulu21.48+15-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.1.0

インストールされているPython ライブラリ

インストールされている R ライブラリ

R ライブラリは、Posit Package Manager CRAN スナップショットから 2025-11-20 にインストールされます。

インストールされているJavaおよび Scala ライブラリ (Scala 2.13 クラスター バージョン)