AWS Glue Data CatalogがApache Icebergテーブルに対する高度な自動最適化機能を提供開始しました。この更新には、削除ファイルの圧縮、ネストされたデータ型、部分的な進行コミット、パーティション進化のサポートが含まれており、一貫してパフォーマンスの高いトランザクショナルデータレイクの維持が容易になります。
アップデート内容全文
AWS Glue Data CatalogがApache Icebergテーブルの高度な自動最適化を提供開始しました。
この更新には、削除ファイルの圧縮、ネストされたデータ型、部分的な進行コミット、パーティション進化のサポートが含まれており、一貫してパフォーマンスの高いトランザクショナルデータレイクの維持が容易になります。
これらの機能は、Apache Icebergテーブルに継続的にストリーミングデータを取り込む顧客が直面する課題に対応します。
具体的には、データファイルの変更を追跡する大量の削除ファイルが生成される問題を解決します。
この新機能により、Glue Data Catalogはテーブルパーティションを常時監視し、位置的および等価削除ファイルを検出して圧縮プロセスを開始し、定期的に部分的な進行をコミットしてコンフリクトを減らします。
Glue Catalogオプティマイザーは、列の並べ替えや名前変更などのスキーマ進化、およびパーティション仕様の進化もサポートするようになりました。
さらに、Glue Catalogは複雑にネストされたデータの広範なサポートと、zstd、brotli、lz4、gzip、snappyなどのParquet圧縮コーデックのサポートを拡大しました。
自動圧縮を有効にすることで、Icebergテーブルの削除ファイルとメタデータのオーバーヘッドが削減され、クエリパフォーマンスが向上します。
これらの新機能は、既存および新規のGlue Catalogオプティマイザーに自動的に適用されます。
AWSコンソールに加えて、顧客はAWS CLIやAWS SDKを使用してApache Icebergテーブルの最適化を自動化することもできます。
この機能は、米国東部（バージニア北部、オハイオ）、米国西部（オレゴン）、ヨーロッパ（アイルランド、ロンドン、フランクフルト、ストックホルム）、カナダ（中部）、アジアパシフィック（東京、ソウル、ムンバイ、シンガポール、シドニー）、南米（サンパウロ）の14のAWSリージョンで利用可能です。
詳細については、ブログを読み、AWS Glue Data Catalogのドキュメントをご覧ください。
関連サービス
AWS Glue
AWS Glue Data Catalog
関連サービスの説明
AWS Glue Data Catalogは、AWS Glueの一部であり、データレイクやデータウェアハウスのメタデータを管理するためのサービスです。テーブル定義、ジョブ定義、その他のメタデータを保存し、データの検索、管理、および分析を容易にします。Apache Icebergテーブルの自動最適化機能を提供することで、大規模なデータセットの管理と分析のパフォーマンスを向上させます。
AWS Glueは、フルマネージド型のETL（抽出、変換、ロード）サービスです。データの検出、準備、結合を容易にし、分析やデータ処理のためのデータを準備します。Glue Data Catalogはこのサービスの重要な構成要素であり、メタデータリポジトリとして機能します。AWS Glueを使用することで、データエンジニアやデータアナリストは、大規模なデータセットを効率的に処理し、分析に適した形式に変換することができます。