Amazon RedshiftがApache Icebergマテリアライズドビューの作成と更新をサポート
ID 6694
GUID 9dbbadf94186b3a64b89b3a575a6d0f6b9507e12
発表日(JST)
要約生成日時(JST)
タイトル Amazon RedshiftがApache Icebergマテリアライズドビューの作成と更新をサポート
詳細リンク https://aws.amazon.com/about-aws/whats-new/2026/10/redshift-iceberg-materialized-views
カテゴリ
  • amazon-redshift
  • analytics
要点
  • Amazon RedshiftがApache Icebergマテリアライズドビューの作成と更新をサポート開始
  • コストの高いジョインや集計を一度だけ事前計算し、結果をAmazon S3上のIcebergテーブルとして保存
  • AWS Glue Data Catalogに登録され、ガバナンスと検出が可能
  • Amazon Athena、Apache Spark on Amazon EMR/AWS Glue、Trino、Snowflakeなど、Iceberg互換の任意のエンジンから即座にクエリ可能
  • 手動インクリメンタルリフレッシュにより、変更された部分のみを再計算して効率的に最新状態を維持
  • 複数エンジンのオーケストレーションオーバーヘッドを削減し、単一エンジンでのエンドツーエンドパイプラインを実現
  • パフォーマンスに敏感なダッシュボード向けにRedshift Managed Storage（RMS）へのロードも可能
  • Redshift ServerlessおよびプロビジョニングされたGravitonインスタンスがサポートされている全リージョンで利用可能
アップデート内容要約

Amazon Redshiftが Apache Icebergマテリアライズドビューの作成と更新に対応しました。コストの高いジョインや集計を事前計算し、その結果をAmazon S3上のApache Icebergテーブルとして保存できます。これにより、Amazon Athena、Apache Spark on Amazon EMR、AWS Glue、Trino、Snowflakeなど、Iceberg互換の任意のエンジンから即座にクエリ可能になります。
アップデート内容全文

Amazon Redshiftは、Apache Icebergマテリアライズドビューの作成と更新をサポートするようになりました。
マテリアライズドビューは、コストの高いジョインや集計を一度だけ事前計算し、その結果をAmazon S3またはAmazon S3テーブルバケット上のApache Icebergテーブルとして保存します。
これらはAWS Glue Data Catalogに登録されます。
マテリアライズドビューは、おなじみのSQL（CREATE MATERIALIZED VIEW ... USING ICEBERG）を使用して作成され、その結果はAmazon Athena、Amazon EMRおよびAWS Glue上のApache Spark、さらにTrinoやSnowflakeなどのサードパーティエンジンを含む、Iceberg互換のあらゆるエンジンから即座にクエリ可能です。
Redshiftは手動のインクリメンタルリフレッシュにより、変更された部分のみを再計算して最新の状態を維持します。
また、結果はGlue Data Catalog内のIcebergテーブルであるため、他のカタログテーブルと同様にガバナンスと検出が可能です。

データチームは通常、分析をステージごとに構築し、生データをクリーニング・変換してから提供するまでに複数のエンジンを連携させます。
これにより、パイプラインのオーケストレーションオーバーヘッドが生じ、エンジン間でセマンティクスの違いが発生する可能性があります。
Icebergマテリアライズドビューは2つの方法で価値を提供します。
まず、何百ものユーザーやチームが同じコストの高いジョインや集計を繰り返し実行し、クエリのたびにソーステーブルを再スキャンする代わりに、結果を一度計算すれば全員が事前計算されたテーブルを読み取ることができます。
次に、Apache SparkやAmazon Redshiftのような単一エンジンを使用してエンドツーエンドのパイプラインを実行でき、すべての下流コンシューマーが複数エンジンのオーケストレーションオーバーヘッドなしに同じオープンな結果を共有できます。
いずれの場合も、出力はコピーや変換なしに任意のエンジンが読み取り可能なオープンなIcebergテーブルです。
最もパフォーマンスに敏感なダッシュボード向けには、これらのテーブルをRedshift Managed Storage（RMS）にネイティブRMSマテリアライズドビューとしてロードすることも可能です。

Icebergマテリアライズドビューは、Redshift ServerlessおよびプロビジョニングされたGravitonインスタンスがサポートされているすべてのリージョンで作成できます。

関連サービス
  • AWS Glue
  • Amazon Athena
  • Amazon Redshift
関連サービスの説明
  • AWS Glueは、AWSが提供するフルマネージドのETL（Extract、Transform、Load）サービスおよびデータカタログサービスです。AWS Glue Data Catalogは、データレイク内のデータのメタデータを一元管理するメタデータリポジトリとして機能します。さまざまなデータソースのスキーマやテーブル定義を登録・管理でき、Amazon Athena、Amazon Redshift、Amazon EMRなどのサービスから共通のカタログとして参照できます。本記事では、Icebergマテリアライズドビューの結果がGlue Data Catalogに登録され、ガバナンスや検出が可能になることが紹介されています。
  • Amazon Athenaは、Amazon S3に保存されたデータに対して標準的なSQLを使用して直接クエリを実行できるサーバーレスのインタラクティブクエリサービスです。インフラストラクチャの管理が不要で、実行したクエリに対してのみ課金されます。CSV、JSON、Parquet、Apache Icebergなど多様なデータフォーマットに対応しており、本記事ではRedshiftで作成されたIcebergマテリアライズドビューをAthenaからそのまま読み取れることが紹介されています。
  • Amazon Redshiftは、AWSが提供するフルマネージドのクラウドデータウェアハウスサービスです。ペタバイト規模のデータに対して高速なSQLクエリを実行でき、ビジネスインテリジェンスやデータ分析に広く利用されています。サーバーレス（Redshift Serverless）とプロビジョニングの2つのデプロイ方式があり、データの保存・分析を効率的に行えます。今回のアップデートでは、計算結果をApache Icebergテーブルとして保存するマテリアライズドビューの作成・更新機能が追加されました。
関連URL