Amazon MSK Express brokersがApache Iceberg向けストリーミングテーブルへのデータ配信に対応
ID 5494
GUID 14394b64c06642e223594abd31f0cb37a8b22333
発表日(JST)
要約生成日時(JST)
タイトル Amazon MSK Express brokersがApache Iceberg向けストリーミングテーブルへのデータ配信に対応
詳細リンク https://aws.amazon.com/about-aws/whats-new/2026/07/aws-msk-streaming-tables-for-apache-iceberg
カテゴリ
  • amazon-msk
  • analytics
  • aws-govcloud-us
要点
  • Amazon MSK Express brokersが、Apache KafkaトピックをAmazon S3 Tables上のApache Icebergテーブルとして継続的にマテリアライズする機能に対応
  • セルフマネージドデプロイメントと比較して取り込み・配信コストを最大60%削減、ダウンストリームクエリコストを最大30%削減
  • インテリジェントなインラインコンパクションによりスモールファイル問題を解消し、データ鮮度を犠牲にせずクエリパフォーマンスを維持
  • 最大10 GB/sのスループットをサポートし、ブローカーのエグレススループットを追加しないためインフラコストを削減
  • Apache Spark、Trino、Apache Flinkなど任意のエンジンでデータのクエリや変換が可能
  • Amazon MSKコンソールから数クリック、またはMSK APIやMCPサーバーで有効化可能
  • Amazon MSK Express brokersが提供されているすべてのAWSリージョンで利用可能
アップデート内容要約

Amazon MSK Express brokersが、Apache KafkaトピックをAmazon S3 Tables上のApache Icebergテーブルとして継続的にマテリアライズする新機能「ストリーミングテーブルへのデータ配信」に対応しました。この機能により、セルフマネージドデプロイメントと比較してデータ取り込み・配信コストを最大60%削減し、ダウンストリームクエリコストを最大30%削減できます。
アップデート内容全文

Amazon MSK Express brokersが、Apache Iceberg向けストリーミングテーブルへのデータ配信に対応しました。
これは、Apache KafkaトピックをAmazon S3 Tables上のApache Icebergテーブルとして継続的にマテリアライズする新機能です。
Amazon MSKのストリーミングテーブルへのデータ配信は、セルフマネージドデプロイメントと比較してApache KafkaデータのAmazon S3 Tablesへの取り込み・配信コストを最大60%削減し、セルフマネージドApache Kafkaデプロイメントと比較してダウンストリームクエリコストを最大30%削減します。

お客様はApache Kafkaを利用して不正検知やパーソナライゼーションなどのユースケース向けにリアルタイムデータを取り込んでおり、そのデータをApache Icebergテーブルと統合してニアリアルタイム分析を行いたいというニーズが増えています。
しかし、この2つを統合するには複雑なカスタムパイプラインの運用、フォーマット変換の管理、そして高ボリュームの取り込みによって多数の小さなParquetファイルが作成されダウンストリームクエリが遅くなりコストが増加するスモールファイル問題への対処が必要でした。

この機能により、インテリジェントなインラインコンパクションがスモールファイルのパフォーマンスへの影響を排除し、データの鮮度を犠牲にすることなくクエリパフォーマンスを予測可能に保ちます。
また、組み込みの調整機能が高スループットコンシューマー間の同時書き込み競合を解決します。

Amazon MSKは、Amazon S3 Tables上のApache Icebergへの配信で最大10 GB/sのスループットをサポートします。
このネイティブ機能はブローカーのエグレススループットを追加しないため、コネクタパイプラインのスケーリングにかかる追加インフラストラクチャコストを回避し、ピークではなく実際の需要に容量を合わせることができます。

お客様はストリーミングテーブルにデータを配信し、Apache Spark、Trino、Apache Flinkなど任意のエンジンでデータをクエリまたは変換できます。

利用を開始するには、Amazon MSKコンソールを開き、Expressクラスターを選択して数クリックで機能を有効にするか、MSK APIまたはMCPサーバーを使用します。
Amazon MSKのストリーミングテーブルへのデータ配信は、Amazon MSK Express brokersが提供されているすべてのAWSリージョンで本日より利用可能です。
料金情報については料金ページをご覧ください。
詳細については、Amazon MSK開発者ガイドおよびAmazon MSK AIスキルをご覧ください。

関連サービス
  • Amazon MSK
  • Amazon S3 Tables
関連サービスの説明
  • Amazon MSK（Managed Streaming for Apache Kafka）は、Apache Kafkaを使用してストリーミングデータを処理するアプリケーションの構築と実行を容易にする、フルマネージドサービスです。Apache Kafkaはリアルタイムのデータストリーミングパイプラインやアプリケーションを構築するためのオープンソースプラットフォームで、Amazon MSKを使用することでインフラストラクチャの管理なしにApache Kafkaを利用できます。Express brokersは、Amazon MSKの高性能なブローカータイプで、従来のブローカーよりもスループットやスケーラビリティに優れています。
  • Amazon S3 Tablesは、Amazon S3上でApache Icebergテーブルを管理するためのサービスです。Apache Icebergは、大規模なデータレイク上で分析ワークロードを実行するためのオープンテーブルフォーマットです。S3 Tablesを使用することで、データレイク上のテーブルデータを効率的に管理し、さまざまな分析エンジンからクエリを実行することができます。テーブルの自動コンパクションやメタデータ管理などの機能を提供し、データレイクの運用を簡素化します。
関連URL