Amazon MSK Express brokersがApache KafkaデータをAmazon S3に配信可能に
ID 5492
GUID ea1af5410de09c929fbad22621e79ec32f0cc1e1
発表日(JST)
要約生成日時(JST)
タイトル Amazon MSK Express brokersがApache KafkaデータをAmazon S3に配信可能に
詳細リンク https://aws.amazon.com/about-aws/whats-new/2026/07/aws-msk-express-brokers-delivers-to-amazon-s3
カテゴリ
  • amazon-msk
  • analytics
  • aws-govcloud-us
要点
  • Amazon MSK Express brokersがApache KafkaデータをAmazon S3汎用バケットに配信するフルマネージド機能を提供開始
  • セルフマネージドの代替手段と比較してインジェストおよび配信コストを最大60%削減
  • 最大10 GB/sのスループットをサポートし、エンドツーエンドの信頼性を提供
  • スケーリング、リトライ、バックプレッシャーを自動処理し、コネクタフリートの管理が不要に
  • 追加のブローカーエグレススループットのプロビジョニングが不要で、増分インフラコストを排除
  • キャパシティスケーリングやバージョンアップグレードを配信ギャップなしで自動管理
  • ログアーカイブ、コンプライアンス保持、Kafkaリプレイ、AI/MLモデルトレーニングなどのユースケースに対応
  • Amazon MSK Express brokersが提供されているすべてのAWSリージョンで利用可能
アップデート内容要約

Amazon MSK Express brokersが、Apache KafkaデータをAmazon S3汎用バケットに配信するフルマネージド機能を提供開始しました。この機能は自動スケーリング、リトライ、バックプレッシャー管理を自動的に処理し、セルフマネージドの代替手段と比較して最大60%のコスト削減を実現します。最大10 GB/sのスループットをサポートし、コネクタフリートの管理やチーム間の調整が不要になります。
アップデート内容全文

Amazon MSK Express brokersは、Apache KafkaデータをAmazon S3汎用バケットに配信できるようになりました。
これにより、下流処理のためにAmazon S3にApache Kafkaデータを最も簡単かつ信頼性の高い方法で配信するフルマネージド機能が提供されます。

この機能は、ミッションクリティカルなワークロードに対してエンドツーエンドの信頼性を備えた高スループットのKafkaデータをS3に配信するために自動的にスケーリングし、セルフマネージドの代替手段と比較してインジェストおよび配信コストを最大60%削減します。

お客様はログアーカイブ、コンプライアンス保持、Kafkaリプレイ、AI/MLモデルのトレーニングなどのユースケースのためにApache KafkaデータをAmazon S3に配信しており、通常はセルフマネージドコネクタでこれらのパイプラインを構築しています。
しかし、ワークロードが拡大するにつれてコストが高くなり運用が複雑になり、S3コネクタプラグインの構築またはソーシング、デプロイの承認取得、コネクタフリート全体でのキャパシティスケーリングやセキュリティアップデートの適用が必要になります。

この機能により、MSK Expressはスケーリング、リトライ、バックプレッシャーを自動的に処理するため、お客様はコネクタフリートの管理やチーム間の調整が不要になります。
MSK ExpressはAmazon S3へのデータ配信で最大10 GB/sのスループットをサポートし、キャパシティスケーリングやバージョンアップグレードなどのルーチン操作を配信ギャップを発生させることなく管理します。

さらに、お客様は追加のブローカーエグレススループットをプロビジョニングすることなくこの配信機能を追加できるため、コネクタベースのパイプラインのスケーリングで通常発生する増分インフラストラクチャコストが排除されます。
これにより、ピークに合わせたプロビジョニングではなく実際のワークロード需要に応じた配信スケーリングが可能になり、運用オーバーヘッドを排除しコストを削減しながら、信頼性の高い高スループットのAmazon S3への配信を実現します。

Amazon MSKからAmazon S3へのデータ配信は、Amazon MSK Express brokersが提供されているすべてのAWSリージョンで本日利用可能です。

関連サービス
  • Amazon MSK
  • Amazon S3
関連サービスの説明
  • Amazon MSK（Managed Streaming for Apache Kafka）は、Apache Kafkaを使用してストリーミングデータを処理するアプリケーションの構築と実行を容易にするフルマネージドサービスです。Apache Kafkaはリアルタイムのデータストリーミングプラットフォームで、大量のデータをリアルタイムで収集、処理、配信するために使用されます。Amazon MSKはKafkaクラスターのプロビジョニング、設定、メンテナンスを自動的に管理し、お客様はアプリケーション開発に集中できます。Express brokersは、MSKの新しいブローカータイプで、より高いスループットと低レイテンシーを提供し、インフラ管理をさらに簡素化します。
  • Amazon S3（Simple Storage Service）は、業界をリードするスケーラビリティ、データ可用性、セキュリティ、パフォーマンスを提供するオブジェクトストレージサービスです。あらゆる量のデータをインターネット上のどこからでも保存・取得できます。ウェブサイトのホスティング、バックアップと復元、アーカイブ、ビッグデータ分析、機械学習など、さまざまなユースケースに利用されています。データは「バケット」と呼ばれるコンテナに「オブジェクト」として保存され、高い耐久性（99.999999999%）を持ちます。
関連URL