• Amazon Kinesis Data Streamsに新機能「ストリーミングテーブル」が導入され、KinesisストリームからAmazon S3 TablesへApache Iceberg形式でデータを継続的に配信可能
• フルサーバーレスで、自己管理型のIceberg配信パイプラインの構築・運用が不要
• データ配信コストを最大50%削減
• インテリジェントなインラインコンパクションによりスモールファイル問題を解消し、下流のクエリコストを最大30%削減
• スケーリング、リトライ、コンパクション、配信の信頼性を自動処理し、数分でデータを配信
• On Demand Advantage（ODA）とOn Demand Standard（ODS）のキャパシティモードをサポートし、使用量ベースの料金設定
• 正常に配信されたデータに対してのみ課金（セットアップ費用や最低コミットメントなし）
• AWS GovCloud（US）および中国リージョンを含む、Kinesis Data Streamsが利用可能なすべてのAWSリージョンで利用可能

Amazon Kinesis Data Streamsに新しいフルサーバーレス機能「ストリーミングテーブル」が導入されました。この機能により、KinesisストリームからAmazon S3 TablesへApache Iceberg形式でデータを継続的に配信できます。自前のIceberg配信パイプラインの構築・運用が不要となり、データ配信コストを最大50%削減し、インテリジェントなインラインコンパクションにより下流のクエリコストも最大30%削減できます。

Amazon Kinesis Data Streamsは、KinesisストリームからAmazon S3 TablesへApache Iceberg形式でデータを継続的に配信する、新しいフルサーバーレス機能であるストリーミングテーブルを導入しました。
ストリーミングテーブルにより、自己管理型のIceberg配信パイプラインを構築・運用する必要がなくなり、データ配信コストを最大50%削減できます。
インテリジェントなインラインコンパクションにより、スモールファイル問題が解消され、クエリパフォーマンスが予測可能に保たれ、下流のクエリコストが最大30%削減されます。

Amazon Kinesis Data Streamsは、あらゆる規模のデータストリームを簡単にキャプチャ、処理、保存できるサーバーレスストリーミングデータサービスです。
お客様は、最新のデータを使用してほぼリアルタイムの分析やAI/ML特徴量パイプラインを実現するために、ストリーミングデータをApache Icebergテーブルに配信したいというニーズが増えています。
現在これを行うには、カスタムパイプラインの構築と管理、フォーマット変換の処理、コンピューティングインフラストラクチャの管理が必要で、コストが増大します。
また、大量のストリーミング取り込みにより多数の小さなParquetファイルが生成され、下流のクエリパフォーマンスが低下し、ストレージコストが増加します。

ストリーミングテーブルを使用すると、お客様はストリーミングテーブルを作成するだけで、KinesisストリームからAmazon S3 Tablesへデータを継続的に配信するフルサーバーレス機能を利用できます。
インテリジェントなインラインコンパクションにより、スモールファイルのパフォーマンスへの影響が排除され、データの鮮度を犠牲にすることなくクエリパフォーマンスが予測可能に保たれます。
Kinesis Data Streamsはスケーリング、リトライ、コンパクション、配信の信頼性を自動的に処理し、数分で配信します。
カスタムアプリケーション、自己管理型コンピューティング、運用オーバーヘッドは不要です。

お客様はコンソールから数クリックで統合された体験としてストリーミングテーブルを設定するか、APIを通じて設定できます。
ストリーミングテーブルはOn Demand Advantage（ODA）およびOn Demand Standard（ODS）キャパシティモードをサポートし、使用量ベースの料金設定で、セットアップ費用や最低コミットメントはありません。
正常に配信されたデータに対してのみ課金されます。

ストリーミングテーブルは、AWS GovCloud（US）および中国リージョンを含む、Amazon Kinesis Data Streamsが利用可能なすべてのAWSリージョンで利用できます。
開始するには、Amazon Kinesis Data Streamsユーザーガイドおよび料金ページをご覧ください。

• Amazon Kinesis Data Streams
• Amazon S3 Tables

• Amazon Kinesis Data Streamsは、リアルタイムのストリーミングデータを大規模にキャプチャ、処理、保存できるサーバーレスのデータストリーミングサービスです。IoTデバイス、アプリケーションログ、クリックストリームなど、さまざまなソースから連続的に生成されるデータをリアルタイムで収集し、複数のコンシューマーアプリケーションで処理できます。サーバーレスであるため、インフラストラクチャの管理が不要で、データ量に応じて自動的にスケールします。今回の新機能「ストリーミングテーブル」により、ストリームのデータをApache Iceberg形式でAmazon S3 Tablesに直接配信する機能が追加されました。
• Amazon S3 Tablesは、Amazon S3上でApache Iceberg形式のテーブルをネイティブにサポートするサービスです。Apache Icebergは、大規模なデータセットに対して高パフォーマンスなクエリを可能にするオープンテーブルフォーマットで、データレイクでの分析ワークロードに広く使われています。S3 Tablesを使用すると、S3上にIcebergテーブルを直接作成・管理でき、Amazon AthenaやAmazon Redshiftなどの分析サービスからクエリを実行できます。テーブルの管理やメタデータの最適化が自動的に行われるため、運用の負担が軽減されます。

• https://docs.aws.amazon.com/streams/latest/dev/
• https://aws.amazon.com/kinesis/data-streams/pricing/