• analytics
• aws-glue

• AWS Glue 5.0が一般提供開始
• パフォーマンス向上、セキュリティ強化、SageMaker関連機能のサポート
• Apache Spark、Python、Javaのエンジンアップグレード
• オープンテーブルフォーマットサポートの更新（Apache Hudi、Apache Iceberg、Delta Lake）
• AWS Lake Formationを使用した細粒度アクセス制御の追加
• SageMaker Lakehouseサポートによるデータ統合機能の強化

AWSがAWS Glue 5.0の一般提供を開始しました。この新バージョンでは、パフォーマンスの向上、セキュリティの強化、Amazon SageMaker Unified StudioやSageMaker Lakehouseのサポートなど、多くの改善が行われています。

本日、AWS Glue 5.0の一般提供開始を発表します。
AWS Glue 5.0では、パフォーマンスの向上、セキュリティの強化、Amazon SageMaker Unified StudioとSageMaker Lakehouseのサポート、その他の機能が追加されました。
AWS Glue 5.0を使用することで、データ統合ワークロードの開発、実行、スケーリングが可能となり、より迅速に洞察を得ることができます。
AWS Glueは、サーバーレスでスケーラブルなデータ統合サービスで、複数のソースからのデータの検出、準備、移動、統合を簡単に行うことができます。
AWS Glue 5.0では、Apache Spark 3.5.2、Python 3.11、Java 17にエンジンがアップグレードされ、新しいパフォーマンスとセキュリティの改善が行われています。
Glue 5.0では、Apache Hudi 0.15.0、Apache Iceberg 1.6.1、Delta Lake 3.2.0へのオープンテーブルフォーマットサポートが更新され、データレイクにおけるパフォーマンス、コスト、ガバナンス、プライバシーに関する高度なユースケースを解決できるようになりました。
AWS Glue 5.0では、AWS Lake Formationを使用したSparkネイティブの細粒度アクセス制御が追加され、Amazon S3データレイク上でテーブル、列、行、セルレベルの権限を適用できるようになりました。
最後に、Glue 5.0ではSageMaker Lakehouseのサポートが追加され、Amazon S3データレイクとAmazon Redshiftデータウェアハウス全体のデータを統合できるようになりました。
AWS Glue 5.0は、米国東部（バージニア北部）、米国東部（オハイオ）、米国西部（オレゴン）、ヨーロッパ（アイルランド）、ヨーロッパ（ロンドン）、ヨーロッパ（ストックホルム）、ヨーロッパ（フランクフルト）、アジアパシフィック（香港）、アジアパシフィック（ソウル）、アジアパシフィック（シンガポール）、アジアパシフィック（シドニー）、アジアパシフィック（東京）、カナダ（中部）、南米（サンパウロ）の各リージョンで本日から一般提供されています。
詳細については、AWS Glue製品ページとドキュメントをご覧ください。

• AWS Glue
• AWS Lake Formation
• Amazon SageMaker

• AWS Glueは、サーバーレスでスケーラブルなデータ統合サービスです。複数のデータソースからデータを発見、準備、移動、統合するプロセスを簡素化します。ETL（抽出、変換、ロード）ジョブを簡単に作成、実行、監視できるため、データ分析やマシンラーニングのためのデータ準備を効率的に行うことができます。
• AWS Lake Formationは、セキュアなデータレイクを数日で簡単に設定できるサービスです。データの収集、カタログ化、クリーニング、変換、そしてセキュリティとアクセス制御の集中管理を行います。これにより、組織全体で安全にデータを共有し、分析することが可能になります。
• Amazon SageMakerは、機械学習モデルの構築、トレーニング、デプロイを簡単に行えるフルマネージドの機械学習プラットフォームです。データサイエンティストや開発者が、高品質な機械学習モデルを迅速に作成し、本番環境に展開することを支援します。

• https://aws.amazon.com/lake-formation/
• https://aws.amazon.com/glue/
• https://docs.aws.amazon.com/glue/