Amazon EMR on EC2でSpark Connectを使用したインタラクティブワークロードの実行
ID 5529
GUID 0979da32bf71c87621b556f37142373c25270baf
発表日(JST)
要約生成日時(JST)
タイトル Amazon EMR on EC2でSpark Connectを使用したインタラクティブワークロードの実行
詳細リンク https://aws.amazon.com/about-aws/whats-new/2026/08/amazon-emr-ec2-spark-connect/
カテゴリ
  • amazon-emr
  • analytics
要点
  • Amazon EMR on EC2がSpark ConnectによるインタラクティブなApache Sparkセッションをサポート
  • Amazon SageMaker Unified Studioのマネージドノートブックや、Jupyter、Visual Studio Codeなどの独自IDEから開発・デバッグが可能
  • 各セッションは専用のEMR on EC2クラスターで実行され、永続的なSparkコンテキストを提供
  • Spark Connectのクライアント・サーバーアーキテクチャにより、アプリケーションクライアントとSparkドライバーが分離
  • アドホックなデータ探索、反復的デバッグ、段階的なPySparkジョブ開発をサポート
  • Spark UI、Spark History Server、EMRコンソール/API/CLI/SDKによるオブザーバビリティを提供
  • AWS runtime for Apache Spark（emr-spark-8.0）以降で利用可能、GovCloudと中国リージョンを除くすべてのリージョンで提供
アップデート内容要約

Amazon EMR on EC2がSpark ConnectによるインタラクティブなApache Sparkセッションをサポートしました。データエンジニアやデータサイエンティストは、Amazon SageMaker Unified Studioのマネージドノートブックや独自のIDE（JupyterやVisual Studio Code）からインタラクティブにSparkアプリケーションを開発・デバッグでき、各セッションは専用のEMR on EC2クラスターで実行されます。
アップデート内容全文

Amazon EMR on EC2は、Spark ConnectによるインタラクティブなApache Sparkセッションをサポートするようになりました。
データエンジニアやデータサイエンティストは、Amazon SageMaker Unified Studioのマネージドノートブックや、JupyterやVisual Studio Codeなどの独自のIDEから、インタラクティブにApache Sparkアプリケーションを開発・デバッグでき、各セッションは専用のEMR on EC2クラスターで実行されます。
また、EMRコンソールでアクティブおよび完了したセッションの監視とデバッグも可能です。

インタラクティブセッションは、セルやスクリプト間にわたる永続的なSparkコンテキストを提供し、ローカルのPythonコード実行とリモートのSpark操作を組み合わせることができます。
Spark Connectのクライアント・サーバーアーキテクチャは、アプリケーションクライアントをSparkドライバーから分離し、Sparkインフラストラクチャがクラスター上で実行される間、お好みの開発環境やツールを維持できます。
このアーキテクチャは、アドホックなデータ探索、反復的なステップバイステップのデバッグ、本番環境へのデプロイ前の段階的なPySparkジョブ開発などのワークフローをサポートします。
オブザーバビリティとして、Spark UIによるリアルタイムのセッション監視、Spark History Serverによる履歴追跡、EMRコンソールまたはAPI/CLI/SDKによるセッション管理が提供されます。

インタラクティブセッションは、AWS runtime for Apache Spark（emr-spark-8.0）以降のAmazon EMR on EC2で利用可能で、AWS GovCloudリージョンと中国リージョンを除く、Amazon EMRが利用可能なすべてのAWSリージョンで提供されています。
Amazon SageMaker Unified Studioエクスペリエンスはサポートされているリージョンで利用可能です。
開始するには、Spark Connectによるインタラクティブセッションガイドまたは Amazon SageMaker Unified Studio入門ガイドをご覧ください。

関連サービス
  • Amazon EMR
  • Amazon SageMaker Unified Studio
関連サービスの説明
  • Amazon EMRは、Apache Spark、Apache Hive、Prestoなどのビッグデータフレームワークを簡単にデプロイ・管理できるマネージドクラスターサービスです。大量のデータを高速に処理・分析するために使用され、EC2インスタンス上でクラスターを実行します。データの変換、分析、機械学習のワークロードに適しており、必要な時にクラスターを起動し、処理が完了したら終了することでコストを最適化できます。
  • Amazon SageMaker Unified Studioは、データエンジニア、データサイエンティスト、ビジネスアナリストが統合された環境でデータの分析、機械学習モデルの構築、アプリケーションの開発を行えるサービスです。マネージドノートブックを含む統合開発環境を提供し、さまざまなAWSのデータサービスやMLサービスへのアクセスを一元化して、チーム間のコラボレーションを促進します。
関連URL