インスタンスフリートの再構成によるEMRクラスターの動的更新が可能に
ID 1060
GUID e59f084f089e1643a9c4d039b47ae8cdcde93418
発表日(JST)
要約生成日時(JST)
タイトル インスタンスフリートの再構成によるEMRクラスターの動的更新が可能に
詳細リンク https://aws.amazon.com/about-aws/whats-new/2025/02/update-running-emr-cluster-reconfiguration-instance-fleets
カテゴリ
  • amazon-emr
  • analytics
  • aws-govcloud-us
要点
  • Amazon EMR on EC2が、クラスターの終了や再起動なしでアプリケーション構成のリアルタイム更新をサポート
  • Spark、YARN、HDFSなどの設定を実行中のクラスターで動的に調整可能
  • クラスターの安定性とリソースの可用性を確保しながら、ローリングベースで更新を適用
  • CloudWatchとEMRイベントを通じて更新の通知を提供
  • 更新プロセス中もワークロードの実行を継続可能
  • EMR 5.21以降のリリースで利用可能
  • すべてのAWSリージョン（AWS GovCloud（US）を含む）で利用可能
アップデート内容要約

Amazon EMR on EC2が、クラスターの終了や再起動なしでアプリケーション構成をリアルタイムで更新できるようになりました。これにより、ワークロードの中断を最小限に抑えながら、実行中のクラスターでリソース割り当てやアプリケーションの微調整が可能になります。
アップデート内容全文

Amazon EMR on EC2が、EMRインスタンスフリートのアプリケーション構成をクラスターの終了や再起動なしでリアルタイムに更新できるようになりました。
この機能により、Sparkのエグゼキューターメモリ、YARNのリソース割り当て、HDFSの設定など、アプリケーション構成を実行中のクラスターでシームレスに調整できるようになりました。
これは、データ処理やジョブのパフォーマンス要件に合わせてリソース割り当てを調整し、アプリケーションを微調整する際に特に有用です。
Amazon EMRは、Apache Spark、Apache Flink、Trinoなどのオープンソースフレームワークを使用したデータ処理、インタラクティブ分析、機械学習のためのクラウドビッグデータプラットフォームです。
以前は、新しい構成でインスタンスフリートクラスターを終了して再起動する必要がありました。
この処理にはダウンタイムが発生し、運用の労力が増加し、ワークフローの調整が遅れていました。
再構成のサポートにより、EMRはクラスターの安定性とリソースの可用性を確保しながら、更新された構成をクラスターノードに動的に適用します。
Amazon CloudWatchとEMRイベントを通じて顧客に通知を提供します。
障害や互換性のない更新が発生した場合、EMRは変更をロールバックしてクラスターの運用を維持します。
更新プロセス中もクラスターでワークロードを継続して実行できます。
この機能は、AWS CLIまたはAPIを使用して、EMR 5.21以降のすべてのリリースで利用できます。
Amazon EMR on EC2が利用可能なすべてのAWSリージョン（AWS GovCloud（US）リージョンを含む）で利用可能です。
詳細については、ドキュメントを参照してください。

関連サービス
  • AWS GovCloud (US)
  • Amazon CloudWatch
  • Amazon EMR
関連サービスの説明
  • AWS GovCloud (US)は、米国政府機関や企業が機密性の高いワークロードをクラウドで実行するために設計された、分離されたAWSリージョンです。高度なセキュリティとコンプライアンス要件を満たすように設計されており、FedRAMP等の厳格な規制に準拠しています。
  • Amazon CloudWatchは、AWSリソースとアプリケーションのモニタリングサービスです。メトリクス、ログ、イベントを収集し、可視化することで、システムの状態を監視し、問題にすばやく対応することができます。また、アラートの設定や自動アクションのトリガーにも使用できます。
  • Amazon EMR（Elastic MapReduce）は、大規模なデータ処理、分析、および機械学習タスクを簡単に実行できるクラウドベースのビッグデータプラットフォームです。Hadoop、Spark、HiveなどのオープンソースツールをAWS上で簡単に設定、運用、スケーリングすることができます。データサイエンティストやエンジニアが大量のデータを効率的に処理し、分析するのに役立ちます。
関連URL