• amazon-machine-learning
• amazon-sagemaker
• artificial-intelligence

• Amazon SageMaker InferenceがICエンドポイントのローリングアップデートをサポート
• トラフィックを中断せずに最小限の追加インスタンスでエンドポイントを更新可能
• 以前のブルー/グリーン方式と比較して、必要なインスタンス数を大幅に削減
• コスト削減と容量予約の効率化を実現
• ICがサポートされているすべての地域で利用可能

Amazon SageMaker Inferenceが推論コンポーネント（IC）エンドポイントのローリングアップデートをサポートするようになりました。これにより、顧客はトラフィックを中断せずに、最小限の追加インスタンスで実行中のICエンドポイントを更新できるようになりました。

Amazon SageMaker Inferenceが推論コンポーネント（IC）エンドポイントのローリングアップデートをサポートするようになりました。
これにより、顧客は過去のように2倍のインスタンスを必要とするのではなく、トラフィックを中断せずに最小限の追加インスタンスで実行中のICエンドポイントを更新できるようになりました。
SageMaker Inferenceは、基盤モデル（FM）を含むMLモデルの展開を容易にします。
SageMaker Inferenceの機能として、ICは顧客が同じエンドポイントに複数のFMを展開し、各モデルのアクセラレータ割り当てを制御することを可能にします。
今回、ローリングアップデートにより、顧客は以前のブルー/グリーンアップデート方式のように一度にすべてを更新するのではなく、エンドポイント内のICをバッチごとに更新できるようになりました。
ブルー/グリーンアップデートでは、古いフリートから新しいフリートにトラフィックを移行する前に、更新されたモデルで新しいICフリートをプロビジョニングする必要があり、実質的に必要なインスタンス数が2倍になっていました。
ローリングアップデートでは、新しいICがより小さなバッチで作成されるため、更新中に必要な追加インスタンスの数が大幅に削減されます。
これにより、顧客は追加容量のコストを最小限に抑え、容量予約の小さなバッファ要件を維持できます。
ICのローリングアップデートは、ICがサポートされているすべての地域で利用可能です：アジアパシフィック（東京、ソウル、ムンバイ、シンガポール、シドニー、ジャカルタ）、カナダ（中部）、ヨーロッパ（フランクフルト、ストックホルム、アイルランド、ロンドン）、中東（UAE）、南アメリカ（サンパウロ）、米国東部（バージニア北部、オハイオ）、米国西部（カリフォルニア北部、オレゴン）。
詳細については、ドキュメントをご覧ください。

• Amazon SageMaker Inference

• Amazon SageMaker Inferenceは、Amazon SageMakerの一部として提供される機械学習モデルのデプロイと推論のためのサービスです。このサービスを使用することで、開発者や機械学習エンジニアは、トレーニングされたモデルを簡単にデプロイし、リアルタイムの予測や推論を行うことができます。SageMaker Inferenceは、モデルのホスティング、自動スケーリング、負荷分散、セキュリティ、モニタリングなどの機能を提供し、大規模な機械学習アプリケーションの運用を簡素化します。今回の更新で追加されたローリングアップデート機能により、運用中のモデルを中断なくアップデートすることが可能になり、より柔軟で効率的なモデル管理が実現しました。

• https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InferenceComponentDeploymentConfig.html#sagemaker-Type-InferenceComponentDeploymentConfig-RollingUpdatePolicy