Amazon SageMaker InferenceにScale Down to Zero機能が導入された
非アクティブ時にエンドポイントをゼロインスタンスにスケールダウンし、コストを削減
変動的なトラフィックパターンを持つAIアプリケーションに特に有効
AWS SDK for Python、SageMaker Python SDK、AWS CLIを通じて設定可能
すべてのAmazon SageMakerサポート地域で一般提供開始
アップデート内容要約
Amazon SageMakerが、AIモデルの推論コストを大幅に削減できる新機能「Scale Down to Zero」を発表しました。この機能により、使用されていない時間帯にインスタンス数をゼロにスケールダウンし、トラフィックが再開したらすぐにスケールアップすることができます。
アップデート内容全文
Amazon SageMaker Inferenceの新機能「Scale Down to Zero」の導入が発表されました。
この機能により、非アクティブな期間中にエンドポイントをゼロインスタンスにスケールダウンすることが可能になります。
これは、AIモデルを使用した推論の実行コストを大幅に削減できる機能で、チャットボット、コンテンツモデレーションシステム、その他の生成AIユースケースなど、変動的なトラフィックパターンを持つアプリケーションに特に有益です。
Scale Down to Zeroを使用すると、顧客はSageMakerの推論エンドポイントを設定して、使用されていない時にゼロインスタンスに自動的にスケールダウンし、トラフィックが再開したら迅速にスケールアップすることができます。
この機能は、予測可能なトラフィックパターン、断続的な推論トラフィック、開発/テスト環境などのシナリオに効果的です。
SageMaker Inference Componentsを使用することで、Scale Down to Zeroの実装は簡単です。
顧客は、AWS SDK for Python（Boto3）、SageMaker Python SDK、またはAWS Command Line Interface（AWS CLI）を通じて自動スケーリングポリシーを設定できます。
プロセスには、マネージドインスタンススケーリングを有効にしたエンドポイントのセットアップ、スケーリングポリシーの設定、スケーリングアクションをトリガーするCloudWatchアラームの作成が含まれます。
Scale Down to Zeroは、Amazon SageMakerがサポートされているすべてのAWSリージョンで一般提供が開始されました。
Scale Down to Zeroの実装方法や生成AI展開のコスト最適化についての詳細は、ドキュメンテーションページをご覧ください。
関連サービス
AWS SDK for Python (Boto3)
Amazon CloudWatch
Amazon SageMaker
関連サービスの説明
AWS SDK for Python（Boto3）は、PythonプログラムからAWSサービスを簡単に利用するためのソフトウェア開発キットです。AWSの各種サービスにアクセスし、操作するためのPythonライブラリを提供しています。