• amazon-sagemaker
• artificial-intelligence

• Amazon SageMakerがNVIDIA H200 GPU搭載のP5eインスタンスとNVIDIA L40S GPU搭載のG6eインスタンスの一般提供を開始
• ml.p5e.48xlargeインスタンスは、1128 GBのGPUメモリ、30 TBのSSDストレージ、192 vCPU、2 TiBのシステムメモリを提供
• ml.g6eインスタンスは、ml.g5インスタンスと比較して最大2.5倍の性能向上を実現
• これらのインスタンスは、大規模言語モデル、マルチモーダル基盤モデル、生成AIアプリケーションなどに適している
• 現在、US East（オハイオ）とUS West（オレゴン）のSageMakerで利用可能

Amazon SageMakerが、NVIDIA H200 GPUを搭載したP5eインスタンスとNVIDIA L40S GPUを搭載したG6eインスタンスの一般提供を開始しました。これらのインスタンスは、大規模言語モデルや生成AIアプリケーションなど、計算集約型のAI推論ワークロードに高性能を提供します。

Amazon SageMakerは、NVIDIA L40S Tensor Core GPUを搭載した推論最適化G6eインスタンスと、NVIDIA H200 Tensor Core GPUを搭載したP5eインスタンスの一般提供を開始しました。
ml.p5e.48xlargeインスタンスは、8個のNVIDIA H200 GPUにわたる1128 GBの高帯域幅GPUメモリ、30 TBのローカルNVMe SSDストレージ、192 vCPU、2 TiBのシステムメモリを備え、100B+パラメータの大規模言語モデル、マルチモーダル基盤モデル、合成データ生成、質問応答、コード生成、ビデオ・画像生成などの複雑な生成AIアプリケーションを含む計算集約型AI推論ワークロードに卓越した性能を提供します。
ml.g6eインスタンスは、GPU当たり48 GBのメモリを持つ8個のNVIDIA L40s Tensor Core GPUと第3世代AMD EPYCプロセッサを搭載し、ml.g5インスタンスと比較して最大2.5倍の性能向上を実現します。
顧客は、ml.g6eインスタンスを使用して、最大13Bパラメータの大規模言語モデル（LLM）のAI推論や、画像、ビデオ、音声を生成するための拡散モデルを実行できます。
ml.p5eとml.g6eインスタンスは、現在US East（オハイオ）とUS West（オレゴン）のSageMakerで利用可能です。
利用を開始するには、AWS Service Quotasを通じて制限の引き上げをリクエストするだけです。
これらのインスタンスの価格情報については、価格ページをご覧ください。
SageMakerでのモデルのデプロイに関する詳細情報は、概要とドキュメンテーションをご参照ください。
これらのインスタンスに関する一般的な情報は、P5eおよびG6e製品ページをご覧ください。

• AWS Service Quotas
• Amazon SageMaker

• AWS Service Quotasは、AWSアカウントのサービスクォータ（以前は制限と呼ばれていました）を管理するためのサービスです。これを使用することで、各AWSサービスのクォータを確認し、必要に応じて引き上げをリクエストすることができます。サービスクォータは、セキュリティと信頼性を確保しながら、AWSリソースの使用を制御するために設定されています。
• Amazon SageMakerは、機械学習モデルの構築、トレーニング、デプロイを簡素化するAWSのフルマネージドサービスです。データサイエンティストやデベロッパーが、高品質な機械学習モデルを迅速に開発し、本番環境にデプロイすることを可能にします。SageMakerは、モデルの開発から大規模なデプロイまで、機械学習のワークフロー全体をカバーし、インフラストラクチャの管理や最適化を自動化します。

• https://aws.amazon.com/sagemaker/pricing/
• https://aws.amazon.com/sagemaker/deploy/
• https://docs.aws.amazon.com/sagemaker/latest/dg/deploy-model.html
• https://aws.amazon.com/ec2/instance-types/p5/
• https://aws.amazon.com/ec2/instance-types/g6e/