AWS Neuronが Trainium2 と NxD Inference のサポートを導入
ID 399
GUID 7cee4490939fd01ae2b5a7068ebabdfaf9ace616
発表日(JST)
要約生成日時(JST)
タイトル AWS Neuronが Trainium2 と NxD Inference のサポートを導入
詳細リンク https://aws.amazon.com/about-aws/whats-new/2024/12/aws-neuron-trainium2-nxd-inference
カテゴリ
  • amazon-ec2
  • amazon-ec2-trn1
  • artificial-intelligence
  • aws-inferentia
  • compute
要点
  • AWS Neuron 2.21 が Trainium2 チップと EC2 Trn2 インスタンスのサポートを導入
  • NxD Inference と Neuron Profiler 2.0（ベータ）の新機能追加
  • PyTorch 2.5 のサポート追加
  • Llama 3.1 405B モデルの単一 trn2.48xlarge インスタンスでの推論サポート
  • FP8 重み量子化やフラッシュデコーディングなどの新しい推論機能
  • HuggingFace Llama 3/3.1 70B のサポートなど、新しいトレーニング例と機能の追加
アップデート内容要約

AWS が Neuron 2.21 をリリースし、Trainium2 チップと EC2 Trn2 インスタンスのサポート、PyTorch 2.5 のサポート、NxD Inference、Neuron Profiler 2.0（ベータ）を導入しました。この更新により、大規模言語モデルと多モダリティモデルの展開が簡素化され、様々なモデルアーキテクチャのサポートが追加されました。
アップデート内容全文

AWS は本日、Neuron 2.21 のリリースを発表しました。
この新バージョンは AWS Trainium2 チップと Amazon EC2 Trn2 インスタンス（trn2.48xlarge インスタンスタイプと Trn2 UltraServer を含む）のサポートを導入しています。
また、PyTorch 2.5 のサポート、NxD Inference、Neuron Profiler 2.0（ベータ）も追加されました。
NxD Inference は、vLLM と統合された新しい PyTorch ベースのライブラリで、大規模言語モデルと多モダリティモデルの展開を簡素化し、最小限のコード変更で PyTorch モデルのオンボーディングを可能にします。
Neuron Profiler 2.0（ベータ）は、分散ワークロードのサポートを含む新しいプロファイラーで、機能と使いやすさを向上させています。
Neuron 2.21 は、単一の trn2.48xlarge インスタンスで NxD Inference を使用した Llama 3.1 405B モデルの推論サポートも導入しています。
このリリースでは、Deep Learning Containers（DLCs）と Deep Learning AMIs（DLAMIs）が更新され、Llama 3.2、Llama 3.3、Mixture-of-Experts（MoE）モデルなど、様々なモデルアーキテクチャのサポートが追加されています。
新しい推論機能には、FP8 重み量子化と Transformers NeuronX（TNx）での投機的デコーディングのためのフラッシュデコーディングが含まれています。
また、Trn2 インスタンスでの HuggingFace Llama 3/3.1 70B のサポートや、モデルアラインメントの事後トレーニングのための DPO サポートなど、新しいトレーニング例と機能が追加されました。
AWS Neuron SDK は、Trn1、Trn2、Inf2 インスタンスでのモデルのトレーニングと展開をサポートしており、これらのインスタンスは AWS リージョンでオンデマンドインスタンス、リザーブドインスタンス、スポットインスタンス、またはセービングプランの一部として利用可能です。

関連サービス
  • AWS Inferentia
  • AWS Neuron
  • Amazon EC2
関連サービスの説明
  • AWS Inferentia は、AWS が開発した機械学習推論に特化したカスタムチップです。高性能かつコスト効率の良い推論を実現するために設計されており、大規模な機械学習モデルの推論処理を高速化します。Inf2 インスタンスで使用されています。
  • AWS Neuron は、AWS の機械学習推論および学習向けの専用ソフトウェア開発キット（SDK）です。Trainium や Inferentia などの AWS の機械学習チップに最適化されており、高性能な機械学習モデルのトレーニングと推論を可能にします。
  • Amazon EC2（Elastic Compute Cloud）は、AWSのクラウドコンピューティングプラットフォームです。ユーザーは必要に応じて仮想サーバー（インスタンス）を起動し、コンピューティング能力を柔軟にスケールアップまたはダウンできます。このサービスは、様々なインスタンスタイプを提供し、異なる用途や性能要件に対応します。
関連URL