• amazon-sagemaker
• artificial-intelligence

• Amazon SageMaker InferenceがOpenAI互換APIをサポート開始
• OpenAI SDK、LangChain、Strands Agentsなどの既存ツールからエンドポイントURLを変更するだけで接続可能
• カスタム統合コード、SDKラッパー、コードの書き直しは一切不要
• 独自のGPUインスタンス選択、VPC内データ保持、オープンソース/ファインチューニング済みモデルの実行、オートスケーリングが可能
• 認証は既存のAWS認証情報を使用し、トークンの自動更新に対応
• 東京リージョンを含む14リージョンで利用可能

Amazon SageMaker Inferenceが OpenAI互換APIをサポートし、OpenAI SDK、LangChain、Strands Agentsなどの既存ツールやフレームワークからエンドポイントURLを変更するだけでSageMakerエンドポイントに直接接続できるようになりました。カスタム統合コードやSDKラッパー、コードの書き直しは不要です。

Amazon SageMaker InferenceがOpenAI互換APIをサポートし、OpenAI SDK、LangChain、Strands Agentsなど既存のツールやフレームワークを使用してSageMakerエンドポイントに直接接続できるようになりました。
切り替えに必要なのはエンドポイントURLの変更のみで、カスタム統合コード、SDKラッパー、コードの書き直しは不要です。

このリリースにより、異なるAPIフォーマットの採用や認証方法の変更は不要になりました。
エンドポイントURLを変更するだけで、既存のSDK呼び出し、ストリーミングロジック、フレームワーク統合がそのまま動作し続けます。
これにより、独自のGPUインスタンスの選択、自社VPC内でのデータ保持、任意のオープンソースモデルやファインチューニング済みモデルの実行、ワークロードに合わせたオートスケーリングポリシーによるスケーリングが即座に可能になります。
認証には既存のAWS認証情報を使用し、トークンの自動更新が行われるため、本番環境で追加の管理は不要です。

この機能は現在、米国東部（バージニア北部）、米国西部（オレゴン）、米国東部（オハイオ）、アジアパシフィック（ムンバイ）、アジアパシフィック（ジャカルタ）、欧州（アイルランド）、欧州（フランクフルト）、南米（サンパウロ）、アジアパシフィック（東京）、アジアパシフィック（ソウル）、欧州（ロンドン）、アジアパシフィック（シンガポール）、アジアパシフィック（シドニー）、カナダ（中部）で利用可能です。
詳細や使い始めるには、ローンチブログまたはSageMaker Inferenceのドキュメントをご覧ください。

• Amazon SageMaker AI
• Amazon VPC

• Amazon SageMaker AIは、機械学習モデルの構築、トレーニング、デプロイを包括的に支援するフルマネージドサービスです。データサイエンティストや開発者がMLモデルを迅速に開発・本番運用できる環境を提供します。今回の発表では特にSageMaker Inferenceの部分が対象で、これはトレーニング済みモデルをエンドポイントとしてデプロイし、リアルタイム推論を行うための機能です。オートスケーリングやGPUインスタンスの選択など、本番環境での運用に必要な機能が揃っています。
• Amazon VPC（Virtual Private Cloud）は、AWS上に論理的に隔離された仮想ネットワークを作成できるサービスです。サブネット、ルートテーブル、セキュリティグループなどを設定し、リソースへのネットワークアクセスを細かく制御できます。今回の記事では、SageMakerエンドポイントを自社のVPC内で実行することで、データを安全に保持できることが利点として挙げられています。

• https://aws.amazon.com/blogs/machine-learning/announcing-openai-compatible-api-support-for-amazon-sagemaker-ai-endpoints/
• https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints-openai-compatible.html