• amazon-bedrock
• artificial-intelligence

• Amazon Bedrock インテリジェントプロンプトルーティングがプレビューで利用可能になりました。
• 同一モデルファミリー内の異なる基盤モデル間でプロンプトをルーティングし、応答品質とコストを最適化します。
• プレビューでは、Claude SonnetとClaude Haiku間、またはLlama 3.1 8BとLlama 3.1 70B間でルーティングする2つのオプションが提供されています。
• この機能により、複数の基盤モデルを組み合わせて、単一モデルよりも低コストで高パフォーマンスな生成AIアプリケーションの構築が可能になります。
• プレビュー期間中は、ルーティングされたモデルに対して通常のオンデマンド料金が適用されます。

Amazon Bedrock がインテリジェントプロンプトルーティング機能を導入し、同一モデルファミリー内の異なる基盤モデル間でプロンプトを効率的にルーティングすることで、応答品質とコストの最適化を実現します。

Amazon Bedrock インテリジェントプロンプトルーティングは、同一モデルファミリー内の異なる基盤モデル間でプロンプトをルーティングし、応答の品質とコストを最適化します。
高度なプロンプトマッチングとモデル理解技術を使用して、各リクエストに対する各モデルのパフォーマンスを予測し、最も望ましい応答を最低コストで提供すると予測されるモデルに動的にルーティングします。
プレビューでは、Claude Sonnet 3.5とClaude Haiku間、またはLlama 3.1 8BとLlama 3.1 70B間でリクエストをルーティングする2つのプロンプトルーターが選択可能です。
Amazon Bedrockは、単一のAPIを通じて主要AI企業の高性能基盤モデルを提供する完全マネージド型サービスです。
また、セキュリティ、プライバシー、責任あるAI機能を組み込んだ生成AIアプリケーションの構築に必要な幅広い機能も提供します。
これらの機能により、様々な業界での複数のユースケースに対応したカスタマイズされたアプリケーションを構築し、顧客の信頼とデータガバナンスを確保しながら、生成AIから持続的な成長を引き出すことができます。
インテリジェントプロンプトルーティングにより、Amazon Bedrockは基盤モデルの組み合わせを使用して、単一の基盤モデルよりも低コストで優れたパフォーマンスを実現する、コスト効率の高い生成AIアプリケーションの構築を支援します。
プレビュー期間中、お客様はリクエストがルーティングされるモデルに対して通常のオンデマンド料金が課金されます。
詳細はドキュメントとブログをご覧ください。

• Amazon Bedrock

• Amazon Bedrockは、AWSが提供する完全マネージド型の生成AI開発プラットフォームです。主要AI企業の高性能な基盤モデルを単一のAPIを通じて利用できるほか、セキュリティ、プライバシー、責任あるAI機能を組み込んだ生成AIアプリケーションの構築に必要な幅広い機能を提供しています。企業は、Amazon Bedrockを使用することで、独自のデータとビジネスニーズに合わせてカスタマイズされた生成AIアプリケーションを効率的に開発・デプロイすることができます。

• https://docs.aws.amazon.com/bedrock/latest/userguide/prompt-routing.html
• https://aws.amazon.com/blogs/aws/reduce-costs-and-latency-with-amazon-bedrock-intelligent-prompt-routing-and-prompt-caching-preview/