• amazon-bedrock
• artificial-intelligence

• Amazon Bedrockでプロンプトキャッシングの一般提供が開始
• コストを最大90%、レイテンシーを最大85%削減可能
• AnthropicのClaude 3.5 Haiku、Claude 3.7 Sonnet、Nova Micro、Nova Lite、Nova Proモデルで利用可能
• 反復的な入力をキャッシュし、コンテキストの再処理を回避
• Amazon Bedrockは、高性能なFMを提供する完全マネージドサービス

AWSは、Amazon Bedrock上でプロンプトキャッシングの一般提供を開始しました。この機能により、コストを最大90%、レイテンシーを最大85%削減できます。現在、Anthropicの複数のモデルでこの機能が利用可能です。

re:Invent 2024でAWSは、複数のAPI呼び出しで頻繁に使用されるプロンプトをキャッシュすることで、コストを最大90%、レイテンシーを最大85%削減できる新機能であるプロンプトキャッシングのプレビューを発表しました。
本日、AWSはAmazon Bedrock上でプロンプトキャッシングの一般提供を開始しました。
プロンプトキャッシングを使用すると、反復的な入力をキャッシュし、モデルの応答を導く長いシステムプロンプトや一般的な例など、コンテキストの再処理を回避できます。
プロンプトキャッシングを使用すると、入力の処理に必要な計算リソースが少なくなります。
その結果、リクエストをより速く処理できるだけでなく、コスト削減も可能になります。
Amazon Bedrockは、単一のAPIを通じて主要なAI企業から高性能なFMを選択できる完全マネージドサービスです。
Amazon Bedrockは、セキュリティ、プライバシー、責任あるAI機能が組み込まれた、生成AIアプリケーションを構築するために必要な幅広い機能も提供しています。
これらの機能は、様々な業界にわたる複数のユースケースに合わせたアプリケーションの構築を支援し、組織が生成AIから持続的な成長を引き出すのを助けると同時に、顧客の信頼とデータガバナンスを構築するためのツールを提供します。
プロンプトキャッシングは現在、AnthropicのClaude 3.5 HaikuとClaude 3.7 Sonnet、Nova Micro、Nova Lite、Nova Proモデルで一般提供されています。
プロンプトキャッシングのプレビュー中にClaude 3.5 Sonnet v2へのアクセスを与えられた顧客は引き続きアクセスを保持しますが、Claude 3.5 Sonnet v2モデルでのプロンプトキャッシングへのアクセスは追加の顧客には付与されません。
地域の可用性やプロンプトキャッシングについての詳細は、ドキュメントとブログをご覧ください。

• Amazon Bedrock

• Amazon Bedrockは、AWSが提供する完全マネージド型の生成AI開発プラットフォームです。このサービスを使用することで、開発者は複数のAI企業が提供する高性能な基盤モデル（FM）に単一のAPIを通じてアクセスできます。Amazon Bedrockは、セキュリティ、プライバシー、責任あるAI機能が組み込まれており、企業が独自の生成AIアプリケーションを安全かつ効率的に開発・デプロイすることを可能にします。また、プロンプトキャッシングなどの機能により、コストとレイテンシーを大幅に削減することができます。

• https://docs.aws.amazon.com/bedrock/latest/userguide/prompt-caching.html
• https://aws.amazon.com/blogs/machine-learning/effectively-use-prompt-caching-on-amazon-bedrock/