| ID |
205 |
| GUID |
f48cfc62a75434f91b8e069f6ff52d52b3be3b1b |
| 発表日(JST) |
|
| 要約生成日時(JST) |
|
| タイトル |
AWSがAmazon Bedrockのプロンプトキャッシングのプレビューを発表 |
| 詳細リンク |
https://aws.amazon.com/about-aws/whats-new/2024/12/amazon-bedrock-preview-prompt-caching
|
| カテゴリ |
- amazon-bedrock
- artificial-intelligence
|
| 要点 |
- Amazon Bedrockでプロンプトキャッシング機能のプレビューを開始
- コストを最大90%、レイテンシーを最大85%削減可能
- 頻繁に使用されるプロンプトを複数のAPI呼び出しにわたってキャッシュ
- 現在、特定のモデルと地域で利用可能
- 一部の顧客のみがプレビューにアクセス可能
|
| アップデート内容要約 |
AWSは、Amazon Bedrockでプロンプトキャッシング機能のプレビューを開始しました。この機能により、コストを最大90%、レイテンシーを最大85%削減できる可能性があります。現在、一部の顧客のみがこの機能にアクセスできます。
|
| アップデート内容全文 |
本日、AWSはAmazon Bedrockでプロンプトキャッシングのサポートを発表しました。
プロンプトキャッシングは、頻繁に使用されるプロンプトを複数のAPI呼び出しにわたってキャッシュすることで、サポートされているモデルのコストを最大90%、レイテンシーを最大85%削減できる新機能です。
これにより、長いシステムプロンプトやモデルの応答を導く一般的な例など、反復的な入力をキャッシュし、コンテキストの再処理を回避できます。
キャッシュが使用される場合、出力生成に必要な計算リソースが少なくなります。
その結果、リクエストの処理を高速化できるだけでなく、より少ないリソースを使用することによるコスト削減も可能になります。
Amazon Bedrockは、単一のAPIを通じて主要なAI企業から高性能なファウンデーションモデル（FM）を提供する完全マネージド型サービスです。
また、Amazon Bedrockは、セキュリティ、プライバシー、責任あるAI機能を組み込んだ状態で、ジェネレーティブAIアプリケーションを構築するために必要な幅広い機能を提供します。
これらの機能により、さまざまな業界にわたる複数のユースケースに合わせたアプリケーションを構築し、組織がジェネレーティブAIから持続的な成長を引き出すのを支援しながら、顧客の信頼とデータガバナンスを構築するためのツールを提供します。
プロンプトキャッシングは現在、US West（オレゴン）とUS East（バージニア北部）のClaude 3.5 HaikuとClaude 3.5 Sonnet v2で、クロスリージョン推論を通じて利用可能です。
また、US East（バージニア北部）のNova Micro、Nova Lite、Nova Proモデルでも利用可能です。
リリース時点では、一部の顧客のみがこの機能にアクセスできます。
プレビューへの参加について詳しく知りたい場合は、このページをご覧ください。
プロンプトキャッシングについて詳しく知りたい場合は、ドキュメントとブログをご覧ください。
|
| 関連サービス |
|
| 関連サービスの説明 |
- Amazon Bedrockは、AWSが提供する完全マネージド型のジェネレーティブAIサービスです。このサービスを通じて、ユーザーは複数のAI企業が開発した高性能な言語モデル（ファウンデーションモデル）に単一のAPIでアクセスできます。Amazon Bedrockは、セキュリティ、プライバシー、責任あるAIの機能を組み込んでおり、企業や開発者がカスタマイズされたAIアプリケーションを安全かつ効率的に構築できるようサポートします。様々な業界やユースケースに対応し、ジェネレーティブAIの力を活用しながら、データガバナンスと顧客の信頼を維持するためのツールも提供しています。
|
| 関連URL |
|