• amazon-bedrock
• amazon-machine-learning
• artificial-intelligence

• Amazon Bedrock Agents、Flows、およびKnowledge BasesがSDKを通じて低遅延最適化モデルをサポート
• AnthropicのClaude 3.5 HaikuモデルとMetaのLlama 3.1 405B、70Bモデルで利用可能
• 遅延に敏感なアプリケーション開発に特に有益
• AWS Trainium2などのAIチップと高度なソフトウェア最適化を活用
• 追加のセットアップやモデルの微調整なしに既存のアプリケーションに統合可能
• USイースト（オハイオ）リージョンでクロスリージョン推論を通じて利用可能

Amazon Bedrock Agents、Flows、およびKnowledge Basesが、新たに発表された低遅延最適化モデルをSDKを通じてサポートするようになりました。これにより、AIアプリケーションの応答時間が短縮され、反応性が向上します。

Amazon Bedrock Agents、Flows、およびKnowledge Basesが、最近発表されたプレビュー段階の低遅延最適化モデルをSDKを通じてサポートするようになりました。
この強化により、Amazon Bedrock Toolingで構築されたAIアプリケーションの応答時間が短縮され、反応性が向上します。
現在、この最適化はAnthropicのClaude 3.5 Haikuモデルと、MetaのLlama 3.1 405Bおよび70Bモデルで利用可能で、精度を損なうことなく標準モデルと比較して遅延が低減されています。
この更新は、リアルタイムの顧客サービスチャットボットやインタラクティブなコーディングアシスタントなど、遅延に敏感なアプリケーションを開発する顧客にとって特に有益です。
AWS Trainium2などの目的に特化したAIチップやAmazon Bedrockの高度なソフトウェア最適化を活用することで、顧客は特定のユースケースに対して推論を最適化するためのより多くのオプションにアクセスできるようになりました。
重要なのは、これらの機能を追加のセットアップやモデルの微調整なしに既存のアプリケーションにすぐに統合できることで、パフォーマンスの向上と応答時間の短縮が実現します。
Amazon Bedrock Agents、Flows、およびKnowledge Basesの低遅延最適化推論サポートは、クロスリージョン推論を通じてUSイースト（オハイオ）リージョンで利用可能です。
顧客はAmazon Bedrock SDKを通じてランタイム設定でこれらの新機能にアクセスでき、これらの最適化されたモデルをプログラムによってワークフローやアプリケーションに組み込むことができます。
Amazon Bedrockとその機能、および新しい低遅延最適化推論サポートについて詳しく知るには、Amazon Bedrock製品ページ、価格ページ、およびドキュメントをご覧ください。

• AWS Trainium
• Amazon Bedrock

• AWS Trainiumは、機械学習のトレーニングに特化したAWSの独自開発のAIチップです。Trainium2は、その第2世代のチップを指します。これらのチップは、大規模な機械学習モデルのトレーニングを高速化し、コストを削減することを目的としています。Amazon EC2インスタンスで利用可能で、機械学習ワークロードの効率を大幅に向上させることができます。
• Amazon Bedrockは、AWSが提供する機械学習プラットフォームで、さまざまな事前学習済みのAIモデルを簡単に利用できるようにするサービスです。開発者は、複雑なAIモデルの構築や管理を行うことなく、自然言語処理、画像生成、音声認識などの高度なAI機能をアプリケーションに組み込むことができます。

• https://docs.aws.amazon.com/bedrock/latest/userguide/cross-region-inference.html
• https://aws.amazon.com/bedrock/
• https://aws.amazon.com/bedrock/pricing/