AWSがAmazon DataZoneとAmazon SageMakerの次世代版でデータ系統の一般提供を開始
ID 176
GUID 1472240d52944252806b4f683a075971838899c8
発表日(JST)
要約生成日時(JST)
タイトル AWSがAmazon DataZoneとAmazon SageMakerの次世代版でデータ系統の一般提供を開始
詳細リンク https://aws.amazon.com/about-aws/whats-new/2024/12/data-lineage-amazon-datazone-next-generation-sagemaker/
カテゴリ
  • amazon-datazone
  • amazon-sagemaker
  • analytics
  • artificial-intelligence
要点
  • AWS GlueとAmazon Redshiftからの自動系統捕捉と視覚化
  • OpenLineage互換で包括的なデータ移動ビューを提供
  • データアセットとカラムのスキーマと変換の自動系統捕捉
  • ビジネスデータカタログでのデータ共有時の系統イベント自動化
  • 系統のバージョン管理と時点ごとの視覚化機能
  • すべてのAmazon DataZoneとAmazon SageMaker次世代版対応リージョンで利用可能
アップデート内容要約

AWSがAmazon DataZoneとAmazon SageMakerの次世代版でデータ系統機能の一般提供を開始しました。この機能は、AWS GlueとAmazon Redshiftからの系統を自動的に捕捉し、ソースから消費までの系統イベントを視覚化します。OpenLineage互換で、包括的なデータ移動ビューを提供します。
アップデート内容全文

AWSは、Amazon DataZoneとAmazon SageMakerの次世代版でデータ系統機能の一般提供を発表しました。
この機能は、AWS GlueとAmazon Redshiftからの系統を自動的に捕捉し、ソースから消費までの系統イベントを視覚化します。
OpenLineage互換であるこの機能により、データプロデューサーはOpenLineage対応システムやAPIを通じて捕捉された系統イベントを自動化された系統に追加し、データ消費者に包括的なデータ移動ビューを提供できます。
この機能は、AWS Glue、Amazon Redshift、およびツール内のSpark実行からデータアセットとカラムのスキーマと変換の系統捕捉を自動化し、一貫性を維持しエラーを減少させます。
組み込みの自動化により、ドメイン管理者とデータプロデューサーは、ビジネスデータカタログでデータ共有用にデータが構成されたときに、系統イベントの捕捉と保存を自動化できます。
データ消費者はアセットの系統の包括的なビューからその起源に確信を持つことができ、データプロデューサーはアセットの消費を理解することで変更の影響を評価できます。
さらに、データ系統機能は各イベントで系統をバージョン管理し、ユーザーが任意の時点での系統を視覚化したり、アセットやジョブの履歴全体で変換を比較したりすることを可能にします。
この履歴系統は、データがどのように進化したかをより深く理解するのに役立ち、トラブルシューティング、監査、データアセットの整合性の検証に不可欠です。
データ系統機能は、Amazon DataZoneとAmazon SageMakerの次世代版が利用可能なすべてのAWSリージョンで一般提供されています。
詳細については、Amazon DataZoneとAmazon SageMakerの次世代版をご覧ください。

関連サービス
  • AWS Glue
  • Amazon DataZone
  • Amazon SageMaker
関連サービスの説明
  • AWS Glue: フルマネージド型のETL（抽出、変換、ロード）サービスです。データの準備と変換を簡単に行い、分析のためにデータを整理することができます。データの検出、変換、整理を自動化し、データレイクの構築を支援します。
  • Amazon DataZone: データカタログ、データ共有、およびデータガバナンスを統合したサービスです。組織全体でデータの発見、管理、共有を簡素化し、データの価値を最大化することを目的としています。
  • Amazon SageMaker: 機械学習モデルの構築、トレーニング、デプロイを簡素化する完全管理型の機械学習プラットフォームです。データサイエンティストや開発者が、高品質の機械学習モデルを迅速に作成し、プロダクションにデプロイすることを支援します。
関連URL