同期タイプ ​

このページは機械翻訳により提供されています。翻訳内容と英語版に相違がある場合は、英語版が優先されます。

データパイプラインレシピでは、次の同期タイプを使用します:

  • フル同期: パイプラインの開始時に履歴データを読み込みます。フル同期を使用するオブジェクトは、スケジュールされた各実行時にフル同期を実行します。
  • Incremental sync (CDC): スケジュールに基づき、前回の正常終了した同期以降に作成または更新されたレコードを取得します。
  • Object re-sync:通常のpipelineスケジュール外で、特定のobjectの同期を手動でトリガーします。

各同期タイプにより、送信先は正確かつ最新の状態を維持し、ソースアプリケーションと整合します。

フル同期 ​

パイプラインが開始されるとフル同期が実行されます。選択したソースオブジェクトから送信先に履歴データをロードします。フル同期を使用するオブジェクトは、スケジュールされた各実行時にフル同期を実行します。オブジェクトは、同期モードが Full sync に設定されている場合、またはインクリメンタル同期をサポートしていない場合、例えばソースが使用可能なカーソルや主キーを公開していないためにサポートしていない場合に、フル同期を使用します。

When first started, this pipeline should pick up records from 項目が空白の場合、パイプラインはデフォルトですべてのレコードを取得します。特定の開始日を設定して、同期ウィンドウを制限することもできます。 Outreach や Sage Intacct などのソースでは、この日付はインクリメンタル同期をサポートするオブジェクトにのみ適用されます。動作の詳細については、ソースアプリケーションの設定ガイドを参照してください。

パイプラインはソーススキーマを複製し、送信先に新しいテーブルを作成し、各オブジェクトを個別の実行として並列処理します。データウェアハウスの宛先でも、データを読み込むためにステージと一時テーブルを使用します。例えば、パイプラインは Snowflake に永続的なステージを作成し、最終的な宛先テーブルにデータを読み込む前にデータをアップロードします。

初回のフル同期では、デスティネーションが空であることを前提とします。

初回実行ではすべてのレコードを処理するため、パイプラインは各実行にフル同期というラベルを付けます。この同期はパイプラインの開始時に自動的に実行され、手動での設定や選択は不要です。

フル同期の仕組み ​

フル同期は、ソースがこの設定を適用する場合に、When first started, this pipeline should pick up records from で指定したタイムスタンプ以降のすべてのデータを抽出します。このフィールドを空白のままにすると、パイプラインはソースから利用可能なすべてのレコードを取得します。

パイプラインはオブジェクトごとに1つの実行を作成し、送信先で新しく作成されたテーブルにデータをロードします。

パイプラインがすべてのレコードを読み込むまで、Runs タブには各オブジェクトのステータスが In Progress と表示されます。同期の所要時間はデータ量によって異なるため、Workatoは推定完了時間を提供しません。インクリメンタル同期を使用するオブジェクトは、初回の読み込みが完了するとインクリメンタル同期に移行します。

初回ロード後のフル同期では、ソースのレコードをオブジェクトの主キーに基づいて既存の宛先テーブルにマージします。パイプラインは新規レコードを挿入し、既存レコードを更新します。また、オブジェクトが削除の追跡をサポートしている場合、ソースに存在しなくなったレコードには _workato_is_deleted を true に設定します。これらの行は削除されないため、ソース側でレコードが削除されていても、フル同期後のデスティネーションテーブルの行数が同じままになる場合があります。クエリ、レポート、下流の変換処理では、_workato_is_deleted が true の行を除外してください。詳細については、Delete tracking を参照してください。

主キーのないオブジェクトはマージされません。これらのオブジェクトについては、パイプラインがフル同期のたびにデスティネーションテーブル全体を上書きするため、ソースで削除された行は、削除履歴なしでデスティネーションから削除されます。

フル同期の完了

パイプラインは、フル同期が完了するまで増分同期を実行しません。

増分同期(CDC) ​

パイプラインは、フル同期完了後にスケジュールされた間隔でインクリメンタル同期を実行し、インクリメンタル同期を使用するオブジェクトについて、ソースシステムからの変更を追跡して反映します。

増分同期の仕組み ​

パイプラインは、各オブジェクトのインクリメンタルカーソル(最終更新タイムスタンプなど)に基づいて、前回の正常終了した同期以降に作成または更新されたレコードを抽出します。 Braintree や Apollo.io などのソースでは、カーソルで反映されない変更を取り込むために、各実行時に直近の時間範囲を再読み込みします。削除されたレコードは、delete tracking をサポートするオブジェクトについてのみ同期されます。パイプラインは、新しいフィールドやフィールドサイズの変更などのスキーマ変更を検出し、レコードを宛先に追加する前に宛先テーブルを更新します。パイプラインは各オブジェクトを個別の実行として処理し、選択されたすべてのオブジェクトを並列に同期します。

パイプラインは、新しく追加されたフィールドの履歴データを再処理しません。フィールドを検出した時点以降の値のみを取得します。前回の増分同期が完了するまで、新しい増分同期は開始されません。同期の実行が想定より長くかかった場合、パイプラインは次回のスケジュール実行をスキップします。

Runsタブでは、各実行の進行状況と所要時間を追跡できます。同期をリアルタイムで監視する方法の詳細については、Object runs を参照してください。

増分同期の実行

現在の同期がまだ進行中の場合、パイプラインは次にスケジュールされた同期をスキップします。

オブジェクト再同期 ​

オブジェクト再同期では、通常のパイプラインスケジュールとは独立して、特定のオブジェクトのデータを抽出してロードします。これはObjectsタブから手動でトリガーできます。

失敗した実行の再試行、個別オブジェクトの再ロード、または送信先に特定のオブジェクトの最新データが含まれていることを確認するには、オブジェクト再同期を使用します。パイプラインを再起動する必要はありません。

オブジェクト再同期の仕組み ​

オブジェクトに対して Re-sync を選択すると、パイプラインはそのオブジェクトのデータをソースから抽出し、宛先に読み込みます。この同期では、そのオブジェクトの既存のレコードのみが上書きされます。他のオブジェクトに影響を与えず、パイプラインスキーマも変更しません。

パイプラインは、オブジェクト再同期の前に送信先テーブルを削除またはリセットしません。操作は直ちに実行され、次にスケジュールされた同期を待機しません。

オブジェクト再同期の範囲

オブジェクト再同期は、選択したオブジェクトにのみ適用されます。スケジュールされた同期に影響を与えず、パイプラインの同期設定も変更しません。

最終更新日: