同期タイプ
データパイプラインレシピでは、次の同期タイプを使用します:
- フル同期: パイプラインの開始時に履歴データを読み込みます。フル同期を使用するオブジェクトは、スケジュールされた各実行時にフル同期を実行します。
- Incremental sync (CDC): スケジュールに基づき、前回の正常終了した同期以降に作成または更新されたレコードを取得します。
- Object re-sync:通常のpipelineスケジュール外で、特定のobjectの同期を手動でトリガーします。
各同期タイプにより、送信先は正確かつ最新の状態を維持し、ソースアプリケーションと整合します。
フル同期
パイプラインが開始されるとフル同期が実行されます。選択したソースオブジェクトから送信先に履歴データをロードします。フル同期を使用するオブジェクトは、スケジュールされた各実行時にフル同期を実行します。オブジェクトは、同期モードが Full sync に設定されている場合、またはインクリメンタル同期をサポートしていない場合、例えばソースが使用可能なカーソルや主キーを公開していないためにサポートしていない場合に、フル同期を使用します。
When first started, this pipeline should pick up records from 項目が空白の場合、パイプラインはデフォルトですべてのレコードを取得します。特定の開始日を設定して、同期ウィンドウを制限することもできます。 Outreach や Sage Intacct などのソースでは、この日付はインクリメンタル同期をサポートするオブジェクトにのみ適用されます。動作の詳細については、ソースアプリケーションの設定ガイドを参照してください。
パイプラインはソーススキーマを複製し、送信先に新しいテーブルを作成し、各オブジェクトを個別の実行として並列処理します。データウェアハウスの宛先でも、データを読み込むためにステージと一時テーブルを使用します。例えば、パイプラインは Snowflake に永続的なステージを作成し、最終的な宛先テーブルにデータを読み込む前にデータをアップロードします。
初回のフル同期では、デスティネーションが空であることを前提とします。
初回実行ではすべてのレコードを処理するため、パイプラインは各実行にフル同期というラベルを付けます。この同期はパイプラインの開始時に自動的に実行され、手動での設定や選択は不要です。
フル同期の仕組み
フル同期は、ソースがこの設定を適用する場合に、When first started, this pipeline should pick up records from で指定したタイムスタンプ以降のすべてのデータを抽出します。このフィールドを空白のままにすると、パイプラインはソースから利用可能なすべてのレコードを取得します。
パイプラインはオブジェクトごとに1つの実行を作成し、送信先で新しく作成されたテーブルにデータをロードします。
パイプラインがすべてのレコードを読み込むまで、Runs タブには各オブジェクトのステータスが In Progress と表示されます。同期の所要時間はデータ量によって異なるため、Workatoは推定完了時間を提供しません。インクリメンタル同期を使用するオブジェクトは、初回の読み込みが完了するとインクリメンタル同期に移行します。
初回ロード後のフル同期では、ソースのレコードをオブジェクトの主キーに基づいて既存の宛先テーブルにマージします。パイプラインは新規レコードを挿入し、既存レコードを更新します。また、オブジェクトが削除の追跡をサポートしている場合、ソースに存在しなくなったレコードには _workato_is_deleted を true に設定します。これらの行は削除されないため、ソース側でレコードが削除されていても、フル同期後のデスティネーションテーブルの行数が同じままになる場合があります。クエリ、レポート、下流の変換処理では、_workato_is_deleted が true の行を除外してください。詳細については、Delete tracking を参照してください。
主キーのないオブジェクトはマージされません。これらのオブジェクトについては、パイプラインがフル同期のたびにデスティネーションテーブル全体を上書きするため、ソースで削除された行は、削除履歴なしでデスティネーションから削除されます。
フル同期の完了
パイプラインは、フル同期が完了するまで増分同期を実行しません。
増分同期(CDC)
パイプラインは、フル同期完了後にスケジュールされた間隔でインクリメンタル同期を実行し、インクリメンタル同期を使用するオブジェクトについて、ソースシステムからの変更を追跡して反映します。
増分同期の仕組み
パイプラインは、各オブジェクトのインクリメンタルカーソル(最終更新タイムスタンプなど)に基づいて、前回の正常終了した同期以降に作成または更新されたレコードを抽出します。 Braintree や Apollo.io などのソースでは、カーソルで反映されない変更を取り込むために、各実行時に直近の時間範囲を再読み込みします。削除されたレコードは、delete tracking をサポートするオブジェクトについてのみ同期されます。パイプラインは、新しいフィールドやフィールドサイズの変更などのスキーマ変更を検出し、レコードを宛先に追加する前に宛先テーブルを更新します。パイプラインは各オブジェクトを個別の実行として処理し、選択されたすべてのオブジェクトを並列に同期します。
パイプラインは、新しく追加されたフィールドの履歴データを再処理しません。フィールドを検出した時点以降の値のみを取得します。前回の増分同期が完了するまで、新しい増分同期は開始されません。同期の実行が想定より長くかかった場合、パイプラインは次回のスケジュール実行をスキップします。
Runsタブでは、各実行の進行状況と所要時間を追跡できます。同期をリアルタイムで監視する方法の詳細については、Object runs を参照してください。
増分同期の実行
現在の同期がまだ進行中の場合、パイプラインは次にスケジュールされた同期をスキップします。
オブジェクト再同期
オブジェクト再同期では、通常のパイプラインスケジュールとは独立して、特定のオブジェクトのデータを抽出してロードします。これはObjectsタブから手動でトリガーできます。
失敗した実行の再試行、個別オブジェクトの再ロード、または送信先に特定のオブジェクトの最新データが含まれていることを確認するには、オブジェクト再同期を使用します。パイプラインを再起動する必要はありません。
オブジェクト再同期の仕組み
オブジェクトに対して Re-sync を選択すると、パイプラインはそのオブジェクトのデータをソースから抽出し、宛先に読み込みます。この同期では、そのオブジェクトの既存のレコードのみが上書きされます。他のオブジェクトに影響を与えず、パイプラインスキーマも変更しません。
パイプラインは、オブジェクト再同期の前に送信先テーブルを削除またはリセットしません。操作は直ちに実行され、次にスケジュールされた同期を待機しません。
オブジェクト再同期の範囲
オブジェクト再同期は、選択したオブジェクトにのみ適用されます。スケジュールされた同期に影響を与えず、パイプラインの同期設定も変更しません。
最終更新日: