Lookerをデータパイプラインのソースとして設定する ​

このページは機械翻訳により提供されています。翻訳内容と英語版に相違がある場合は、英語版が優先されます。

Lookerをデータパイプラインのソースとして設定し、Lookerインスタンスからコンテンツ、ユーザー、LookML、およびクエリ履歴メタデータを抽出して宛先に取り込みます。

このガイドを使用して、機能と前提条件を確認し、Lookerをデータパイプラインのソースとして接続し、パイプラインを設定し、サポート対象オブジェクト、同期モード、スキーマ処理、および制限事項を理解してください。

サポートされるLookerの機能 ​

Lookerをパイプラインのソースとして使用する場合、次の機能がサポートされます。

  • クラウド接続: Looker APIバージョン4.0を使用してHTTPS経由でLookerインスタンスに接続します。オンプレミスグループはサポートされません。
  • フル同期と増分同期: Query Historyは両方の同期モードを提供し、どちらのモードでもhistory.created_timeをカーソルとして使用します。その他のオブジェクトはすべてフル同期のみをサポートします。詳細については、同期モードを参照してください。
  • オブジェクトレベルの選択: Looks、Dashboards、Users、Projects、Query HistoryなどのLookerオブジェクトを選択し、宛先で個別のテーブルとして同期できます。完全なリストについては、サポート対象オブジェクトを参照してください。
  • 削除トラッキング: Project Filesを除くフル同期オブジェクトについて、次回の同期時にLookerで削除されたレコードを反映します。詳細については、削除追跡を参照してください。
  • 固定オブジェクトスキーマ: Looker API 4.0に基づく固定スキーマからフィールドを選択します。新しいLooker APIフィールドは、Workatoがコネクタースキーマを更新した後に使用可能になります。
  • フィールドレベルのデータ保護:データがデスティネーションに到達する前に、機密フィールドをハッシュ化するか、そのままレプリケートします。
  • 構成可能な同期頻度: 時間ベースの間隔またはcron式を使用して同期をスケジュールします。サポートされる最小間隔は15分です。

Lookerの前提条件 ​

Lookerをデータパイプラインのソースとして接続するには、次が必要です。

  • Lookerインスタンスと、そのAPIホストURL(インスタンスで必要な場合はAPIポートを含む)。
  • Looker API3クレデンシャル。クライアントIDとクライアントシークレットで構成されます。 Looker管理者は、AdminパネルのUsersページでAPI3クレデンシャルを作成します。管理者がAPI管理を有効にした後、ユーザーはLooker(Google Cloud core)インスタンスの自分のAccountページでクレデンシャルを作成します。詳細については、Looker API authenticationガイドを参照してください。

必要な権限

API3クレデンシャルは、紐づけられているLookerユーザーのロールと権限を継承します。管理オブジェクト(Users、Groups、Roles、Scheduled Plans、Projects、Connections、Integrations)には管理者レベルのアクセスが必要なため、WorkatoはLookerのAdminロールを持つユーザーのAPI3クレデンシャルを使用することを推奨します。 Query Historyには、Looker管理者がデフォルトで保有しているsee_system_activity権限が必要です。ユーザーがアクセスできないオブジェクトは、権限エラーで失敗します。

サポートされるコネクションタイプ ​

Lookerのデータパイプラインは、API3 credentials認証をサポートします。同期する予定のオブジェクトにアクセスできるLookerユーザーのクライアントIDとクライアントシークレットを指定します。

OAUTH 2.0のコネクションはサポートされていません

Authentication typeドロップダウンメニューには、OAuth 2.0 (authorization code + PKCE)も表示されます。データパイプラインはこの認証タイプをサポートしておらず、この認証タイプを使用するコネクションはパイプラインのソースとして失敗します。データパイプライン用に、API3 credentialsを使用する別のコネクションを作成してください。

Lookerに接続する ​

次の手順を完了して、Lookerをデータパイプラインのソースとして接続します。

Lookerに接続
1

作成 > コネクションを選択するか、Cを2回押します。

2

Lookerを検索し、アプリとして選択します。

3

コネクション名フィールドに名前を入力します。

4

ロケーションドロップダウンメニューを使用して、コネクションを保存するプロジェクトを選択します。

5

コネクションタイプドロップダウンメニューを使用して、クラウドを選択します。 Lookerのデータパイプラインはオンプレミスグループをサポートしていません。

6

Authentication typeドロップダウンメニューでAPI3 credentialsを選択します。

7

Looker instance URLフィールドにLooker APIホストを入力します。 https://は省略し、インスタンスで必要な場合は、たとえばanalytics.example.com:19999のようにAPIポートを含めます。

8

API versionドロップダウンメニューでVersion 4.0を選択します。データパイプラインはLooker APIバージョン4.0のみをサポートします。

9

API3クレデンシャルのクライアントIDをClient IDフィールドに入力します。

10

API3クレデンシャルのクライアントシークレットをClient secretフィールドに入力します。

11

接続を選択して、コネクションを検証して保存します。コネクションが確立されると、Workatoに成功メッセージが表示されます。

パイプラインの設定 ​

次の手順を完了して、Lookerをデータパイプラインのソースとして設定します。

1

作成 > データパイプラインを選択するか、C+Iを押します。

2

データパイプライン名フィールドにデータパイプラインの名前を入力します。

データパイプライン設定データパイプライン設定

3

ロケーションドロップダウンメニューを使用して、データパイプラインを保存するプロジェクトを選択します。

4

ビルドを開始をクリックします。

5

Extract new/updated records from source app トリガーをクリックします。このトリガーでは、パイプラインがLookerからデータを取得する方法を定義します。

ソースアプリから新規/更新済みレコードを抽出トリガーを設定ソースアプリから新規/更新済みレコードを抽出トリガーを設定

6

Your Connected Source Apps ドロップダウンメニューを使用して、Looker を選択します。

7

このパイプラインで使用するLookerのコネクションを選択します。または、+ 新規コネクションをクリックして、新しいコネクションを作成します。

8

オブジェクトを追加をクリックして、新しいオブジェクトを追加パネルを開きます。

オブジェクトを追加Add objects

9

利用可能なLookerオブジェクトの一覧を検索または参照し、同期する予定のオブジェクトを選択して、Addをクリックします。

完全同期のみのオブジェクト

タイムスタンプカーソルを持つのはQuery Historyのみです。その他のオブジェクトはすべて常にフルで同期されます。詳細については、同期モードを参照してください。

10

任意。 Query Historyの横にある歯車アイコンをクリックして、Sync mode設定を開きます。 Sync modeドロップダウンメニューを使用してFull syncまたはIncrementalを選択し、Saveをクリックします。

Workatoは、各実行で新しいQuery Historyレコードを取得するためにIncrementalを推奨します。 Query Historyはタイムスタンプカーソルを使用しており、いずれの同期モードでも削除された行を追跡しません。詳細については、同期モードを参照してください。

11

選択した各オブジェクトのスキーマを確認してカスタマイズします。パイプラインは、オブジェクトを選択するとそのオブジェクトのスキーマを自動的に取得します。これにより、デスティネーションがソースと一致します。

オブジェクトを展開して、関連フィールドを表示します。使用可能なすべてのデータを抽出するにはすべてのフィールドを選択したままにし、データ抽出とスキーマレプリケーションから除外するには特定のフィールドの選択を解除します。

12

任意。オブジェクトを展開し、各フィールドの処理方法を選択して、フィールドレベルのデータ保護を設定します。

  • そのまま複製: ソースのデータ値が宛先に同一に複製されます。
  • ハッシュ: 宛先に同期する前に、フィールド内の機密データ値をハッシュ化します。

Workatoでは、個人を特定できる情報(PII)やその他の機密フィールドをハッシュ化することを推奨します。 PIIが一般的に含まれるフィールドのリストについては、機密データの処理を参照してください。

13

オブジェクトを追加を再度クリックして、さらにオブジェクトを追加します。この手順を繰り返して、パイプラインにLookerのオブジェクトをさらに追加します。

14

スキーマ変更の処理方法を選択ドロップダウンメニューを使用して、スキーマドリフトの処理オプションを選択します。

  • Auto-sync new fields: コネクターの固定スキーマが更新された後に使用可能になるフィールドを追加します。
  • Block new fields: 新たに使用可能になったフィールドを手動で追加するまで、選択したスキーマを固定のままにします。

Lookerオブジェクトは固定スキーマを使用するため、どちらのオプションもLookerインスタンス内の新しいフィールドは検出しません。詳細については、スキーマのレプリケーションとスキーマドリフトの管理を参照してください。

15

任意。同時実行制限フィールドに値を入力して、同時実行操作数の上限を設定します。 Workatoによって設定されたデフォルトの制限を使用するには、このフィールドを空白のままにします。最大値は5です。

16

Frequency(頻度)フィールドで、標準の時間ベースのスケジュールを選択するか、カスタムcron式を定義します。これにより、パイプラインがLookerから宛先にデータを同期する頻度が決まります。

サポートされるLookerオブジェクト ​

Lookerのデータパイプラインは、Looker API 4.0からデータを同期します。各オブジェクトは、宛先内の個別のテーブルとして同期されます。

コンテンツオブジェクト ​

これらのオブジェクトは、インスタンス内のLooks、ダッシュボード、ボード、フォルダ、およびスケジュールを同期します。 Workatoは、各ダッシュボードについてDashboard Elements、Dashboard Filters、Dashboard Layoutsを、各ダッシュボードレイアウトについてDashboard Layout Componentsを、各フォルダについてContent Metadataを取得します。

オブジェクト同期モード削除追跡
LooksFull syncはい
DashboardsFull syncはい
Dashboard ElementsFull syncはい
Dashboard FiltersFull syncはい
Dashboard LayoutsFull syncはい
Dashboard Layout ComponentsFull syncはい
BoardsFull syncはい
Board ItemsFull syncはい
Board SectionsFull syncはい
フォルダFull syncはい
Content MetadataFull syncはい
Scheduled PlansFull syncはい

Scheduled Plansには、インスタンス内のすべてのユーザーのスケジュールが含まれます。

ユーザーおよびアクセスオブジェクト ​

これらのオブジェクトは、インスタンスのユーザー、グループ、およびアクセス構成を同期します。 Workatoは各ユーザーについてUser Sessionsを取得します。

オブジェクト同期モード削除追跡
UsersFull syncはい
User SessionsFull syncはい
GroupsFull syncはい
ロールFull syncはい
Permission SetsFull syncはい
Model SetsFull syncはい
User AttributesFull syncはい

LookMLおよびインスタンスオブジェクト ​

これらのオブジェクトは、LookMLプロジェクトおよびモデル、データベースコネクション、およびインスタンス構成を同期します。 Workatoは各プロジェクトについてProject Filesを取得します。

オブジェクト同期モード削除追跡
LookML ModelsFull syncはい
ProjectsFull syncはい
Project FilesFull syncいいえ
ワークスペースFull syncはい
ConnectionsFull syncはい
DatagroupsFull syncはい
IntegrationsFull syncはい

Workspacesは、インスタンスの開発ワークスペースとプロダクションワークスペースを同期します。 Connectionsは、Lookerが使用するデータベースコネクションを同期し、Workatoのコネクションではありません。

利用状況オブジェクト ​

このオブジェクトは、Looker System ActivityのHistory Exploreからクエリアクティビティを同期します。

オブジェクト同期モード削除追跡
Query History完全同期、増分いいえ

Query Historyは、クエリ実行ごとに1行を同期します。このオブジェクトに適用される制限については、System Activity history retentionを参照してください。

同期モード ​

Lookerのデータパイプラインは、フル同期と増分同期をサポートします。 LookerはAPI全体で共通のchanged-sinceフィルターを提供していないため、Query History以外のすべてのオブジェクトはフル同期のみをサポートします。

フル同期 ​

フル同期では、Query Historyを除くすべてのオブジェクトについて、各実行時に利用可能なレコードをすべて読み取ります。

Query Historyもフル同期を提供しますが、いずれの同期モードでもタイムスタンプカーソルを使用します。保存済みカーソルが存在する場合は、そのカーソルから抽出を再開します。存在しない場合、抽出は選択した日付、または日付を空白のままにした場合は実行日の90日前から開始されます。 WorkatoはQuery Historyの削除を追跡しません。

増分同期 ​

Query Historyは、history.created_timeフィールドをカーソルとして使用します。初回実行では、選択した開始日から、または開始日を空白のままにした場合は初回実行の90日前からクエリ履歴を読み取ります。各後続実行では、直前の実行で取得した最新のhistory.created_time値以降に作成されたレコードを読み取り、パイプラインですでに同期済みのレコードはスキップします。

削除追跡 ​

削除トラッキングはオブジェクトによって異なります。

  • Project Filesを除くフル同期のみのオブジェクト: Yes。 Workatoは、Lookerで削除したレコードを、次回のフル同期時に宛先で削除済みとしてマークします。
  • Project FilesとQuery History: No。 Workatoはこれらのオブジェクトについて削除されたレコードを検出せず、後続の同期で見つからないレコードも削除済みとしてマークしません。

スキーマとデータ型の処理 ​

Lookerからデータを同期する場合、スキーマとデータ型について次の点を考慮してください。

固定スキーマ ​

各オブジェクトは、Looker API 4.0のリソースタイプに基づく固定スキーマを使用します。 Lookerオブジェクトにはカスタムフィールドはありません。 Query Historyは、history.id、history.created_time、query.id、user.idフィールドを同期します。

ネストされたフィールド ​

can権限マップ、Looks上のfolderおよびmodelフィールド、Dashboard Elements上のvis_configなどの入れ子オブジェクトおよび配列は、JSONオブジェクトとして同期されます。 Dashboard ElementsやBoard Itemsなど一部の子リソースは、ネストされたJSONではなく個別のテーブルとして同期されます。親オブジェクトには、専用テーブルとは別に、子リソースのフィールドのJSONコピーが保持される場合があります。

Workatoは、SnowflakeのVARIANTのような、送信先のネイティブJSON型にJSONフィールドを同期します。送信先がネイティブJSON型をサポートしていない場合、WorkatoはJSONフィールドを文字列としてシリアル化します。

タイムスタンプ ​

タイムスタンプフィールドは、タイムゾーン付きタイムスタンプとして同期されます。タイムゾーンオフセットを含まないLookerのタイムスタンプは、WorkatoによってUTCとして扱われます。 Datagroups上のcreated_at、stale_before、trigger_check_at、triggered_atフィールドは、Looker APIに合わせてUnixタイムスタンプ整数として同期されます。

合成列 ​

Workatoは、Project FilesおよびQuery Historyを除くすべてのオブジェクトに次の列を追加します。

列タイプ目的
_workato_is_deletedブーリアンそのレコードがLookerで削除されたかどうかを示します。詳細については、削除追跡を参照してください。

機密データの処理 ​

Lookerオブジェクトには、個人を特定できる情報(PII)やデータベースインフラストラクチャに関する詳細が含まれる場合があります。次のオブジェクトには、一般的に機密フィールドが含まれています。

オブジェクト機密フィールド
Usersfirst_name、last_name、display_name、email、avatar_url、avatar_url_without_sizing
User Sessionsip_address、city、state、country、browser、operating_system
Looks、Dashboardsuser_name
Dashboardslast_updater_name
Scheduled Plansscheduled_plan_destination、user
Query Historyuser.id
Connectionshost、port、database、schema、tmp_db_host、jdbc_additional_params
Projectsgit_remote_url、git_username
User Attributesdefault_value

Workatoは、API3クレデンシャル、データベースパスワード、証明書、デプロイシークレット、その他のシークレット値をLookerから同期しません。

パイプライン設定中にフィールドレベルのデータ保護でHashオプションを使用し、PIIが宛先に到達する前に保護します。詳細については、パイプラインを構成手順を参照してください。

Lookerの制限事項 ​

Lookerをデータパイプラインのソースとして使用する場合、次の制限事項が適用されます。

System Activityの履歴保持 ​

Query HistoryはLooker System Activityから読み取りを行い、既定ではおおよそ90日分のクエリ履歴を保持します。 Elite System Activityによってこの上限を延長できます。 Lookerが保持していないクエリ履歴は、より前の日付を開始日に選択しても、パイプラインでは抽出できません。クエリ履歴がSystem Activityから期限切れになる前に取得できるよう、定期的な同期をスケジュールしてください。

最小同期頻度 ​

サポートされる最小同期間隔は15分です。

最終更新日: