Lookerをデータパイプラインのソースとして設定する
Lookerをデータパイプラインのソースとして設定し、Lookerインスタンスからコンテンツ、ユーザー、LookML、およびクエリ履歴メタデータを抽出して宛先に取り込みます。
このガイドを使用して、機能と前提条件を確認し、Lookerをデータパイプラインのソースとして接続し、パイプラインを設定し、サポート対象オブジェクト、同期モード、スキーマ処理、および制限事項を理解してください。
サポートされるLookerの機能
Lookerをパイプラインのソースとして使用する場合、次の機能がサポートされます。
- クラウド接続: Looker APIバージョン4.0を使用してHTTPS経由でLookerインスタンスに接続します。オンプレミスグループはサポートされません。
- フル同期と増分同期:
Query Historyは両方の同期モードを提供し、どちらのモードでもhistory.created_timeをカーソルとして使用します。その他のオブジェクトはすべてフル同期のみをサポートします。詳細については、同期モードを参照してください。 - オブジェクトレベルの選択:
Looks、Dashboards、Users、Projects、Query HistoryなどのLookerオブジェクトを選択し、宛先で個別のテーブルとして同期できます。完全なリストについては、サポート対象オブジェクトを参照してください。 - 削除トラッキング:
Project Filesを除くフル同期オブジェクトについて、次回の同期時にLookerで削除されたレコードを反映します。詳細については、削除追跡を参照してください。 - 固定オブジェクトスキーマ: Looker API 4.0に基づく固定スキーマからフィールドを選択します。新しいLooker APIフィールドは、Workatoがコネクタースキーマを更新した後に使用可能になります。
- フィールドレベルのデータ保護:データがデスティネーションに到達する前に、機密フィールドをハッシュ化するか、そのままレプリケートします。
- 構成可能な同期頻度: 時間ベースの間隔またはcron式を使用して同期をスケジュールします。サポートされる最小間隔は15分です。
Lookerの前提条件
Lookerをデータパイプラインのソースとして接続するには、次が必要です。
- Lookerインスタンスと、そのAPIホストURL(インスタンスで必要な場合はAPIポートを含む)。
- Looker API3クレデンシャル。クライアントIDとクライアントシークレットで構成されます。 Looker管理者は、AdminパネルのUsersページでAPI3クレデンシャルを作成します。管理者がAPI管理を有効にした後、ユーザーはLooker(Google Cloud core)インスタンスの自分のAccountページでクレデンシャルを作成します。詳細については、Looker API authenticationガイドを参照してください。
必要な権限
API3クレデンシャルは、紐づけられているLookerユーザーのロールと権限を継承します。管理オブジェクト(Users、Groups、Roles、Scheduled Plans、Projects、Connections、Integrations)には管理者レベルのアクセスが必要なため、WorkatoはLookerのAdminロールを持つユーザーのAPI3クレデンシャルを使用することを推奨します。 Query Historyには、Looker管理者がデフォルトで保有しているsee_system_activity権限が必要です。ユーザーがアクセスできないオブジェクトは、権限エラーで失敗します。
サポートされるコネクションタイプ
Lookerのデータパイプラインは、API3 credentials認証をサポートします。同期する予定のオブジェクトにアクセスできるLookerユーザーのクライアントIDとクライアントシークレットを指定します。
OAUTH 2.0のコネクションはサポートされていません
Authentication typeドロップダウンメニューには、OAuth 2.0 (authorization code + PKCE)も表示されます。データパイプラインはこの認証タイプをサポートしておらず、この認証タイプを使用するコネクションはパイプラインのソースとして失敗します。データパイプライン用に、API3 credentialsを使用する別のコネクションを作成してください。
Lookerに接続する
次の手順を完了して、Lookerをデータパイプラインのソースとして接続します。
Lookerに接続
作成 > コネクションを選択するか、Cを2回押します。
Lookerを検索し、アプリとして選択します。
コネクション名フィールドに名前を入力します。
ロケーションドロップダウンメニューを使用して、コネクションを保存するプロジェクトを選択します。
コネクションタイプドロップダウンメニューを使用して、クラウドを選択します。 Lookerのデータパイプラインはオンプレミスグループをサポートしていません。
Authentication typeドロップダウンメニューでAPI3 credentialsを選択します。
Looker instance URLフィールドにLooker APIホストを入力します。 https://は省略し、インスタンスで必要な場合は、たとえばanalytics.example.com:19999のようにAPIポートを含めます。
API versionドロップダウンメニューでVersion 4.0を選択します。データパイプラインはLooker APIバージョン4.0のみをサポートします。
API3クレデンシャルのクライアントIDをClient IDフィールドに入力します。
API3クレデンシャルのクライアントシークレットをClient secretフィールドに入力します。
接続を選択して、コネクションを検証して保存します。コネクションが確立されると、Workatoに成功メッセージが表示されます。
パイプラインの設定
次の手順を完了して、Lookerをデータパイプラインのソースとして設定します。
作成 > データパイプラインを選択するか、C+Iを押します。
データパイプライン名フィールドにデータパイプラインの名前を入力します。
データパイプライン設定
ロケーションドロップダウンメニューを使用して、データパイプラインを保存するプロジェクトを選択します。
ビルドを開始をクリックします。
Extract new/updated records from source app トリガーをクリックします。このトリガーでは、パイプラインがLookerからデータを取得する方法を定義します。
ソースアプリから新規/更新済みレコードを抽出トリガーを設定
Your Connected Source Apps ドロップダウンメニューを使用して、Looker を選択します。
このパイプラインで使用するLookerのコネクションを選択します。または、+ 新規コネクションをクリックして、新しいコネクションを作成します。
オブジェクトを追加をクリックして、新しいオブジェクトを追加パネルを開きます。
Add objects
利用可能なLookerオブジェクトの一覧を検索または参照し、同期する予定のオブジェクトを選択して、Addをクリックします。
完全同期のみのオブジェクト
タイムスタンプカーソルを持つのはQuery Historyのみです。その他のオブジェクトはすべて常にフルで同期されます。詳細については、同期モードを参照してください。
任意。 Query Historyの横にある歯車アイコンをクリックして、Sync mode設定を開きます。 Sync modeドロップダウンメニューを使用してFull syncまたはIncrementalを選択し、Saveをクリックします。
Workatoは、各実行で新しいQuery Historyレコードを取得するためにIncrementalを推奨します。 Query Historyはタイムスタンプカーソルを使用しており、いずれの同期モードでも削除された行を追跡しません。詳細については、同期モードを参照してください。
選択した各オブジェクトのスキーマを確認してカスタマイズします。パイプラインは、オブジェクトを選択するとそのオブジェクトのスキーマを自動的に取得します。これにより、デスティネーションがソースと一致します。
オブジェクトを展開して、関連フィールドを表示します。使用可能なすべてのデータを抽出するにはすべてのフィールドを選択したままにし、データ抽出とスキーマレプリケーションから除外するには特定のフィールドの選択を解除します。
任意。オブジェクトを展開し、各フィールドの処理方法を選択して、フィールドレベルのデータ保護を設定します。
- そのまま複製: ソースのデータ値が宛先に同一に複製されます。
- ハッシュ: 宛先に同期する前に、フィールド内の機密データ値をハッシュ化します。
Workatoでは、個人を特定できる情報(PII)やその他の機密フィールドをハッシュ化することを推奨します。 PIIが一般的に含まれるフィールドのリストについては、機密データの処理を参照してください。
オブジェクトを追加を再度クリックして、さらにオブジェクトを追加します。この手順を繰り返して、パイプラインにLookerのオブジェクトをさらに追加します。
スキーマ変更の処理方法を選択ドロップダウンメニューを使用して、スキーマドリフトの処理オプションを選択します。
- Auto-sync new fields: コネクターの固定スキーマが更新された後に使用可能になるフィールドを追加します。
- Block new fields: 新たに使用可能になったフィールドを手動で追加するまで、選択したスキーマを固定のままにします。
Lookerオブジェクトは固定スキーマを使用するため、どちらのオプションもLookerインスタンス内の新しいフィールドは検出しません。詳細については、スキーマのレプリケーションとスキーマドリフトの管理を参照してください。
任意。同時実行制限フィールドに値を入力して、同時実行操作数の上限を設定します。 Workatoによって設定されたデフォルトの制限を使用するには、このフィールドを空白のままにします。最大値は5です。
Frequency(頻度)フィールドで、標準の時間ベースのスケジュールを選択するか、カスタムcron式を定義します。これにより、パイプラインがLookerから宛先にデータを同期する頻度が決まります。
サポートされるLookerオブジェクト
Lookerのデータパイプラインは、Looker API 4.0からデータを同期します。各オブジェクトは、宛先内の個別のテーブルとして同期されます。
コンテンツオブジェクト
これらのオブジェクトは、インスタンス内のLooks、ダッシュボード、ボード、フォルダ、およびスケジュールを同期します。 Workatoは、各ダッシュボードについてDashboard Elements、Dashboard Filters、Dashboard Layoutsを、各ダッシュボードレイアウトについてDashboard Layout Componentsを、各フォルダについてContent Metadataを取得します。
| オブジェクト | 同期モード | 削除追跡 |
|---|---|---|
Looks | Full sync | はい |
Dashboards | Full sync | はい |
Dashboard Elements | Full sync | はい |
Dashboard Filters | Full sync | はい |
Dashboard Layouts | Full sync | はい |
Dashboard Layout Components | Full sync | はい |
Boards | Full sync | はい |
Board Items | Full sync | はい |
Board Sections | Full sync | はい |
フォルダ | Full sync | はい |
Content Metadata | Full sync | はい |
Scheduled Plans | Full sync | はい |
Scheduled Plansには、インスタンス内のすべてのユーザーのスケジュールが含まれます。
ユーザーおよびアクセスオブジェクト
これらのオブジェクトは、インスタンスのユーザー、グループ、およびアクセス構成を同期します。 Workatoは各ユーザーについてUser Sessionsを取得します。
| オブジェクト | 同期モード | 削除追跡 |
|---|---|---|
Users | Full sync | はい |
User Sessions | Full sync | はい |
Groups | Full sync | はい |
ロール | Full sync | はい |
Permission Sets | Full sync | はい |
Model Sets | Full sync | はい |
User Attributes | Full sync | はい |
LookMLおよびインスタンスオブジェクト
これらのオブジェクトは、LookMLプロジェクトおよびモデル、データベースコネクション、およびインスタンス構成を同期します。 Workatoは各プロジェクトについてProject Filesを取得します。
| オブジェクト | 同期モード | 削除追跡 |
|---|---|---|
LookML Models | Full sync | はい |
Projects | Full sync | はい |
Project Files | Full sync | いいえ |
ワークスペース | Full sync | はい |
Connections | Full sync | はい |
Datagroups | Full sync | はい |
Integrations | Full sync | はい |
Workspacesは、インスタンスの開発ワークスペースとプロダクションワークスペースを同期します。 Connectionsは、Lookerが使用するデータベースコネクションを同期し、Workatoのコネクションではありません。
利用状況オブジェクト
このオブジェクトは、Looker System ActivityのHistory Exploreからクエリアクティビティを同期します。
| オブジェクト | 同期モード | 削除追跡 |
|---|---|---|
Query History | 完全同期、増分 | いいえ |
Query Historyは、クエリ実行ごとに1行を同期します。このオブジェクトに適用される制限については、System Activity history retentionを参照してください。
同期モード
Lookerのデータパイプラインは、フル同期と増分同期をサポートします。 LookerはAPI全体で共通のchanged-sinceフィルターを提供していないため、Query History以外のすべてのオブジェクトはフル同期のみをサポートします。
フル同期
フル同期では、Query Historyを除くすべてのオブジェクトについて、各実行時に利用可能なレコードをすべて読み取ります。
Query Historyもフル同期を提供しますが、いずれの同期モードでもタイムスタンプカーソルを使用します。保存済みカーソルが存在する場合は、そのカーソルから抽出を再開します。存在しない場合、抽出は選択した日付、または日付を空白のままにした場合は実行日の90日前から開始されます。 WorkatoはQuery Historyの削除を追跡しません。
増分同期
Query Historyは、history.created_timeフィールドをカーソルとして使用します。初回実行では、選択した開始日から、または開始日を空白のままにした場合は初回実行の90日前からクエリ履歴を読み取ります。各後続実行では、直前の実行で取得した最新のhistory.created_time値以降に作成されたレコードを読み取り、パイプラインですでに同期済みのレコードはスキップします。
削除追跡
削除トラッキングはオブジェクトによって異なります。
Project Filesを除くフル同期のみのオブジェクト:Yes。 Workatoは、Lookerで削除したレコードを、次回のフル同期時に宛先で削除済みとしてマークします。Project FilesとQuery History:No。 Workatoはこれらのオブジェクトについて削除されたレコードを検出せず、後続の同期で見つからないレコードも削除済みとしてマークしません。
スキーマとデータ型の処理
Lookerからデータを同期する場合、スキーマとデータ型について次の点を考慮してください。
固定スキーマ
各オブジェクトは、Looker API 4.0のリソースタイプに基づく固定スキーマを使用します。 Lookerオブジェクトにはカスタムフィールドはありません。 Query Historyは、history.id、history.created_time、query.id、user.idフィールドを同期します。
ネストされたフィールド
can権限マップ、Looks上のfolderおよびmodelフィールド、Dashboard Elements上のvis_configなどの入れ子オブジェクトおよび配列は、JSONオブジェクトとして同期されます。 Dashboard ElementsやBoard Itemsなど一部の子リソースは、ネストされたJSONではなく個別のテーブルとして同期されます。親オブジェクトには、専用テーブルとは別に、子リソースのフィールドのJSONコピーが保持される場合があります。
Workatoは、SnowflakeのVARIANTのような、送信先のネイティブJSON型にJSONフィールドを同期します。送信先がネイティブJSON型をサポートしていない場合、WorkatoはJSONフィールドを文字列としてシリアル化します。
タイムスタンプ
タイムスタンプフィールドは、タイムゾーン付きタイムスタンプとして同期されます。タイムゾーンオフセットを含まないLookerのタイムスタンプは、WorkatoによってUTCとして扱われます。 Datagroups上のcreated_at、stale_before、trigger_check_at、triggered_atフィールドは、Looker APIに合わせてUnixタイムスタンプ整数として同期されます。
合成列
Workatoは、Project FilesおよびQuery Historyを除くすべてのオブジェクトに次の列を追加します。
| 列 | タイプ | 目的 |
|---|---|---|
_workato_is_deleted | ブーリアン | そのレコードがLookerで削除されたかどうかを示します。詳細については、削除追跡を参照してください。 |
機密データの処理
Lookerオブジェクトには、個人を特定できる情報(PII)やデータベースインフラストラクチャに関する詳細が含まれる場合があります。次のオブジェクトには、一般的に機密フィールドが含まれています。
| オブジェクト | 機密フィールド |
|---|---|
Users | first_name、last_name、display_name、email、avatar_url、avatar_url_without_sizing |
User Sessions | ip_address、city、state、country、browser、operating_system |
Looks、Dashboards | user_name |
Dashboards | last_updater_name |
Scheduled Plans | scheduled_plan_destination、user |
Query History | user.id |
Connections | host、port、database、schema、tmp_db_host、jdbc_additional_params |
Projects | git_remote_url、git_username |
User Attributes | default_value |
Workatoは、API3クレデンシャル、データベースパスワード、証明書、デプロイシークレット、その他のシークレット値をLookerから同期しません。
パイプライン設定中にフィールドレベルのデータ保護でHashオプションを使用し、PIIが宛先に到達する前に保護します。詳細については、パイプラインを構成手順を参照してください。
Lookerの制限事項
Lookerをデータパイプラインのソースとして使用する場合、次の制限事項が適用されます。
System Activityの履歴保持
Query HistoryはLooker System Activityから読み取りを行い、既定ではおおよそ90日分のクエリ履歴を保持します。 Elite System Activityによってこの上限を延長できます。 Lookerが保持していないクエリ履歴は、より前の日付を開始日に選択しても、パイプラインでは抽出できません。クエリ履歴がSystem Activityから期限切れになる前に取得できるよう、定期的な同期をスケジュールしてください。
最小同期頻度
サポートされる最小同期間隔は15分です。
最終更新日: