データパイプラインのソースとしてAlgoliaを構成する
Algoliaをデータパイプラインのソースとしてセットアップし、インデックスレコード、インデックス設定、検索およびクリックアナリティクス、APIログを宛先に抽出します。
このガイドを使用して、Algolia APIキーの準備、コネクションのセットアップ、パイプラインの構成、オブジェクトの追加、同期動作の確認、および既知の制限事項の理解を行ってください。
Algoliaでサポートされている機能
Algoliaをパイプラインソースとして使用する場合、次の機能がサポートされます。
- クラウド接続: HTTPS経由でAlgoliaに接続します。 Workatoは
https://<APPLICATION_ID>-dsn.algolia.netからインデックスデータを読み取ります。アナリティクスデータは、選択したアナリティクスリージョンに応じて、https://analytics.us.algolia.comまたはhttps://analytics.de.algolia.comから取得されます。オンプレミスエージェントは不要です。 - 完全同期と増分同期:オブジェクトごとに設定できる完全同期モードと増分同期モードをサポートします。アナリティクスオブジェクトおよび
Logsは既定で増分同期になり、RecordsやRulesなどのインデックスオブジェクトはフル同期のみをサポートします。詳細については、同期モードを参照してください。 - オブジェクトレベルの選択:
Records、Index Settings、Rules、Synonyms、および14種類のアナリティクスオブジェクトなど、アプリケーションレベルおよびインデックスごとのオブジェクトを選択し、宛先内の個別のテーブルとして同期します。完全なリストについては、サポート対象オブジェクトを参照してください。 - Recordsスキーマ検出: レコードのサンプルから各インデックス内の属性を検出し、サンプル外の属性にはフォールバック用のカラムを使用します。詳細はRecordsスキーマ検出を参照してください。
- 削除トラッキング: フル同期オブジェクトについて、次回の同期時にAlgoliaで削除されたレコードを反映します。詳細については、削除追跡を参照してください。
- スキーマドリフトの検出と処理: 新しいフィールドを自動同期でスキーマの変更を自動的に検出して適用するか、新しいフィールドをブロックでスキーマを固定します。
- フィールドレベルのデータ保護:データがデスティネーションに到達する前に、機密フィールドをハッシュ化するか、そのままレプリケートします。
- 構成可能な同期頻度: 時間ベースの間隔またはcron式を使用して同期をスケジュールします。サポートされる最小間隔は
15分です。
Algoliaの前提条件
Algoliaをデータパイプラインのソースとして接続するには、次の項目が必要です。
- AlgoliaアプリケーションとそのアプリケーションID
listIndexes、browse、settings、logs、analyticsACLを持つAlgolia APIキー。 Admin APIキーまたは制限付きAPIキーを使用できます。 Search-only APIキーは使用できません。- クリックアナリティクスおよびコンバージョンアナリティクスオブジェクトを同期する場合は、Insights API経由でAlgoliaに送信されるクリックアナリティクスおよびコンバージョンイベント。詳細はクリックおよびコンバージョンアナリティクスオブジェクトを参照してください。
必要な権限
Workatoは、推奨権限に記載されているACLのみを含む制限付きAPIキーの使用を推奨します。 Admin APIキーには、データパイプラインソース構成ではWorkatoに不要な書き込みアクセスが含まれます。
推奨権限
サポートされるAlgoliaオブジェクトを同期するには、APIキーに次のACLを付与します。
| Algolia ACL | Workatoオブジェクト |
|---|---|
listIndexes | Indices |
browse | Records |
設定 | Index Settings、Rules、Synonyms |
ログ | ログ |
analytics | すべてのアナリティクスオブジェクト |
すべてのコネクションにはlistIndexesが必要です。Workatoはこれを使用してコネクションを検証し、アプリケーション内のインデックスを検出します。
制限付きAPIキーを作成してACLを割り当てる方法については、AlgoliaのAPI keysガイドを参照してください。
サポートされるコネクションタイプ
AlgoliaデータパイプラインはAPIキー認証をサポートします。 AlgoliaアプリケーションIDと、推奨権限に記載されたACLを持つAPIキーを指定します。
Algoliaに接続する
Algoliaをデータパイプラインのソースとして接続するには、次の手順を完了します。
Algolia に接続
作成 > コネクションを選択するか、Cを2回押します。
Algoliaを検索し、アプリとして選択します。
コネクション名フィールドに名前を入力します。
ロケーションドロップダウンメニューを使用して、コネクションを保存するプロジェクトを選択します。
Application IDフィールドにAlgoliaアプリケーションIDを入力します。 AlgoliaダッシュボードのSettings > GeneralでアプリケーションIDが表示されます。
APIキーフィールドにAPIキーを入力します。 Admin APIキー、またはlistIndexes、browse、settings、logs、analytics ACLを持つ制限付きAPIキーを使用します。
Analytics regionドロップダウンメニューを使用して、Algolia Analyticsデータをホストしているリージョンを選択します。
接続を選択して、コネクションを検証して保存します。コネクションが確立されると、Workatoに成功メッセージが表示されます。
パイプラインの設定
Algoliaをデータパイプラインのソースとして構成するには、次の手順を完了します。
作成 > データパイプラインを選択するか、C+Iを押します。
データパイプライン名フィールドにデータパイプラインの名前を入力します。
データパイプライン設定
ロケーションドロップダウンメニューを使用して、データパイプラインを保存するプロジェクトを選択します。
ビルドを開始をクリックします。
Extract new/updated records from source app トリガーをクリックします。このトリガーでは、パイプラインがAlgoliaからデータを取得する方法を定義します。
ソースアプリから新規/更新済みレコードを抽出トリガーを設定
Your Connected Source Apps ドロップダウンメニューを使用して、Algolia を選択します。
このパイプラインで使用するAlgoliaのコネクションを選択します。または、+ 新規コネクションをクリックして、新しいコネクションを作成します。
オブジェクトを追加をクリックして、新しいオブジェクトを追加パネルを開きます。
オブジェクトを追加
利用可能なAlgoliaオブジェクトの一覧を検索または参照し、同期するオブジェクトを選択して、Addをクリックします。一覧には、アプリケーションごとに一度だけIndicesとLogsが表示され、各インデックスレベルオブジェクトはインデックスごとに一度ずつ、インデックス名をかっこ内に付けて表示されます。
完全同期のみのオブジェクト
IndicesおよびRecordsやRulesなどのインデックスオブジェクトにはタイムスタンプカーソルがないため、常にフル同期されます。詳細については、同期モードを参照してください。
任意。アナリティクスオブジェクトまたはLogsの横にある歯車アイコンをクリックして、Sync mode設定を開きます。 Sync modeドロップダウンメニューを使用してFull syncまたはIncrementalを選択し、Saveをクリックします。
アナリティクスオブジェクトおよびLogsの同期モードは、既定でIncrementalです。詳細については、同期モードを参照してください。
選択した各オブジェクトのスキーマを確認してカスタマイズします。パイプラインは、オブジェクトを選択するとそのオブジェクトのスキーマを自動的に取得します。これにより、デスティネーションがソースと一致します。
オブジェクトを展開して、関連フィールドを表示します。使用可能なすべてのデータを抽出するにはすべてのフィールドを選択したままにし、データ抽出とスキーマレプリケーションから除外するには特定のフィールドの選択を解除します。
選択解除されたRecords属性も、raw_attributesカラム内には引き続き同期されます。詳細はRecordsスキーマ検出を参照してください。
任意。オブジェクトを展開し、各フィールドの処理方法を選択して、フィールドレベルのデータ保護を設定します。
- そのまま複製: ソースのデータ値が宛先に同一に複製されます。
- ハッシュ: 宛先に同期する前に、フィールド内の機密データ値をハッシュ化します。
Workatoでは、個人を特定できる情報(PII)やその他の機密フィールドをハッシュ化することを推奨します。 PIIが一般的に含まれるフィールドのリストについては、機密データの処理を参照してください。
オブジェクトを追加を再度クリックして、さらにオブジェクトを追加します。追加する各オブジェクトについて前述の手順を繰り返し、同期モード、スキーマ、フィールドレベルのデータ保護を設定します。
スキーマ変更の処理方法を選択ドロップダウンメニューを使用して、スキーマドリフトの処理オプションを選択します。
- 新しいフィールドを自動同期: ソースに追加された新しいフィールドを自動的に検出して同期します。
- 新しいフィールドをブロック: パイプラインの開始後、スキーマを固定します。新しいフィールドは手動で追加する必要があります。このオプションを使用すると、ソーススキーマが更新された場合に宛先が同期されなくなる可能性があります。
詳細については、スキーマのレプリケーションとスキーマドリフトの管理を参照してください。
Algoliaインデックスレコードには固定スキーマが存在しないため、Recordsを同期する場合はAuto-sync new fieldsの有効化をWorkatoは推奨します。詳細はRecordsスキーマ検出を参照してください。
任意。同時実行制限フィールドに値を入力して、同時実行操作数の上限を設定します。 Workatoによって設定されたデフォルトの制限を使用するには、このフィールドを空白のままにします。 Algoliaの最大値は5です。
Frequency(頻度)フィールドで、標準の時間ベースのスケジュールを選択するか、カスタムcron式を定義します。これにより、パイプラインがAlgoliaから宛先へデータを同期する頻度が決まります。
サポートされているAlgoliaオブジェクト
Algoliaデータパイプラインは、Algoliaアプリケーションからインデックスコンテンツ、インデックス設定、アナリティクス、およびAPIログを同期します。次の表に、サポートされているオブジェクトをカテゴリー別に示します。各オブジェクトは、宛先内の個別のテーブルとして同期されます。インデックスレベルオブジェクトは、アプリケーション内の各インデックスについて行が1回表示されます。
アプリケーションオブジェクト
これらのオブジェクトは、Algoliaアプリケーション全体のデータを同期します。
| オブジェクト | 同期モード | 削除追跡 |
|---|---|---|
Indices | Full sync | はい |
ログ | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Indicesは、アプリケーション内のインデックスごとに行を同期します。 Logsは、最新のAPIリクエストログを同期します。 Logsに適用される制限については、Logsの保持期間を参照してください。
インデックスオブジェクト
これらのオブジェクトは、単一インデックスのコンテンツと設定を同期します。
| オブジェクト | 同期モード | 削除追跡 |
|---|---|---|
Records | Full sync | はい |
Index Settings | Full sync | はい |
Rules | Full sync | はい |
Synonyms | Full sync | はい |
Index Settingsは、インデックスごとに行を同期します。 Recordsは、インデックスから検出されたスキーマを使用します。詳細はRecordsスキーマ検出を参照してください。
検索アナリティクスオブジェクト
検索アナリティクスオブジェクトは、単一インデックスの1日ごとのメトリクスを同期し、日単位、または日ごとのクエリ・レコード・国・フィルター属性ごとに行として格納されます。これらのオブジェクトにはanalytics ACLが必要であり、APIキーまたはAlgoliaプランでAnalytics APIへのアクセスが許可されていない場合は、権限エラーで失敗します。
| オブジェクト | 同期モード | 削除追跡 |
|---|---|---|
検索 | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Search Count | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Search No Result | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Search No Result Rate | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Hit | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Top Countries | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Top Filter Attributes | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Users Count | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
クリックおよびコンバージョンアナリティクスオブジェクト
各オブジェクトは、インデックスごとの日次クリックおよびコンバージョンメトリクスを同期します。 Search No ClickおよびClick Positionは、クエリまたはクリック位置ごとに日単位で行を同期し、その他のオブジェクトは日ごとに行を同期します。これらにはanalytics ACLと、Insights API経由でAlgoliaに送信されるクリックイベントが必要です。 Conversion Rateには、コンバージョンイベントも必要です。
| オブジェクト | 同期モード | 削除追跡 |
|---|---|---|
Search No Click | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Search No Click Rate | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Click Position | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Click Average Click Position | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Click Through Rate | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
Conversion Rate | 完全同期、増分 | はい(フル同期)、いいえ(増分) |
同期モード
Algoliaデータパイプラインは、フル同期と増分同期をサポートします。同期モードは、パイプラインに追加する際にオブジェクトごとに設定されます。
フル同期
フル同期は、毎回の実行で、選択したオブジェクトの抽出ウィンドウ内にある利用可能なすべてのレコードを読み取ります。 Indices、Records、Index Settings、Rules、Synonymsにはタイムスタンプカーソルがないため、フル同期のみをサポートします。
主キーを持つオブジェクトは既存の送信先テーブルにマージされるため、Algoliaで削除されたレコードもテーブル内に残ります。主キーを持たないオブジェクトは、実行のたびに宛先テーブルを上書きします。
アナリティクスオブジェクトおよびLogsもフル同期をサポートします。フル同期では、抽出された日付範囲外にある行は、Algoliaにまだ保持されている場合でも削除済みとしてマークされます。開始日を設定しない場合、アナリティクスの抽出は前日から開始され、ログの抽出は最大で過去7日分までさかのぼります。これらのオブジェクトで過去の行を保持する必要がある場合は、Workatoは増分同期を推奨します。
増分同期
アナリティクスオブジェクトおよびLogsは、各実行時に制限された日付範囲を読み取ります。宛先側では、プライマリキーを使用して再読み込みされた行の重複排除を行います。
- アナリティクスオブジェクト:
dateカラムがカーソルになります。当日分のメトリクスは途中の値であり、後続の実行時に更新されます。 - Logs:
timestampカラムがカーソルになります。各実行では、直近7日分までのログのみが対象になります。開始日が設定されていない場合、前回のタイムスタンプから1秒間重なる形で処理を再開します。設定した開始日により、ウィンドウをさらに狭めることができます。
削除追跡
削除トラッキングはオブジェクトによって異なります。
- フル同期のみのオブジェクト:
Yes。 Algoliaでレコードを削除すると、次回のフル同期で宛先内のレコードも削除済みとしてマークされます。 - アナリティクスオブジェクトおよび
Logs: 増分同期ではNo。抽出ウィンドウから外れた後も、行は宛先に残ります。フル同期では、現在の抽出ウィンドウに存在しない行は削除済みとしてマークされます。詳細については、完全同期を参照してください。
スキーマとデータ型の処理
Algoliaからデータを同期する際、スキーマおよびデータ型の取り扱いについては、次の点を考慮してください。
Recordsスキーマ検出
Algoliaインデックスレコードには固定スキーマがありません。 Recordsを追加すると、Workatoはインデックスから最大1,000件のレコードをサンプリングし、検出した各トップレベル属性ごとにカラムを作成します。
objectID: プライマリキーとして同期されます。- スカラー属性: Boolean、integer、decimal、string属性は、対応するカラム型として同期されます。混在型の属性はstringとして同期されますが、integerとdecimalの混在値はdecimalとして同期されます。
raw_attributes: サンプルに含まれない属性、後からインデックスに追加された属性、スキーマレビュー時に選択解除した属性など、専用カラムを持たないすべての属性を格納します。
Auto-sync new fieldsを選択すると、後続のサンプルで検出された属性は新しいカラムとしてWorkatoにより追加されます。
ネストされたフィールド
入れ子のRecords属性、Rulesのconditionsおよびconsequenceフィールド、Index Settingsの属性リストなどのネストされたオブジェクトや配列は、JSONオブジェクトとして同期されます。宛先がSnowflakeのVARIANTのようなネイティブJSON型をサポートしている場合、Workatoはそれらをその型で保存し、ネイティブJSON型がない場合にのみ文字列としてシリアライズします。
合成列
Workatoは、特定のオブジェクトについて、宛先テーブルに次の列を追加します。
| 列 | タイプ | 目的 |
|---|---|---|
raw_attributes | JSON | 専用カラムを持たないRecords属性を格納します。 |
sha1 | 文字列 | Logsのプライマリキー。 WorkatoはログエントリからこのSHA-1ハッシュを計算し、Algoliaが返すsha1値の代わりに使用します。 |
indexName | 文字列 | Index Settingsのプライマリキー。インデックス名を格納します。 |
インデックス | 文字列 | すべてのアナリティクスオブジェクトで、アナリティクスデータが示すインデックス名を格納します。 |
機密データの処理
Algoliaオブジェクトには、個人を特定できる情報(PII)が含まれる場合があります。次のオブジェクトには、一般的に機密フィールドが含まれています。
| オブジェクト | 機密フィールド |
|---|---|
Records | インデックスが保存している任意の属性(「raw_attributes」カラムを含む) |
ログ | ip、query、userToken、authenticatedUserToken、params、filters、details、answer |
Search、Search No Result、Search No Click、Hit | クエリ |
検索クエリにはユーザーが入力したテキストが含まれ、個人情報が含まれる可能性があります。
Records属性を選択解除しても、Workatoが選択解除された属性をraw_attributesカラムに保存するため、その値が宛先から除外されるわけではありません。これらの値を除外するには、raw_attributesを選択解除するかハッシュ化してください。
パイプライン設定中にフィールドレベルのデータ保護でHashオプションを使用し、PIIが宛先に到達する前に保護します。詳細については、パイプラインを構成手順を参照してください。
Algoliaの制限事項
Algoliaをデータパイプラインのソースとして使用する場合、次の制限事項が適用されます。
Logsの保持期間
Algoliaは、APIログを7日間、およびサーバーごとに最大1,000件のAPIリクエストを保持します。各実行では、直近7日分のログエントリのうち最大1,000件のみが同期されます。高トラフィックなアプリケーションでは、キャプチャされないログエントリ数を減らすため、同期を高頻度でスケジュールしてください。
Query Suggestionsインデックスは一覧に表示されない
Workatoは、名前にquery_suggestionsを含むインデックスをオブジェクト検出から除外するため、これらのインデックスレベルおよびアナリティクスオブジェクトは利用できません。これらのインデックスは、それでもIndicesテーブル内の行として表示されます。
インデックスの削除または名称変更
Algoliaで削除または名称変更したインデックスに対応するオブジェクトは、そのインデックスをAlgoliaが見つけられないというエラーで失敗します。これらのオブジェクトをパイプラインから削除し、必要に応じて名称変更後のインデックス用のオブジェクトを追加してください。
最小同期頻度
サポートされる最小同期間隔は15分です。
最終更新日: