Mixpanelをデータパイプラインのソースとして構成する
Mixpanelをデータパイプラインのソースとして設定し、Mixpanelから生イベント、ユーザープロファイル、コホート、ファネル、アノテーション、およびグループプロファイルを抽出して同期し、宛先に送信します。
このガイドを使用して、機能と前提条件を確認し、Mixpanelサービスアカウントを作成し、Mixpanelをデータパイプラインのソースとして接続し、パイプラインを構成し、サポートされるオブジェクト、同期モード、スキーマ処理、および制限事項について理解してください。
サポートされている機能
Mixpanelをパイプラインソースとして使用する場合、次の機能がサポートされます。
- クラウド接続: https経由でMixpanelに接続します。オンプレミスエージェントは不要です。
- データレジデンシリージョン: US、EU、INのデータレジデンシリージョンでホストされているMixpanelプロジェクトに接続します。
- 完全同期と増分同期: 完全同期と増分同期をサポートします。インクリメンタル同期では、イベントとファネルに日付ウィンドウを使用し、ユーザーおよびグループプロファイルにはプロファイル更新タイムスタンプを使用します。詳細については、同期モードを参照してください。
- オブジェクトレベルの選択: パイプラインを設定するときに、同期するサポート対象オブジェクトを選択します。
- イベントおよびプロファイルプロパティ: カスタムのイベントおよびプロファイルプロパティはJSON列として同期されます。詳細はプロパティマップを参照してください。
- スキーマドリフトの検出と処理: 新しいフィールドを自動同期でスキーマの変更を自動的に検出して適用するか、新しいフィールドをブロックでスキーマを固定します。
- フィールドレベルのデータ保護:データがデスティネーションに到達する前に、機密フィールドをハッシュ化するか、そのままレプリケートします。
- 構成可能な同期頻度: 時間ベースの間隔またはcron式を使用して同期をスケジュールします。サポートされる最小間隔は15分です。
前提条件
Mixpanelをデータパイプラインのソースとして接続するには、次のものが必要です。
- Mixpanelプロジェクト
- プロジェクトでAnalystロールを持つMixpanelサービスアカウント。設定手順については、Mixpanelサービスアカウントを作成するを参照してください。
- サービスアカウントのユーザー名とシークレット
- 数値のプロジェクトIDとプロジェクトのデータレジデンシリージョン
- 任意。プロジェクトがData Viewsを使用している場合はワークスペースID
- 任意。プロジェクトが2023年1月1日より前に作成された場合のプロジェクトタイムゾーン
プランおよびアドオンの要件
Funnels、Cohorts、Cohort Membersオブジェクトには、Query APIアクセスを含むMixpanelプランが必要です。 Group Profilesオブジェクトには、Mixpanel Group Analyticsアドオンが必要です。詳細はプランおよびアドオンの要件を参照してください。
Mixpanelサービスアカウントを作成する
Workatoでコネクションを作成する前に、先にMixpanelでサービスアカウントを作成します。手順については、Mixpanelのサービスアカウントドキュメントを参照してください。同期する予定のプロジェクトにAnalystロールを割り当てます。 Workatoはこのロールでコネクタを検証しました。
サービスアカウントシークレットをコピーする
サービスアカウントシークレットは、サービスアカウントを作成するときにのみMixpanelに表示され、後から取得することはできません。シークレットをコピーして、安全な場所に保管してください。
サポートされるコネクションタイプ
Mixpanelデータパイプラインは、サービスアカウント認証をサポートしています。
- サービスアカウント: Mixpanelサービスアカウントのユーザー名とシークレット、およびプロジェクトIDで認証します。設定手順については、Mixpanelサービスアカウントを作成するを参照してください。
レシピ内のMixpanelコネクションは、APIキーとシークレットによる認証にも対応しています。データパイプラインではこの認証タイプはサポートされていません。
Mixpanelに接続する
Mixpanelに接続するには、次の手順を実行します。
Mixpanelに接続する
作成 > コネクションを選択するか、Cを2回押します。
Mixpanelを検索し、アプリとして選択します。
コネクション名フィールドにコネクションの名前を入力します。
コネクションを保存する予定のプロジェクトまたはフォルダを選択するには、ロケーションドロップダウンメニューを使用します。
認証タイプドロップダウンメニューを使用して、サービスアカウントを選択します。
Service account usernameフィールドにサービスアカウントのユーザー名を入力します。
Service account secretフィールドにサービスアカウントシークレットを入力します。
Project IDフィールドに数値のMixpanelプロジェクトIDを入力します。プロジェクトIDは、MixpanelのProject Settings > Overviewで確認できます。
Data residencyドロップダウンメニューから、Mixpanelプロジェクトに対応するリージョンを選択します。値は、MixpanelのProject Settings内のData Residency設定と一致している必要があります。
リージョンがプロジェクトと一致しない場合、MixpanelはプロジェクトIDが無効であるというエラーでリクエストを拒否します。
任意。プロジェクトでData Viewsを使用している場合は、Workspace IDフィールドにワークスペースIDを入力します。それ以外の場合は、このフィールドは空のままにします。
任意。 Project timezoneフィールドに、MixpanelのProject Settings > TimezoneにあるIANAタイムゾーン名を入力します。たとえば、US/Pacific。 UTCを使用する場合は、このフィールドを空のままにします。
2023年1月1日より前に作成されたMixpanelプロジェクトの場合は値を入力します。これらのプロジェクトでは、Mixpanelはエクスポート日付をUTCではなくプロジェクトタイムゾーンとして解釈します。
Connectをクリックしてコネクションを検証し、保存します。コネクションが確立されると、Workatoに成功メッセージが表示されます。
パイプラインの設定
Mixpanelをデータパイプラインのソースとして構成するには、次の手順を実行します。
作成 > データパイプラインを選択するか、C+Iを押します。
データパイプライン名フィールドにデータパイプラインの名前を入力します。
データパイプライン設定
ロケーションドロップダウンメニューを使用して、データパイプラインを保存するプロジェクトを選択します。
ビルドを開始をクリックします。
Extract new/updated records from source app トリガーをクリックします。このトリガーでは、パイプラインがMixpanelからデータを取得する方法を定義します。
ソースアプリから新規/更新済みレコードを抽出トリガーを設定
Your Connected Source Apps ドロップダウンメニューを使用して、Mixpanel を選択します。
このパイプラインで使用するMixpanelのコネクションを選択します。または、+ 新規コネクションをクリックして、新しいコネクションを作成します。
オブジェクトを追加をクリックして、新しいオブジェクトを追加パネルを開きます。
オブジェクトを追加
利用可能なMixpanelオブジェクトの一覧を検索または参照し、同期するオブジェクトを選択して、Addをクリックします。
一部のオブジェクトにはMixpanelプランまたはアドオンが必要
使用しているMixpanelプランでサポートされているオブジェクトのみを選択してください。詳細はプランおよびアドオンの要件を参照してください。
任意。オブジェクトの横にある歯車アイコンをクリックして、そのSync mode設定を開きます。 Sync modeドロップダウンメニューを使用してFull syncまたはIncrementalを選択し、Saveをクリックします。
CohortsおよびAnnotationsの同期モードはデフォルトでFull syncになっており、インクリメンタル同期はサポートされていません。詳細については、同期モードを参照してください。
選択した各オブジェクトのスキーマを確認してカスタマイズします。パイプラインは、オブジェクトを選択するとそのオブジェクトのスキーマを自動的に取得します。これにより、デスティネーションがソースと一致します。
オブジェクトを展開して、関連フィールドを表示します。使用可能なすべてのデータを抽出するにはすべてのフィールドを選択したままにし、データ抽出とスキーマレプリケーションから除外するには特定のフィールドの選択を解除します。
任意。オブジェクトを展開し、各フィールドの処理方法を選択して、フィールドレベルのデータ保護を設定します。
- そのまま複製: ソースのデータ値が宛先に同一に複製されます。
- ハッシュ: 宛先に同期する前に、フィールド内の機密データ値をハッシュ化します。
Workatoでは、個人を特定できる情報(PII)やその他の機密フィールドをハッシュ化することを推奨します。 PIIが一般的に含まれるフィールドのリストについては、機密データの処理を参照してください。
オブジェクトを追加を再度クリックして、さらにオブジェクトを追加します。この手順を繰り返して、パイプラインにMixpanelのオブジェクトをさらに追加します。
任意。 Export lookbackフィールドに値を入力して、前回の同期終了時点より前のイベントを再取得し、遅延して到着したイベントを取りこぼさないようにします。この設定はExportオブジェクトに適用されます。デフォルトは0秒です。 Mixpanelはイベントを最大約24時間遅延させることがあります。値は0〜604800秒の範囲である必要があります。
任意。 Export date windowフィールドに値を入力して、パイプラインが各Exportクエリで要求するイベントの日数を設定します。デフォルトは30日で、値は1〜30日の範囲である必要があります。高トラフィックのプロジェクトでは、より小さいウィンドウを使用してください。
任意。 Funnel date windowフィールドに値を入力して、パイプラインが各Funnelsクエリで要求するデータの日数を設定します。デフォルトは15日で、値は1〜30日の範囲である必要があります。
任意。 Attribution windowフィールドに値を入力して、FunnelsオブジェクトのMixpanelファネルアトリビューションウィンドウを設定します。デフォルトは5日で、値は1〜90日の範囲である必要があります。
Group Profilesオブジェクトを同期する場合は、Group Analytics Data Group IDフィールドに数値のMixpanelデータグループIDを入力します。それ以外の場合は、このフィールドは空のままにします。
スキーマ変更の処理方法を選択ドロップダウンメニューを使用して、スキーマドリフトの処理オプションを選択します。
- 新しいフィールドを自動同期: ソースに追加された新しいフィールドを自動的に検出して同期します。
- 新しいフィールドをブロック: パイプラインの開始後、スキーマを固定します。新しいフィールドは手動で追加する必要があります。このオプションを使用すると、ソーススキーマが更新された場合に宛先が同期されなくなる可能性があります。
詳細については、スキーマのレプリケーションとスキーマドリフトの管理を参照してください。
MixpanelはイベントおよびプロファイルプロパティをJSON列として同期するため、新しいプロパティを追加しても宛先スキーマは変更されません。詳細はプロパティマップを参照してください。
任意。同時実行制限フィールドに値を入力して、同時実行操作数の上限を設定します。 Workatoで設定されたデフォルトクォータを使用するには、フィールドを空白のままにします。最大値は100です。
Frequency(頻度)フィールドで、標準の時間ベースのスケジュールを選択するか、カスタムcron式を定義します。これにより、パイプラインがMixpanelから送信先にデータを同期する頻度が決まります。
履歴開始日
開始日はExportおよびFunnelsオブジェクトに適用されます。フィールドを空のままにすると、パイプラインは利用可能なすべてのレコードではなく、直近365日分のイベントおよびファネルデータを取得します。その他のオブジェクトは、フル同期時にこの日付でフィルタリングされません。
サポートされるオブジェクト
Mixpanelデータパイプラインは、Mixpanel APIからデータを同期します。次の表に、サポートされているオブジェクトを示します。各オブジェクトは宛先内の個別のテーブルとして同期されます:
| オブジェクト | 同期モード | 削除追跡 | メモ |
|---|---|---|---|
Export | 完全同期、増分 | いいえ | 生イベント。 PIIを含みます。 |
Engage | 完全同期、増分 | いいえ | ユーザープロファイル。 PIIを含みます。 |
Cohort Members | 完全同期、増分 | いいえ | 保存済み各コホート内のプロファイル。 Query APIアクセスを含むMixpanelプランが必要です。 PIIを含みます。 |
Group Profiles | 完全同期、増分 | いいえ | 1つのグループキーに対するグループプロファイル。 Group Analyticsアドオンが必要です。ビジネス上機微なデータを含む場合があります。 |
Funnels | 完全同期、増分 | いいえ | 保存済み各ファネルの日ごとの結果。 Query APIアクセスを含むMixpanelプランが必要です。 |
Cohorts | Full sync | はい(宛先で推定) | 保存されたコホート定義。 Query APIアクセスを含むMixpanelプランが必要です。 |
Annotations | Full sync | はい(宛先で推定) | プロジェクトアノテーション。アノテーション作成者の名前が含まれます。 |
同期モード
Mixpanelデータパイプラインは、フル同期とインクリメンタル同期をサポートしています。各オブジェクトの同期モードについては、サポートされるオブジェクトの表を参照してください。
フル同期
フル同期では、オブジェクトの利用可能なすべてのレコードを読み取り、宛先側のレコードセットを置き換えます。 CohortsとAnnotationsはフル同期のみをサポートします。
ExportおよびFunnelsの場合、フル同期は、When first started, this pipeline should pick up records fromフィールドで設定した開始日から当日までの日付範囲を読み取ります。
増分同期
インクリメンタル同期では、前回の実行以降に変更されたレコードのみを読み取ります。 Mixpanelのインクリメンタル同期は、オブジェクトに応じて次のメカニズムを使用します。
Export: 前回の同期終了日からExport lookback値を差し引いた日付以降を開始点として、日付ウィンドウ単位でイベントを読み取ります。 Mixpanelはイベントの更新タイムスタンプを公開していないため、パイプラインはすでにMixpanelから返されたイベントの変更を検出できません。Engage、Cohort Members、Group Profiles: プロファイルの更新時刻としてMixpanelが管理する$last_seenプロパティが、前回の同期で取得した最大の$last_seen値より新しいプロファイルを読み取ります。Cohort Membersは、保存済み各コホートを個別に読み取ります。Funnels: 前回の同期が終了した日から開始して、保存済み各ファネルを日付ウィンドウ単位で読み取ります。
Mixpanelは、時間ではなく日単位でイベントとファネルをフィルタリングします。各インクリメンタル同期では前回同期の最終日を再度読み取るため、パイプラインがすでに同期したレコードがMixpanelから返される場合があります。各レコードを識別する主キーについては、列と主キーを参照してください。
削除追跡
削除の追跡はオブジェクトごとに行われ、同期モードに従います。
- フル同期オブジェクト:
CohortsおよびAnnotationsはフル同期で同期されます。 Mixpanelはこれらに対するネイティブな削除シグナルを公開していないため、Workatoは各フル同期の結果を前回の実行結果と比較し、Mixpanelに表示されなくなったレコードにフラグを付けます。 Workatoは削除が発生した時点ではなく、次回のフル同期時に削除を検出します。 - インクリメンタルオブジェクト:
Export、Engage、Cohort Members、Group Profiles、Funnelsは削除追跡をサポートしていません。Mixpanelが削除イベントを出力せず、インクリメンタル実行では変更されたレコードのみを読み取るためです。 Mixpanelでユーザープロファイルを削除すると、削除されるのはプロファイルプロパティのみです。ユーザーに紐づくトラッキングイベントは、匿名イベントとして残ります。
削除追跡は、消去依頼の代替にはなりません。消去依頼は、MixpanelのGDPR APIを通じて送信してください。
スキーマとデータ型の処理
Mixpanelからデータを同期する際のスキーマおよびデータ型に関する考慮事項は次のとおりです。
プロパティマップ
Mixpanelのイベントおよびプロファイルには、プロジェクトごとに異なるカスタムプロパティが含まれます。コネクタはオブジェクトごとに固定の列セットを使用し、各プロパティを個別の列に展開するのではなく、プロパティをJSON列として同期します。
Export:properties列には、カスタムプロパティを含むすべてのイベントプロパティが格納されます。Engage、Cohort Members、Group Profiles:$properties列には、カスタムプロパティを含むすべてのプロファイルプロパティが格納されます。Funnels:steps列およびanalysis列には、ファネル結果がJSONとして格納されます。Annotations:tags列には、アノテーションタグがJSONとして格納されます。
Mixpanel側で新しいプロパティを追加すると、そのプロパティはJSON列内に現れ、宛先スキーマは変更されません。個々のプロパティをクエリするには、宛先でJSON列を解析してください。
列と主キー
次の表に、各オブジェクトの列と主キーを示します。
| オブジェクト | 主キー | 列 |
|---|---|---|
Export | insert_id、time | event、distinct_id、insert_id、time、mp_processing_time_ms、properties |
Engage | distinct_id | distinct_id、last_seen、$properties |
Cohort Members | distinct_id、cohort_id | distinct_id、cohort_id、last_seen、$properties |
Group Profiles | distinct_id | distinct_id、last_seen、$properties |
Funnels | funnel_id、date | funnel_id、date、steps、analysis |
Cohorts | id | id、name、count、description、created、is_visible、project_id |
Annotations | id | id、date、description、user_id、user_first_name、user_last_name、tags |
イベント識別子
Mixpanelは、すべてのイベントに対してinsert_id値を保証しているわけではなく、各同期で前回同期の最終日を再読み込みするため、インクリメンタル同期で同じイベントが複数回返される場合があります。 Workatoは、Exportに対してinsert_idとtimeを主キーとして使用します。イベントにinsert_idが存在しない場合、WorkatoはイベントレコードのSHA-256ハッシュでinsert_id列を埋めます。
タイムスタンプ
Workatoによるタイムスタンプの扱いは次のとおりです。
- イベント
time: Mixpanelは秒単位のUnixタイムスタンプを返します。 Workatoは、タイムゾーンを調整せずにタイムスタンプとして同期します。 - プロファイル
last_seen: Mixpanelはタイムゾーンなしの値を返します。 Workatoは、コネクションのProject timezone、またはそのフィールドを空のままにした場合はUTCとして値を解釈し、UTCタイムスタンプとして同期します。 - Export date boundaries: Workatoは、同期の開始時刻と終了時刻をProject timezoneの暦日、またはフィールドを空のままにした場合はUTCの暦日に変換します。
機密データの処理
Mixpanelオブジェクトには、個人を特定できる情報 (PII) が含まれる場合があります。次のオブジェクトには、一般的に機密フィールドが含まれています。
| オブジェクト | 機密フィールド |
|---|---|
Export | distinct_id、properties ($user_id、$device_id、$city、$region、mp_country_code、およびメールアドレスなど、個人データを保持する任意のカスタムプロパティを含む場合があります) |
Engage | distinct_id、$properties ($name、$first_name、$last_name、$email、$phone、ロケーション、およびデバイスプロパティを含む場合があります) |
Cohort Members | distinct_id、$properties (Engageと同じプロパティ) |
Group Profiles | distinct_id、$properties (グループ名およびビジネス上機微なアカウントデータを含む可能性があるカスタムグループプロパティを含む場合があります) |
Annotations | user_first_name、user_last_name |
Mixpanelプロジェクトではカスタムプロパティに任意の個人データを保存できるため、properties列と$properties列は特にリスクが高くなります。各プロパティマップは1つの列であるため、フィールドレベルのデータ保護は個々のプロパティではなく、マップ全体に適用されます。どのプロパティに個人データが含まれているかを判断するために、これらの列の扱い方を決める前にMixpanelのトラッキングプランを確認してください。
パイプライン設定中にフィールドレベルのデータ保護でHashオプションを使用し、PIIが宛先に到達する前に保護します。詳細については、パイプラインを構成手順を参照してください。
制限事項
Mixpanelをデータパイプラインのソースとして使用する場合、次の制限事項が適用されます。
日付ウィンドウごとのエクスポートイベント上限
パイプラインは、各Export日付ウィンドウを1つのMixpanelクエリで要求し、Mixpanelはクエリごとに最大100,000件のイベントを許可します。パイプラインは、ウィンドウを分割したり、その内部でページ分割したりしません。高トラフィックのプロジェクトでは、各ウィンドウに含まれるイベント数が100,000未満になるように、Export date windowの値を小さくしてください。
プランおよびアドオンの要件
一部のオブジェクトには、特定のMixpanelプランまたはアドオンが必要です。
| オブジェクト | 要件 |
|---|---|
Funnels、Cohorts、Cohort Members | Query APIアクセスを含むMixpanelプラン (GrowthまたはEnterprise) |
Group Profiles | Group Analyticsアドオンと、Group Analytics Data Group IDフィールドの値 |
使用しているプランでサポートされているオブジェクトのみを選択してください。必要なプランがない状態でFunnels、Cohorts、Cohort Membersを選択すると、同期はThe Mixpanel project or plan does not permit this API requestというエラーで失敗します。 Group Analytics Data Group IDフィールドが空の場合、Group Profilesの同期は構成エラーで失敗します。
インクリメンタルイベントは更新されない
Mixpanelはイベントの更新タイムスタンプを公開していません。そのため、パイプラインはすでに同期済みのイベントに対する変更を検出できません。
タイムスタンプが変更されないプロファイル更新は検出されない
Engage、Cohort Members、Group Profilesのインクリメンタル同期は、$last_seenプロパティでフィルタリングします。 Mixpanelは、Mixpanel UIで行われた編集や、$ignore_timeをtrueに設定したAPI更新に対して$last_seenを更新しないため、インクリメンタル同期ではこれらの変更を取りこぼします。これらの変更を取得するには、フル同期を実行してください。
コホートメンバーシップの変更は検出されない
Cohort Membersのインクリメンタル同期は$last_seenでフィルタリングしますが、Mixpanelはプロファイル自体が変更された場合にのみ更新します。プロファイルがコホートに参加しても、その$last_seen値が前回の同期より新しくない限り見逃され、コホートから離脱したプロファイルは宛先に残り続けます。コホートメンバーシップを更新するには、フル同期を実行してください。
最小同期頻度
サポートされる最小同期間隔は15分です。
最終更新日: