Oracleをデータパイプラインソースとして設定
Oracleをデータパイプラインのソースとして設定し、レコードを抽出して宛先に同期します。このガイドには、Change Data Capture(CDC)のためのデータベース準備、コネクションのセットアップ、パイプライン構成、およびOracleをソースとして使用する場合の主要な挙動が含まれます。
サポート対象のOracle機能
Oracleをデータパイプラインソースとして使用する場合、次の機能がサポートされます。
- Oracleデータベーステーブルからのデータ抽出
- 完全同期および増分同期のサポート
- Oracle LogMinerを使用した増分同期用のChange Data Capture(CDC)
- テーブル抽出のフィールドレベル選択
- スキーマドリフトの検出と処理
- フィールドレベルのデータマスキング
Oracleの前提条件
Oracleコネクションを作成する前に、次の設定があることを確認してください。
Oracleデータベースインスタンスへのアクセス
パイプラインで使用されるテーブルへの読み取りアクセス権を持つデータベースユーザー
次のコネクション詳細:
- データベースホスト
- データベースポート(通常は
1521) - データベース名(SIDまたはサービス名)
- データベースのユーザー名とパスワード
Oracleデータベースがプライベートネットワーク内で実行されている場合は、オンプレミスエージェントが設定され、アクティブであることを確認してください。
CDCには次の追加要件があります。
- バージョン34.0以降で動作するオンプレミスエージェント
- パイプラインが変更を読み取るまでCDCの変更内容を保存できるだけのディスク容量を持つオンプレミスエージェントホスト
- CDC用に準備されたOracleデータベース。セットアップ手順については、Enable Change Data Captureを参照してください。
Change Data Captureの有効化
Change Data Capture(CDC)による増分同期は、Oracle LogMinerを使用してデータベースのアーカイブログからINSERT、UPDATE、DELETEを読み取ります。テーブルに対してCDCを選択できるようにするには、事前にデータベース管理者がデータベースを準備しておく必要があります。
特に指定がない限り、このセクションのステートメントはCDB$ROOTのSYSDBAとして実行してください。サンプル名C##CDCUSERおよびMYPDBは、ご使用の名前に置き換えてください。
ARCHIVELOGモードの有効化
データベースをARCHIVELOGモードにするには、次のステートメントを実行します。これらのステートメントにより、データベースが再起動されます。
SHUTDOWN IMMEDIATE;
STARTUP MOUNT;
ALTER DATABASE ARCHIVELOG;
ALTER DATABASE OPEN;アーカイブ先に、リドゥ量と保持期間に対して十分な空き容量があることを確認します。
補助ログの有効化
最小限の補助ログを有効にするには、次のステートメントを実行します。 CDCにはこの設定が必須です。
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;データベース内のすべてのテーブルについて全カラム補助ログを有効にするには、次のステートメントを実行します。
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;あるいは、CDCで同期する予定のテーブルに対してのみ全カラム補助ログを有効にします。次のステートメントをプラガブルデータベース(PDB)で実行し、各テーブルごとにALTER TABLEステートメントを繰り返します。
ALTER SESSION SET CONTAINER = MYPDB;
ALTER TABLE HR.EMPLOYEES ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;CDCユーザーの作成
CDCには、名前がC##で始まる共通ユーザーが必要です。ユーザーを作成してLogMinerアクセスを付与するには、CDB$ROOTで次のステートメントを実行します。
CREATE USER C##CDCUSER IDENTIFIED BY "<password>"
DEFAULT TABLESPACE USERS QUOTA UNLIMITED ON USERS
CONTAINER = ALL;
GRANT CREATE SESSION TO C##CDCUSER CONTAINER = ALL;
GRANT SET CONTAINER TO C##CDCUSER CONTAINER = ALL;
GRANT LOGMINING TO C##CDCUSER;
GRANT EXECUTE_CATALOG_ROLE TO C##CDCUSER;
GRANT SELECT ON SYS.V_$DATABASE TO C##CDCUSER;
GRANT SELECT ON SYS.V_$PARAMETER TO C##CDCUSER;
GRANT SELECT ON SYS.V_$LOG TO C##CDCUSER;
GRANT SELECT ON SYS.V_$LOGFILE TO C##CDCUSER;
GRANT SELECT ON SYS.V_$ARCHIVED_LOG TO C##CDCUSER;
GRANT SELECT ON SYS.V_$LOGMNR_LOGS TO C##CDCUSER;
GRANT SELECT ON SYS.V_$LOGMNR_CONTENTS TO C##CDCUSER;
GRANT SELECT ON SYS.V_$TRANSACTION TO C##CDCUSER;同期する予定のテーブルを含むPDBで、次のステートメントを実行します。
ALTER SESSION SET CONTAINER = MYPDB;
GRANT SELECT ON SYS.V_$DATABASE TO C##CDCUSER;
GRANT SELECT ANY TABLE TO C##CDCUSER;SELECT ANY TABLEの代わりに、同期する予定の各テーブルに対してSELECTを付与することもできます。
アーカイブログ保持の構成
CDCはアーカイブログからデータ変更を読み取るため、パイプライン実行間もログが利用可能な状態で保持されている必要があります。ログを数時間から数日間保持するポリシーを構成します。次のOracle Recovery Manager(RMAN)コマンドは、リカバリウィンドウを4日間に設定します:
CONFIGURE RETENTION POLICY TO RECOVERY WINDOW OF 4 DAYS;接続方法
Oracleコネクションを作成するには、次の手順を実行します。
ステップ1: Oracleデータベースユーザーを設定する
最低限、データベースユーザーアカウントには、コネクション設定で指定されたデータベースに対するSELECT権限が必要です。権限を設定するには、次の例を参照してください。
権限の設定方法を確認するには、ここをクリックしてください
Oracleインスタンス内の名前付きスキーマ(
HR_PROD)に、新しいデータベースユーザーWORKATOを使用して接続する場合、次のサンプルクエリを使用できます。まず、Workatoでの連携ユースケース専用の新しいユーザーを作成します。
CREATE USER WORKATO IDENTIFIED BY password次に、このユーザーに
CONNECTを付与します。GRANT CONNECT TO WORKATO;これにより、ユーザーはOracleインスタンスへのログインアクセス権を持つことができます。ただし、このユーザーはどのテーブルにもアクセスできません。
次のステップでは、
HR_PRODスキーマのSUPPLIERテーブルへのアクセス権を付与します。この例では、SELECT権限とINSERT権限のみを付与します。GRANT SELECT,INSERT ON HR_PROD.SUPPLIER TO WORKATO;最後に、このユーザーに必要な権限があることを確認します。すべての権限付与を確認するクエリを実行します。
SELECT * FROM DBA_ROLE_PRIVS WHERE GRANTEE = 'WORKATO'; SELECT * FROM DBA_TAB_PRIVS WHERE GRANTEE = 'WORKATO';これにより、WorkatoでOracleコネクションを作成するための次の最小権限が返されます。
+---------+--------------+--------------+--------------+ | GRANTEE | GRANTED_ROLE | ADMIN_OPTION | DEFAULT_ROLE | +---------+--------------+--------------+--------------+ | WORKATO | CONNECT | NO | YES | +---------+--------------+--------------+--------------+> +---------+---------+------------+---------+-----------+-----------+-----------+ | GRANTEE | OWNER | TABLE_NAME | GRANTOR | PRIVILEGE | GRANTABLE | HIERARCHY | +---------+---------+------------+---------+-----------+-----------+-----------+ | WORKATO | HR_PROD | SUPPLIER | ROOT | SELECT | NO | NO | | WORKATO | HR_PROD | SUPPLIER | ROOT | INSERT | NO | NO | +---------+---------+------------+---------+-----------+-----------+-----------+ 3 rows in set (0.61 sec)
CDCでテーブルを同期する場合は、代わりにCreate the CDC userで作成した共通ユーザーを使用してください。
ステップ2: OracleをWorkatoに接続する
OracleをWorkatoに接続するには、次の手順を実行します。
Workatoは次のOracleコネクションタイプをサポートしています:
- クラウドコネクション:Oracleデータベースがパブリックインターネット経由でアクセス可能な場合は、このオプションを使用します。
- オンプレミスエージェントコネクション:Oracleデータベースがプライベートネットワークで実行されており、接続を確立するためにオンプレミスエージェント(OPA)が必要な場合は、このオプションを使用します。
クラウドコネクション
Cloudコネクションを使用してOracleに接続するには、次の手順を実行します:
作成 > コネクションをクリックします。
新規コネクションページでOracle を検索して選択します。
コネクション名フィールドにコネクションの名前を入力します。
ロケーションドロップダウンメニューを使用して、コネクションを保存するプロジェクトを選択します。
Connection typeフィールドでCloudを選択します。
Database hostフィールドにデータベースホストアドレスを入力します。
サーバーが実行されているDatabase portの番号(通常は1521)を入力します。
Step 1で作成したデータベースユーザーのUser nameを入力します。
データベースユーザーのPasswordを入力します。
任意。 Schemaフィールドにデータベーススキーマを入力します。
任意。 Advanced settingsを展開して、追加のコネクションオプションを設定します。
任意。 TLS(TCPS)または相互TLS(mTLS)で接続するには、SSL settings を展開します。
| フィールド | 説明 |
|---|---|
| サーバー証明書 | データベースサーバーのX.509 CA証明書を.pem形式で指定します。例: Amazon RDSのCertificate bundles。空白のままにする場合、サーバー証明書は一般に信頼された認証局によって発行されている必要があります。 |
| SSL証明書 | mTLS用に.pem形式のX.509クライアント証明書を指定します。 SSL certificate key が必要です。 |
| SSL証明書キー | RSAクライアントキーを.pem形式で指定します。 SSL certificate が必要です。 |
| すべて信頼 | クライアントが任意の証明書チェーンを信頼するかどうかを指定します。自己署名サーバー証明書がサポートされています。この設定を有効にすると、WorkatoはServer certificate を無視します。 |
| ホストを検証 | サーバー証明書内の名前をデータベースホストと照合するかどうかを指定します。 Trust all が有効になっている場合を除き、デフォルトで有効です。 |
いずれかのSSLフィールドを設定すると、WorkatoはTLSで接続し、TLSが失敗しても暗号化されていないコネクションにはフォールバックしません。 TLSを使用せずに接続するには、すべてのSSLフィールドを空白のままにします。 TLSを使用する場合は、Database port フィールドにデータベースのTCPSリスナーポートを入力します。
ORACLE AUTONOMOUS DATABASE
mTLSでOracle Autonomous Databaseに接続するには、SSL certificate と SSL certificate key を指定し、Server certificate は空白のままにします。そのサーバー証明書は公開された認証局にチェーンされています。
接続をクリックします。
オンプレミスエージェントコネクション
Oracleデータベースがインターネットから直接アクセスできないプライベートネットワークに配置されている場合は、オンプレミスエージェントコネクションを使用します。
オンプレミスエージェント(OPA)を使用してOracleに接続するには、次の手順を実行します:
作成 > コネクションをクリックします。
新規コネクションページでOracle を検索して選択します。
コネクション名フィールドにコネクションの名前を入力します。
ロケーションドロップダウンメニューを使用して、コネクションを保存するプロジェクトを選択します。
Connection typeフィールドでon-prem groupを選択します。
Database typeを選択します。使用可能なオプションには、Service name、SID、TNSがあります。
SIDおよびTNSデータベースタイプには、オンプレミスエージェントバージョン27.1以降が必要です。
詳細については、Database typesセクションを参照してください。
選択したDatabase typeに基づいて、次のフィールドを指定します:
Database typeとしてService nameまたはSIDを選択した場合は、次のフィールドに入力します:
Database hostフィールドにデータベースホストアドレスを入力します。
サーバーが実行されているDatabase portの番号(通常は1521)を入力します。
Step 1で作成したデータベースユーザーのUser nameを入力します。
データベースユーザーのPasswordを入力します。
任意。 Schemaフィールドにデータベーススキーマを入力します。
任意。 Advanced settingsを展開して、追加のコネクションオプションを設定します。
任意。 Pooling settingsを展開して、Oracleデータベースコネクションプーリングを設定します。
任意。 Additional properties for Oracle connectionを展開して、カスタムOracleコネクションパラメータを追加します。
接続をクリックします。
CDC用コネクション要件
CDCに使用するコネクションは、次の要件を満たす必要があります。
- on-prem agent connectionを使用します。
- User nameフィールドに、Create the CDC userで作成した共通ユーザーを入力します。
CDB$ROOTに接続します。 CDCはPDBへのコネクションをサポートしていません。- 特定のPDBからデータを取得するには、
pdb_nameプロパティを追加します。 Additional properties for Oracle connectionを展開し、Add parameterをクリックして、キーにpdb_name、値に対象のPDB名を入力します。
pdb_nameプロパティの追加
データベースタイプ
Workatoは、Oracleコネクションの作成時にコネクションタイプフィールドでオンプレミスグループを選択した場合にのみ、データベースタイプフィールドを表示します。
コネクションの設定手順については、ステップ2:OracleをWorkatoに接続するを参照してください。
オンプレミスエージェント(OPA)経由で接続する場合は、次のデータベースタイプオプションのいずれかを選択します。
サービス名
サービス名を使用して、Oracleインスタンス内のデータベースサービスに接続します。例:ORCLPDB1。
ORACLE 12C+ PDB Environment
マルチテナントアーキテクチャ(CDB/PDB)を使用するOracle 12c以降のEnvironmentでは、SIDではなくサービス名を使用することをお勧めします。
これらのEnvironmentでは:
- SIDコネクションはCDBルートコンテナーに接続する場合があります
- サービス名コネクションは、特定のプラガブルデータベース(PDB)に接続できます
データベースユーザーがPDBに存在する場合、ユーザー名とパスワードが正しくても、CDBルート経由で接続すると認証に失敗することがあります。
サービス名を使用して、コネクションが正しいPDBを対象にするようにします。
サービス名には次の特徴があります:
- Oracleリスナーに登録されているデータベースサービスにマッピングする
- Real Application Clustersおよびロードバランシングをサポートする
- 特定のインスタンスではなく論理データベースサービスを識別する
ほとんどの最新のOracleデプロイメントでは、このオプションを使用します。
SID
SID(System Identifier)を使用して、特定のOracleデータベースインスタンスに接続します。例:ORCL。
SIDには次の特徴があります:
- 単一のOracleデータベースインスタンスを識別する
- ロードバランシングをサポートしない
- 古いOracleデプロイメントで一般的に使用される
DBAがサービス名ではなくSIDを提供する場合は、このオプションを使用します。
TNS
TNSは、完全なOracle Net接続記述子がある場合に使用します。
TNS定義には次の特徴があります:
tnsnames.oraファイルで定義されたコネクションエントリを参照する- 基盤となるコネクションの詳細を抽象化する
- 内部でSIDまたはサービス名を使用する場合がある
- ロードバランシングや高可用性などの高度な設定をサポートする
TNS定義フィールドに完全なTNS記述子を入力します。例:
(DESCRIPTION=
(ADDRESS=(PROTOCOL=TCP)(HOST=db.example.com)(PORT=1521))
(CONNECT_DATA=
(SERVICE_NAME=ORCLPDB1)
)
)パイプラインの設定
Oracleをデータパイプラインソースとして設定するには、次の手順を実行します。
Workatoアカウントに戻ります。
作成 > データパイプラインを選択するか、C+Iを押します。
データパイプライン名フィールドにデータパイプラインの名前を入力します。
データパイプライン設定
ロケーションドロップダウンメニューを使用して、データパイプラインを保存するプロジェクトを選択します。
ビルドを開始をクリックします。
Extract new/updated records from source app トリガーをクリックします。このトリガーは、パイプラインがソースアプリケーションからデータを取得する方法を定義します。
Extract new/updated records from source appトリガーを設定
接続済みのソースアプリドロップダウンメニューを使用して、Oracleを選択します。
このパイプラインに使用するOracleコネクションを選択します。または、+ 新規コネクションをクリックして、新しいコネクションを作成します。
Oracleコネクションを選択
オブジェクトを追加をクリックして、オブジェクトモーダルを開きます。
Add object(オブジェクトを追加)
使用可能なOracleテーブルのリストを検索または参照し、同期するテーブルを選択します。
Addをクリックします。
選択した各テーブルのスキーマを確認し、カスタマイズします。パイプラインは、選択した各テーブルのスキーマを自動的に取得し、宛先がソースと一致するようにします。
オブジェクトを展開
テーブルを展開して、そのフィールドを表示できます。使用可能なすべてのデータを抽出するには、すべてのフィールドを選択したままにします。特定のフィールドを抽出およびスキーマレプリケーションから除外するには、そのフィールドの選択を解除します。
各テーブルの同期設定を構成します。
テーブルの横にある設定(歯車)アイコンをクリックします。
同期設定を構成
同期モードを選択します:
同期設定の変更による影響を確認します。
完全な再同期の動作
同期モードまたは変更追跡列を変更すると、次回のパイプライン実行時に影響を受けるテーブルの完全な再同期がトリガーされます。
完全な再同期中、パイプラインはそのテーブルのすべてのレコードを再読み込みします。このプロセスにより、実行時間が長くなり、宛先にある既存のデータが再処理される可能性があります。
同じフローを使用して追加のテーブルを追加するには、もう一度オブジェクトを追加をクリックします。
スキーマ変更の処理方法を選択ドロップダウンメニューを使用して、スキーマドリフトの処理オプションを選択します。
- 新しいフィールドを自動同期: ソースに追加された新しいフィールドを自動的に検出して同期します。
- 新しいフィールドをブロック: パイプラインの開始後、スキーマを固定します。新しいフィールドは手動で追加する必要があります。このオプションを使用すると、ソーススキーマが更新された場合に宛先が同期されなくなる可能性があります。
詳細については、スキーマのレプリケーションとスキーマドリフトの管理を参照してください。
Frequency(頻度)フィールドで、標準の時間ベースのスケジュールを選択するか、カスタムcron式を定義します。これにより、パイプラインがOracleから送信先にデータを同期する頻度が決まります。
サポートされるOracleテーブル
Oracleコネクターは、接続済みのOracleデータベースインスタンスで使用可能なほとんどのテーブルをサポートしています。 Workatoは、パイプライン設定中に使用可能なオブジェクトを入力するために、Oracleデータベースからテーブルメタデータとスキーマ情報を取得します。
選択可能なテーブルは、次によって異なります。
- Oracleデータベースで設定されているスキーマ
- コネクションに使用されるデータベースユーザーに付与された権限
CDC同期の挙動
パイプラインの初回実行が開始されると、CDCの変更収集が開始されます。初回実行では、CDC対象テーブルごとにフル同期を実行します。その後の実行では、前回の実行以降の変更のみを抽出し、宛先テーブルに適用します。
オンプレミスエージェントは、パイプラインから要求があるまでCDCの変更をディスク上に保存します。各パイプラインは、それぞれ独自のLogMinerセッションを実行します。パイプラインが少なくとも二回分の同期間隔にわたって変更を要求しない場合、エージェントはLogMinerセッションを停止します。
オンプレミスグループに複数のエージェントがある場合でも、LogMinerセッションを実行するのは一つのエージェントのみです。稼働中のエージェントが障害発生または到達不能になった場合、パイプラインはグループ内の別のエージェントにフェイルオーバーします。
Oracleの制限事項
CDCには次の制限が適用されます。
- CDCは
LOBおよびXMLTypeカラムの内容を取得しません。 - CDCは
MAX_STRING_SIZE = EXTENDEDで構成されたデータベースをサポートしません。 - CDCはOracle ASM、RAC、TDE環境をサポートしません。
- スキーマ名、テーブル名、およびカラム名は30文字を超えることはできません。
- テーブル名とスキーマ名は大文字小文字を区別しません。
- CDCで配信されるのは
INSERT、UPDATE、DELETEの変更のみです。TRUNCATEなどのデータを変更するDDLステートメントは、変更として配信されません。 - ご利用のデータベースバージョンにおけるOracle LogMinerの制限事項も適用されます。
CDCのトラブルシューティング
CDCのエラーおよび警告は、オンプレミスエージェントのログとデータパイプラインUIに表示されます。
次のCDCエラーを解消します。
| エラー | 原因 | ソリューション |
|---|---|---|
Could not find a log file with a dictionary dump before SCN ... | アーカイブログが削除されているか、まだアーカイブされていません。 | パイプラインを再作成します。 |
CDC delta is missing for table <table_name>. Please perform full re-sync | LogMinerセッションが、テーブルの最終読込位置より後の位置から再開しました。 | テーブルをRe-syncします。 |
Cannot modify parameters of a running CDC session | CDCセッションの実行中にテーブル一覧が変更されました。 | パイプラインを停止してから、再度開始します。 |
次の警告は、CDCが遅延していることを示します。
| 警告 | 原因 | ソリューション |
|---|---|---|
CDC batch extraction took ... s (exceeds the threshold ...)` | 変更抽出がデータベースの変更に追いついていません。 | パイプライン内のテーブル数を減らすか、オンプレミスエージェントのCPU、メモリ、ディスクを増強します。しきい値を変更するには、Additional properties for Oracle connectionでcdc_source_lag_warn_threshold_msプロパティを追加します。デフォルト値は300000 msです。 |
Unconsumed CDC data for table ... is ... MiB (exceeds the configured threshold ...)` | パイプラインがCDCの変更を読む速度よりも、変更が蓄積される速度の方が速くなっています。 | パイプラインの同期頻度を上げます。しきい値を変更するには、Additional properties for Oracle connectionでcdc_store_backlog_warn_threshold_mbプロパティを追加します。デフォルト値は1024 MBです。 |
最終更新日:
同期ストラテジーの選択
同期設定を構成
同期設定を構成