レプリケーションジョブのトラブルシューティング

このページでは、Cloud Data Fusion レプリケーションジョブに関連する問題を解決する方法について説明します。

例外: ステージングバケットを作成できない

バケットの命名規則に違反した場合、レプリケーションジョブに失敗し、パイプラインログに次のエラーが発生することがあります。

Caused by: java.io.IOException: Unable to create staging bucket
BUCKET_NAME in project PROJECT_NAME.

必要に応じて、ステージングバケット名を指定できます。指定されていない場合、レプリケーションジョブがジョブ名に接尾辞を追加することで生成します。場合によっては、短いジョブ名を使用してこの問題を解決できます。詳細については、バケット名をご覧ください。

MySQL の `CONVERT_TO_NULL` 値が設定されていない

以前のバージョンの MySQL Connector/J （バージョン 5 など）を使用している場合、レプリケーションジョブは次のエラーで失敗します。

The connection property 'zeroDateTimeBehavior' only accepts values of the form:
'exception', 'round' or 'convertToNull'. The value 'CONVERT_TO_NULL' is not in
this set.

zeroDateTimeBehavior に指定できる値は、MySQL Connector/J のバージョン間で互換性がありません。

この問題を解決するには、MySQL Connector/J バージョン 8 以降を使用します。

レプリケーションと SQL Server Always On データベース

Microsoft SQL Server ソースは、Always On 読み取り専用レプリカから変更をキャプチャできます。この設定では、ランタイム引数 source.connector.database.applicationIntent=ReadOnly をレプリケーションジョブに渡す必要があります。このランタイム引数がないと、ジョブは次のエラーで失敗します。

Producer failure
java.lang.RuntimeException: com.microsoft.sqlserver.jdbc.SQLServerException:
Failed to update database "DATABASE_NAME" because the database is read-only.

この問題を解決するには、source.connector.database.applicationIntent=ReadOnly をランタイム引数として設定します。これにより、snapshot.isolation.mode が内部で snapshot に設定されます。

Dataproc 静的クラスタのレプリケーションエラー

レプリケーションジョブを実行すると、Dataproc クラスタノードからの SSL 接続に失敗し、java.lang.NullPointerException または Connection reset エラーが発生することがあります。

ERROR [SparkRunnerphase-1:i.c.c.i.a.r.ProgramControllerServiceAdapter@93] -
Spark program 'phase-1' failed with error: The driver could not establish a
secure connection to SQL Server by using Secure Sockets Layer (SSL) encryption.
Error: "Connection reset ClientConnectionId:ID"

このエラーは、Dataproc にインストールされている JDK バージョンで使用するように構成された Conscrypt SSL プロバイダが原因で発生します。

この問題を解決するには、Conscrypt SSL プロバイダを無効にして Java JDK のデフォルトの SSL プロバイダを使用します。Conscrypt SSL プロバイダを無効にするには、Dataproc クラスタを起動するときに次のクラスタプロパティを設定します。

--properties dataproc:dataproc.conscrypt.provider.enable=false

SQL Server のレプリケーションに、変更されたテーブルのすべての列が複製されない

SQL Server のテーブルからデータを複製する際に、レプリケーションソースのテーブルに新しく追加された列がある場合、変更データキャプチャ（CDC）テーブルに自動的に追加されません。基になる CDC テーブルに手動で列を追加する必要があります。

この問題を解決する方法は次のとおりです。

CDC インスタンスを無効にします。

EXEC sp_cdc_disable_table
@source_schema = N'dbo',
@source_name = N'myTable',
@capture_instance = 'dbo_myTable'
GO

CDC インスタンスをもう一度有効にします。

EXEC sp_cdc_enable_table
@source_schema = N'dbo',
@source_name = N'myTable',
@role_name = NULL,
@capture_instance = 'dbo_myTable'
GO

新しいレプリケーションジョブを作成します。

詳細については、ソーステーブルへの変更の処理をご覧ください。

ロールと権限のエラー

アクセス制御では次の問題が発生します。

Cloud Data Fusion サービスアカウントの権限に関する問題

Oracle Database を使用してレプリケーションジョブを実行すると、テーブルリストの取得に失敗し、次のエラーが発生することがあります。

Error io.grpc.StatusRuntimeException: PERMISSION_DENIED: Permission
'datastream.streams.get' denied on 'projects/PROJECT_NAME/locations/REGION/streams/STREAM_NAME'

Oracle データベースでレプリケーションジョブを実行すると、Cloud Data Fusion はバックエンドの Datastream サービスを使用します。 Datastream サービスを使用するために必要な権限を取得するには、Cloud Data Fusion サービスアカウントに対する Datastream 管理者（roles/datastream.admin）IAM ロールの付与を管理者に依頼してください。

変更データキャプチャを表示する権限がない

SQL Server からデータを複製すると、パイプラインログに次のエラーが表示されることがあります。

No whitelisted table has enabled CDC, whitelisted table list does not contain any
table with CDC enabled or no table match the white/blacklist filter(s)

この問題は、ソース接続プロパティに指定したユーザーが、レプリケートされたテーブルの変更データキャプチャ（CDC）を表示する権限を持っていない場合に発生します。これは、sys.sp_cdc_enable_table を使用してテーブルで CDC を有効にするときに role_name パラメータによって制御されます。

CDC を表示するために必要な権限を付与する方法については、テーブルで CDC を有効にする、sys.sp_cdc_enable_table をご覧ください。

ユーザー定義型権限の問題

レプリケーションジョブで使用されるデータベースユーザーにユーザー定義型（UDT）に対する権限がない場合、パイプラインログに次のエラーが表示されることがあります。

java.lang.IllegalArgumentException: The primary key cannot reference a non-existent
column'oid' in table TABLE_NAME

このエラーメッセージでは、oid 列が UDT になっている可能性があります。

この問題を解決するには、データベースで次のコマンドを実行してユーザーにアクセス権を付与します。

GRANT EXECUTE ON TYPE::UDT_NAME to YOUR_USER

SQL Server エージェントが実行されていない

SQL Server エージェントが実行されていない場合、パイプラインログに次のエラーが表示されることがあります。

No maximum LSN recorded in the database; please ensure that the SQL Server Agent
is running [io.debezium.connector.sqlserver.SqlServerStreamingChangeEventSource]

この問題を解決するには、SQL Server エージェントを起動します。詳細については、ご使用のオペレーティングシステムに応じて次のドキュメントを参照してください。

SQL Server レプリケーションパイプラインのバージョンが最新ではない

SQL Server レプリケーションパイプラインのバージョンが最新でない場合は、パイプラインログに次のエラーが表示されます。

Method io/cdap/delta/sqlserver/SqlServerDeltaSource.configure(Lio/cdap/delta/api/SourceConfigurer;) is abstract

このようなエラーは、以前のバージョンのソースプラグインが比較的新しいバージョンのデルタアプリで使われている場合に発生します。このような場合、新しいバージョンのデルタアプリで定義された新しいインターフェースが実装されていません。

この問題を解決する方法は次のとおりです。

HTTP GET リクエストを送信して、レプリケーションジョブに関する情報を取得します。
```
GET v3/namespaces/NAMESPACE_ID/apps/REPLICATOR_NAME
```
詳細については、レプリケーションジョブの詳細を表示するをご覧ください。
レプリケーションジョブで使用されているプラグインとデルタアプリのバージョンを確認します。
HTTP GET リクエストを送信して、使用可能なアーティファクトのリストを取得します。
```
GET /v3/namespaces/NAMESPACE_ID/artifacts
```
詳細については、利用可能なアーティファクトの一覧表示をご覧ください。

認証スコープが不十分な静的 Dataproc クラスタ

認証スコープが不十分な静的 Dataproc クラスタを使用している場合は、パイプラインログに次のエラーが表示されることがあります。

ERROR [worker-DeltaWorker-0:i.c.c.i.a.r.ProgramControllerServiceAdapter@92] - Worker
Program 'DeltaWorker' failed.
Caused by: io.grpc.StatusRuntimeException: PERMISSION_DENIED: Request had
insufficient authentication scopes.

この問題を解決するには、新しい静的 Dataproc クラスタを作成し、同じプロジェクトでこのクラスタの cloud-platform スコープを有効にします。

レプリケーション ジョブのトラブルシューティング

例外: ステージング バケットを作成できない

MySQL の CONVERT_TO_NULL 値が設定されていない