サポートされていないプログラム タイプに関するエラーのトラブルシューティング

このページでは、データ パイプラインが Cloud Data Fusion でサポートされていないプログラム タイプ エラーで失敗するという Cloud Data Fusion 6.8.0 と 6.8.1 での既知の問題を解決する方法について説明します。この問題は、バージョン 6.8.2 で解決されています。

パイプラインの開始時間を短縮するために、Cloud Data Fusion バージョン 6.8.0 と 6.8.1 のインスタンスは、Cloud Storage バケット内の Dataproc クラスタでパイプラインを開始するために必要なアーティファクトをキャッシュに保存します。キャッシュに保存されたアーティファクトの 1 つは application.jar です。パイプラインの実行順序によっては、一部のパイプラインが次のエラーで失敗する場合があります。

Unsupported program type: Spark

たとえば、新しい 6.8.1 インスタンスを作成（または 6.8.1 にアップグレード）した後、アクションのみを含むパイプラインを初めて実行すると、成功します。 ただし、ソースやシンクを含む次のパイプラインの実行は、このエラーで失敗する場合があります。

おすすめの設定

この問題を解決するには、以下のいずれかを行います。

次のいずれかでキャッシュを無効にできます。

  • インスタンス内のすべてのパイプラインの場合。
  • 特定の名前空間の場合。
  • 障害が発生したパイプラインを含む特定の Dataproc プロファイルの場合。
  • 障害が発生したパイプラインのみの場合。

インスタンス内のすべてのパイプラインで Cloud Storage キャッシュを無効にする

インスタンス内のすべてのパイプラインで Cloud Storage キャッシュを無効にするには、次の手順を行います。

コンソール

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion ウェブ インターフェースでインスタンスを開くには、[Instances] をクリックしてから、[View instance] をクリックします。

      [インスタンス] に移動

  2. [システム管理者] > [システム設定] をクリックし、system.profile.properties.gcsCacheEnabled の値を false. に設定します。

    設定ダイアログ

REST API

system.profile.properties.gcsCacheEnabled を false に設定するには、設定をご覧ください。

特定の名前空間で Cloud Storage のキャッシュを無効にする

特定の名前空間で Cloud Storage のキャッシュを無効にするには、次の手順を行います。

コンソール

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion ウェブ インターフェースでインスタンスを開くには、[Instances] をクリックしてから、[View instance] をクリックします。

      [インスタンス] に移動

  2. [システム管理者] > [名前空間] をクリックし、名前空間を選択します。

  3. [設定] > [編集] をクリックし、system.profile.properties.gcsCacheEnabled の値を false に設定します。

    名前空間の環境設定ダイアログ

REST API

REST API を使用して設定するには、設定をご覧ください。

Dataproc プロファイルの Cloud Storage キャッシュを無効にする

障害が発生したパイプラインを含む特定の Dataproc プロファイルの Cloud Storage キャッシュを無効にするには、次の手順を行います。

コンソール

  • Dataproc プロファイルで gcsCacheEnabled を false に設定します。

障害が発生したパイプラインでのみ Cloud Storage キャッシュを無効にする

障害が発生したパイプラインに対してのみ Cloud Storage のキャッシュを無効にするには、次の手順を行います。

コンソール

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion ウェブ インターフェースでインスタンスを開くには、[Instances] をクリックしてから、[View instance] をクリックします。

      [インスタンス] に移動

  2. [リスト] をクリックし、障害が発生したパイプラインを選択します。
  3. [実行] の横にある [展開] をクリックし、ランタイム引数 system.profile.properties.gcsCacheEnabled を false に設定します。
  4. その他の障害が発生したパイプラインについて同じ手順を繰り返します。

ランタイム ダイアログ

REST API

Cloud Storage のキャッシュ保存は、REST API を使用してパイプラインを開始するときに無効にできます。また、必要に応じて、リクエスト本文にランタイム引数を JSON マップとして指定することで無効にすることもできます。詳細については、プログラムの起動をご覧ください。