Fabric に別のバージョンの SynapseML をインストールする

SynapseML (Synapse Machine Learning) は、Microsoft Fabricにプレインストールされています。 特定のバージョンが必要な場合は、Fabric ノートブックの %%configure マジック コマンドを使用してオーバーライドできます。

簡単スタート

Prerequisites

開始する前に、次のリソースがあることを確認します。

SynapseML と Fabric ランタイムの互換性

Fabric ランタイム Spark バージョンに一致する SynapseML バージョンと Spark Avro JAR を選択します。

Maven Central で使用可能な SynapseML バージョンを確認できます。

%%configure を使用して SynapseML をインストールする

%%configure -f コマンドは、Maven パッケージ座標を含む Spark セッション プロパティを構成します。 -f フラグは、既存のセッションを強制的に再起動します。

Fabric Runtime 1.2 (Spark 3.4) の例

新しい Fabric ノートブックの最初のセルに次のコードを貼り付け、セルを実行します。

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

別のバージョンをインストールするには、 spark.jars.packagesのバージョン番号を置き換えます。

• synapseml_2.12:<version>: 必要な SynapseML バージョン (たとえば、 1.0.4)。
• spark-avro_2.12:<spark-version>: Fabric ランタイム Spark のバージョンと一致する必要があります (互換性テーブルを参照)。

Fabric Runtime 1.1 (Spark 3.3) の例

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:0.11.4,org.apache.spark:spark-avro_2.12:3.3.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

Spark の構成を確認する

セルが実行されたら、Spark セッションが構成を受け入れたことを確認します。 次のコードを新しいセルで実行します。

print(spark.conf.get("spark.jars.packages"))

期待される出力 (Runtime 1.2 の例の場合):

com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1

SynapseML のバージョンを確認する

インストールを確認するには、新しいセルで次のコードを実行します。 バージョン番号は、インストールしたバージョンと一致している必要があります。

import synapse.ml.lightgbm
print(f"SynapseML version: {synapse.ml.lightgbm.__version__}")

期待される出力 (Runtime 1.2 の例の場合):

SynapseML version: 1.0.8

既定のバージョンに戻す

プレインストールされている SynapseML バージョンに戻すには、 %%configure セルを削除し、ノートブック セッションを再起動します。

1. %%configure セルを削除またはコメント アウトします。
2. ノートブック ツール バーの [セッション>ストップ セッション ] を選択します。
3. 任意のセルを実行して、既定の構成で新しいセッションを開始します。

構成参照

%%configure ブロックには、次の Spark プロパティが含まれています。

Troubleshooting

%%configure セルが有効にならない

原因: %%configure セルが最初に実行されたセルではなかったか、Spark セッションが既にアクティブでした。

修正: セッション>ストップセッションを選択し、最初に %%configure セルを実行します。

JAR のダウンロードが失敗するか、タイムアウトする

原因: Maven リポジトリに到達できないか、バージョン座標が正しくありません。

修正: SynapseML バージョンが Maven Central に存在するかどうかを確認します。 spark-avroバージョンが Spark ランタイムのバージョンと一致することを確認します。

実行時の ClassNotFoundException または NoSuchMethodError

原因: SynapseML バージョンは、Fabric ランタイム Spark バージョンと互換性がありません。

修正: 互換性テーブル を使用して、正しいバージョンの組み合わせを選択します。

ImportError: 'synapse.ml' という名前のモジュールがありません

原因: SynapseML Python ラッパー パッケージがノートブック環境にインストールされていません。

修正: 新しいセルで、次のコマンドを実行します。

%pip install synapseml==1.0.8

1.0.8を、インストールした JAR に一致するバージョンに置き換えます。

バージョン番号がインストールされているバージョンと一致しない

原因: Python __version__属性は、synapseml pip パッケージから取得されます。これは、%%configureによってインストールされた JAR バージョンとは異なる場合があります。

修正: Spark 構成と pip パッケージのバージョンの両方を確認します。

# Check the JAR version from Spark config
print("JAR packages:", spark.conf.get("spark.jars.packages"))

# Check the pip package version
import synapse.ml.lightgbm
print("Pip package version:", synapse.ml.lightgbm.__version__)

バージョンが一致しない場合は、一致する pip パッケージをインストールします。

%pip install synapseml==1.0.8

関連コンテンツ

• SynapseML で LightGBM を使用する方法
• SynapseML で AI サービスを使用する方法
• SynapseML の有無にかかわらず、同じ分類タスクを実行する方法
• Fabric で Apache Spark ライブラリを管理する