Instalar uma versão diferente do SynapseML no Fabric

O SynapseML (Synapse Machine Learning) está pré-instalado no Microsoft Fabric. Se precisares de uma versão específica, podes sobrepô-la usando o %%configure comando mágico num caderno Fabric.

Início rápido

Pré-requisitos

Antes de começar, certifique-se de que dispõe dos seguintes recursos:

Compatibilidade de runtime entre SynapseML e Fabric

Escolha a versão SynapseML e o Spark Avro JAR que correspondam à sua versão Spark em tempo de execução Fabric:

Pode encontrar versões disponíveis do SynapseML no Maven Central.

Instale o SynapseML com o %%configure

O %%configure -f comando configura as propriedades da sessão do Spark, incluindo as coordenadas do pacote Maven. A -f bandeira obriga a reiniciar a sessão existente.

Exemplo para Fabric Runtime 1.2 (Spark 3.4)

Cole este código na primeira célula de um novo caderno Fabric e execute a célula:

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

Para instalar uma versão diferente, substitua os números de versão em spark.jars.packages:

• synapseml_2.12:<version>: a versão SynapseML que pretende (por exemplo, 1.0.4).
• spark-avro_2.12:<spark-version>: deve corresponder à sua versão do Spark em tempo de execução Fabric (ver tabela de compatibilidade).

Exemplo para Fabric Runtime 1.1 (Spark 3.3)

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:0.11.4,org.apache.spark:spark-avro_2.12:3.3.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

Verifique a configuração do Spark

Depois de a célula ser executada, verifique se a sessão Spark aceitou a configuração. Execute este código numa nova célula:

print(spark.conf.get("spark.jars.packages"))

Saída esperada (para o exemplo do Runtime 1.2):

com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1

Verifique a versão do SynapseML

Para verificar a instalação, execute o seguinte código numa célula nova. O número de versão deve corresponder à versão que instalaste.

import synapse.ml.lightgbm
print(f"SynapseML version: {synapse.ml.lightgbm.__version__}")

Saída esperada (para o exemplo do Runtime 1.2):

SynapseML version: 1.0.8

Reverter à versão padrão

Para reverter à versão pré-instalada do SynapseML, remova a %%configure célula e reinicie a sessão do notebook:

1. Elimina ou comenta a %%configure célula.
2. Selecione Sessão>Interromper sessão na barra de ferramentas do caderno.
3. Executa qualquer célula para iniciar uma nova sessão com a configuração padrão.

Referência de configuração

O %%configure bloco inclui as seguintes propriedades Spark:

Troubleshooting

A célula de código %%configure não tem efeito

Causa: A célula %%configure não foi a primeira a ser executada, ou já existia uma sessão Spark ativa.

Correção: Selecione Sessão>Parar a sessão e depois execute a %%configure célula primeiro.

Falha ou expira o download do JAR

Causa: O repositório Maven está inacessível, ou as coordenadas da versão estão incorretas.

Correção: Verificar se a versão SynapseML existe no Maven Central. Verifica se a spark-avro versão corresponde à tua versão de runtime do Spark.

ClassNotFoundException ou NoSuchMethodError em tempo de execução

Causa: A versão SynapseML não é compatível com a versão Spark em tempo de execução do Fabric.

Correção: Use a tabela de compatibilidade para selecionar a combinação correta de versões.

ImportError: Nenhum módulo chamado 'synapse.ml'

Causa: O pacote wrapper SynapseML Python não está instalado no ambiente do notebook.

Correção: Numa célula nova, executa:

%pip install synapseml==1.0.8

Substitui 1.0.8 pela versão que corresponde ao JAR que instalaste.

O número de versão não corresponde à versão instalada

Causa: O atributo Python __version__ vem do synapseml pacote pip, que pode diferir da versão JAR instalada por %%configure.

Correção: Verifique tanto a configuração do Spark como a versão do pacote pip:

# Check the JAR version from Spark config
print("JAR packages:", spark.conf.get("spark.jars.packages"))

# Check the pip package version
import synapse.ml.lightgbm
print("Pip package version:", synapse.ml.lightgbm.__version__)

Se as versões não coincidirem, instala o pacote pip correspondente:

%pip install synapseml==1.0.8

Conteúdo relacionado

• Como usar LightGBM com SynapseML
• Como usar serviços de IA com SynapseML
• Como executar a mesma tarefa de classificação com e sem SynapseML
• Gerencie bibliotecas Apache Spark em Fabric