Priser på Dataflow Gen2 for Data Factory i Microsoft Fabric

Dataflow Gen2 hjælper dig med at forme og transformere data med lethed. Det tilbyder en low-code grænseflade og over 300 indbyggede data- og AI-transformationer, alt sammen drevet af den velkendte Power Query-oplevelse, du finder i Excel, Power BI, Power Platform og Dynamics 365. Dataflow Gen2 understøtter også Spark-understøttet transformationsudførelse gennem mapping data flow (MDF)-transformationer for native og migrerede arbejdsbelastninger.

Denne pris gælder for alle Fabric-kapacitets-SKU'er (F2 og derover). Prissætning gælder ikke for Fabric prøvekapaciteter.

Når du publicerer et dataflow, oprettes der en definition, der kører under opdateringen. Dataflow Gen2-motoren bruger denne definition til at planlægge og administrere, hvordan forespørgsler kører på tværs af datakilder, gateways og compute-motorer. Den bygger tabeller i staging-lager eller sender dem til din valgte destination, så du får pålidelige resultater uden de tunge løft.

Diagrammet viser komponenter i Data Factory Dataflow Gen2-arkitekturen, herunder Lakehouse, der bruges til at iscenesætte data, der indlæses, og Warehouse-elementet, der bruges som en compute-motor til hurtigere at skrive resultater til staging eller output. Når du ikke kan bruge Warehouse compute, eller når du deaktiverer staging for en forespørgsel, udtrækker, transformerer eller indlæser Mashup Engine dataene til staging eller datadestinationer. For at lære mere om, hvordan Dataflow Gen2 fungerer, se Data Factory Spotlight: Dataflow Gen2.

Dataflow Gen2 kan udføre arbejdsbelastninger ved hjælp af enten Mashup Engine eller Spark Engine. Når MDF-transformationer bruges inde i Dataflow Gen2, anvendes Spark-understøttet beregning til transformationsudførelse og databehandling.

Når du opdaterer eller publicerer et Dataflow Gen2-element, forbruges Fabric Capacity Units til følgende programmer:

• Standardberegning: Du opkræves for det baseret på forespørgselsevalueringstiden på tværs af alle dine dataflowforespørgsler, der kører gennem miksprogrammet.
• Dataflowberegning i høj skala: Du opkræves, når midlertidig lagring er aktiveret, baseret på varigheden af forbruget af Lakehouse (midlertidigt lager) og lagersted (Storage Compute) SQL-programmet.
• Hurtig kopiering: Du debiteres, når hurtige kopieringsconnectorer er aktiveret og kan bruges i dataflowet baseret på kopieringsjobbets varighed.
• Spark Compute: Du bliver betalt baseret på Spark-eksekveringsvarighed og Spark-kerneforbrug, når MDF-transformationer udføres under pipeline-kørsler. MDF-transformarbejdsbelastninger i Dataflow Gen2 udføres i øjeblikket gennem Fabric Pipeline Dataflow-aktiviteten.

Prismodel for Dataflow Gen2

Hvordan prissatserne fastsættes

Priserne på Dataflow Gen2 afhænger af, hvordan hver forespørgsel bruger beregning. I forbindelse med standardberegning kører forespørgsler på miksprogrammet. Afhængigt af om dit dataflow er Dataflow Gen2 (CI/CD), varierer klassificeringen.

I Dataflow Gen2 (CI/CD) anvendes der en to-lags sats på forespørgslens varighed:

• Hvis en forespørgsel kører under 10 minutter, klassificeres den til 12 CU
• Hvis den kører længere, vurderes hvert ekstra sekund til 1,5 CU.

Hvis dit dataflow Gen2 er ikke-CI/CD, er hastigheden 16 CU anvendt på hele forespørgslens varighed.

For scenarier i høj skala – når stagingen er aktiveret – kører forespørgsler på Lakehouse- eller Warehouse SQL-motoren. Hvert sekund af beregningstiden bruger 6 CU-sekunder, så længere forespørgsler bruger mere.

Hvis du slår hurtig kopiering til, er der en separat hastighed for dataflytning: 1,5 CU, baseret på, hvor længe aktiviteten kører.

For MDF-transformarbejdsbelastninger opkræves du 1,5 CU pr. Spark-kerne-time baseret på Spark-eksekveringsvarigheden og antallet af Spark-kerner, der er tildelt til eksekveringen.

I slutningen af hver kørsel lægger Dataflow Gen2 CU-forbruget fra hvert program sammen og fakturerer det baseret på priserne på Fabric-kapacitet i dit område.

CU-ratetabel

Prisfastsættelse af virtuelle netværksdatagateways med Dataflow Gen2

VNET-datagatewayen (virtuelt netværk) faktureres som et additivt infrastrukturgebyr, der er knyttet til en Fabric-kapacitet. Det betyder, at den har sin egen måler og pådrager sig en regning, der er ensartet på tværs og ekstra til alle Fabric-varekørsler.

Den samlede regning for at køre Dataflow Gen2 gennem virtuelt netværk Data Gateway beregnes som: Dataflow Gen2 Charge + virtuelt netværk Data Gateway Charge.

virtuelt netværk Data Gateway Charge er proportional med din brug af virtuelt netværk Data Gateway, hvor forbruget defineres som oppetid, eller når virtuelt netværk Data Gateway er tændt.

virtuelt netværk Data Gateway CU-forbrugsrate: 4 CU

Få mere at vide under Priser og fakturering for virtuelt netværk Data Gateways.

Ændringer i arbejdsbelastningshastigheden for Microsoft Fabric

Forbrugssatserne kan ændres når som helst. Microsoft gør en rimelig indsats for at give besked via mail og meddelelse i produktet. Ændringerne træder i kraft på den dato, der er angivet i produktbemærkningerne og Microsoft Fabric-bloggen. Hvis en ændring af en Microsoft Fabric-arbejdsbelastningsforbrugsrate øger de kapacitetsenheder (CU), der kræves for at bruge en bestemt arbejdsbelastning, kan kunderne bruge de annulleringsmuligheder, der er tilgængelige for den valgte betalingsmetode.

Beregn estimerede omkostninger ved hjælp af Fabric Metrics-appen og dataflow-opdateringshistorikken

Microsoft Fabric Capacity Metrics-appen giver indblik i kapacitetsforbruget for alle Fabric-arbejdsområder, der er knyttet til en kapacitet. Den bruges af kapacitetsadministratorer til at overvåge ydeevnen af arbejdsbelastninger og deres forbrug sammenlignet med købt kapacitet. Brug af appen Metrics er den mest nøjagtige måde at estimere omkostningerne ved kørsler af Dataflow Gen2-opdateringer på. For at forstå, hvordan den lagdelte prissætning påvirkede dine standard beregningsomkostninger, skal du også bruge Dataflow opdateringshistorik.

Disse øvelser viser, hvordan du validerer omkostninger for både CI/CD- og ikke-CI/CD-dataflow. For CI/CD-dataflowet med standardberegning gives et gennemarbejdet eksempel, efterfulgt af instruktioner for alle andre scenarier.

Øvelse 1: Standardberegning for en CI/CD-dataflow

Følgende dataflow har to forespørgsler, der involverer transformation, og midlertidig lagring er deaktiveret.

Dataflow Gen2 bruger kun standardberegning.

For hver forespørgsel skal du få adgang til forespørgslens varighed fra Opdateringshistorik og anvende følgende formel til at beregne CU-forbruget pr. forespørgsel.

For den første forespørgsel er varigheden 2.131 sekunder.

På samme måde er varigheden for den anden forespørgsel 913 sekunder

StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)

For forespørgsel 1 er det beregnede forbrug 9497 CU-sekunder, og for forespørgsel 2 er det beregnede forbrug 7670 CU-sekunder.

Aggregere kapacitetsforbruget i CU-sekunder, og valider forbruget i appen Strukturkapacitetsmålepunkter. I dette scenarie viser målepunktsappen 17.180 CU-sekunder som standardberegningsforbrug, hvilket kan sammenlignes godt med det beregnede forbrug på 17.167 CU-sekunder. Eventuelle uoverensstemmelser kan skyldes afrunding i periodisk rapportering af brug.

Øvelse 2: Standardberegning for en ikke-CI/CD dataflow

Når dit dataflow involverer transformation og staging, er deaktiveret, bruger Dataflow Gen2 kun standardberegning.

For hver forespørgsel skal du få adgang til forespørgslens varighed fra Opdateringshistorik og anvende følgende formel til at beregne CU-forbruget pr. forespørgsel.

StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16

Aggregere kapacitetsforbruget i CU-sekunder, og valider forbruget i appen Strukturkapacitetsmålepunkter.

Øvelse 3: Forståelse af højt skala computeforbrug (både CI/CD og ikke-CI/CD dataflows)

Hvis dit dataflow bruger staging, for at finde ud af, hvor meget High Scale-beregning du har brugt, åbn Fabric Capacity Metrics-appen og filtrer efter navnet på dit Dataflow. Højreklik på navnet, se efter High Scale compute på listen over handlinger, og kontrollér varigheden.

HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6

Øvelse 4: Forståelse af hurtigt kopiforbrug (både CI/CD og ikke-CI/CD dataflow)

Hvis dit dataflow bruger hurtig kopi, for at finde ud af, hvor meget dataflytningsberegning du har brugt, åbn Fabric Capacity Metrics-appen og filtrer efter dit dataflows navn. Højreklik på navnet, se efter Dataflytning på listen over handlinger, og kontroller varigheden.

FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5

Øvelse 5: Forståelse af kortlægning af dataflow-transforms computeforbrug

Hvis din Dataflow Gen2 bruger MDF-transformationer, kan du gennemgå Spark-beregningsforbruget via Fabric Capacity Metrics-appen ved at filtrere på dit Dataflow Gen2-itemnavn og gennemgå de Spark-relaterede eksekveringsoperationer, der er forbundet med kørslen.

MDFTransformComputeConsumptionInCUSeconds = (SparkExecutionDurationInSeconds × NumberOfSparkCores × 1.5) / 3600

Eksempel:

30-minutters udførelse med 8 Spark-kerner:

(1800 × 8 × 1.5) / 3600 = 6 CU-seconds

Yderligere overvejelser:

• Spark-runtime-opstartstiden bidrager til den samlede eksekveringsvarighed.
• MDF transform compute forbrug er adskilt fra Mashup Engine, Fast Copy og High Scale Compute forbrug.
• MDF-transform-debug-sessioner bruger en fast 8-kernet Spark-konfiguration og bruger 12 CU for hver time af kørsel.

Relateret indhold

• Eksempelscenarier for priser
• Pipelines for prissætning