Multivariat anomalidetektion i Microsoft Fabric - oversigt

Hvad er multivariat anomali-detektion?

Univariat anomalidetektion, som implementeres af KQL-funktionen series_decompose_anomalies(), overvåger og opdager anomalier i en enkelt variabel over tid. Multivariat anomalidetektion udvider denne tilgang ved at opdage anomalier i den fælles fordeling af flere variable over tid – hvilket betyder, at den analyserer, hvordan variablerne relaterer sig til og påvirker hinanden som gruppe, i stedet for at undersøge hver variabel isoleret. Multivariat anomali-detektion er nyttig til at overvåge sundheden af komplekse IoT-systemer, opdage svindel i finansielle transaktioner og identificere usædvanlige mønstre i netværkstrafikken.

For eksempel, overvej et system, der overvåger ydeevnen af en bilflåde. Systemet indsamler data om forskellige målepunkter, såsom hastighed, brændstofforbrug og motortemperatur. Ved at analysere disse metrikker sammen kan systemet opdage anomalier, som ikke ville være tydelige, hvis man analyserer hver enkelt metrik individuelt. Alene kan en stigning i brændstofforbruget skyldes forskellige acceptable årsager. Dog kan en pludselig stigning i brændstofforbruget kombineret med et fald i motortemperaturen indikere et problem med motoren, selvom hver enkelt måling for sig ligger inden for normalområdet.

Hvordan kan du opdage multivariate anomalier i Microsoft Fabric?

Multivariat anomalidetektion i Fabric udnytter de kraftfulde Spark- og Eventhouse-motorer oven på et delt persistent lagerlag. De indledende data kan indlæses i et Eventhouse og eksponeres i OneLake. Anomali-detektionsmodellen kan derefter trænes ved hjælp af Spark-motoren, og forudsigelser af anomalier på nye streamingdata kan foretages i realtid ved hjælp af Eventhouse-motoren. Sammenkoblingen af disse motorer, som kan behandle de samme data i den delte lagring, muliggør en problemfri datastrøm fra indlæsning via modeltræning til forudsigelse af anomalier. Denne arbejdsgang er enkel og kraftfuld til realtidsovervågning og opdagelse af afvigelser i komplekse systemer.

To ende-til-ende-veje er tilgængelige, og du kan vælge baseret på kompleksiteten af dit scenarie:

• Native Eventhouse-anomalidetektion på live-data: Kør anomalidetektion direkte mod streaming- og historiske data i Eventhouse-tabeller uden specialdesignet træning eller modelopsætning. Start med denne vej, når indbyggede modeller opfylder dine behov, og du ønsker den simpleste vej til indsigt.
• Brugerdefineret multivariat detektion ved brug af en notebook-trænet model: Brug den GAT-baserede Python-pakke, der beskrives i denne artikel, til at træne en brugerdefineret model i en notebook på historiske data, og score derefter nye streamingdata i realtid via Eventhouse og KQL. Vælg denne vej, når du har brug for en skræddersyet algoritme eller et specialiseret scenarie, som de native modeller ikke dækker.

Detektion af native Eventhouse-anomali

Eventhouse understøtter native anomalidetektion på live tabeller, så du kan analysere streaming og historiske data direkte uden at flytte data eller træne en brugerdefineret model. Brug denne mulighed, når du har brug for en hurtig start med indbyggede algoritmer; Vælg den tilpassede multivariate sti, der følger, når du har brug for en skræddersyet algoritme eller specialiseret konfiguration.

Løsningskomponenter

Denne løsning bygger på følgende komponenter:

• Eventhouse: Dataene indlæses i starten i en Eventhouse, som er en realtids databehandlingsmotor, der kan håndtere højkapacitetsdatastrømme.
• OneLake: Data fra Eventhouse er eksponeret i OneLake, som er et delt persistent lagringslag, der giver et samlet overblik over dataene.
• Multivariat anomali-detektionspakke: løsningen bruger time-series-anomaly-detector python-pakken og implementerer en avanceret algoritme baseret på et graph attention network (GAT), der opfanger korrelationerne mellem forskellige tidsserier og opdager anomalier i realtid. GAT-modellen trænes på historiske data for at lære sammenhængene mellem forskellige tidsserier. Den trænede model kan anvendes til at forudsige anomalier i nye streamingdata. Bemærk, at denne algoritme er den, der bruges i AI Anomaly Detector-tjenesten , som er ved at blive udfaset. For mere information om algoritmen, se bloggen og artiklen.
• Fabric notebooks: bruges til offline træning af anomalidetektionsmodellen på historiske data og til at gemme den trænede model i Fabric's MLflow-modelregister. Notebooks understøtter KQL, T-SQL, Python og Spark inden for samme arbejdsområde, hvilket muliggør samlet udforskning, transformationer, træning (for brugerdefinerede modeller) og validering af anomalier på de samme Eventhouse-understøttede data.
• KQL-forespørgselssæt: bruges til realtidsforudsigelse af anomalier på indkommende data.
• SQL analytics endpoint: eksponerer en administreret T-SQL-overflade tilpasset Eventhouse-datamodellen. Du kan forespørge opdagede afvigelser og relaterede målinger ved at bruge T-SQL til downstream-analyse og integration med BI eller rapporteringsværktøjer under Fabric-styring.
• Integration af dataagenter: Anomalier opdaget i Eventhouse kan forbruges af Fabric dataagenter for at ræsonnere over levende og historiske signaler. Kombinationen af anomalidetektion med dataagenter muliggør samtaleanalyse og automatiserede arbejdsgange over de samme Eventhouse-data.

Næste trin