Multivariat anomalidetektion i Microsoft Fabric - oversigt

Hvad er multivariat anomali-detektion?

Univariat anomalidetektion, som implementeres af KQL-funktionen series_decompose_anomalies(), overvåger og opdager anomalier i en enkelt variabel over tid. Multivariat anomalidetektion udvider denne tilgang ved at opdage anomalier i den fælles fordeling af flere variable over tid – hvilket betyder, at den analyserer, hvordan variablerne relaterer sig til og påvirker hinanden som gruppe, i stedet for at undersøge hver variabel isoleret. Multivariat anomali-detektion er nyttig til at overvåge sundheden af komplekse IoT-systemer, opdage svindel i finansielle transaktioner og identificere usædvanlige mønstre i netværkstrafikken.

For eksempel, overvej et system, der overvåger ydeevnen af en bilflåde. Systemet indsamler data om forskellige målepunkter, såsom hastighed, brændstofforbrug og motortemperatur. Ved at analysere disse metrikker sammen kan systemet opdage anomalier, som ikke ville være tydelige, hvis man analyserer hver enkelt metrik individuelt. Alene kan en stigning i brændstofforbruget skyldes forskellige acceptable årsager. Dog kan en pludselig stigning i brændstofforbruget kombineret med et fald i motortemperaturen indikere et problem med motoren, selvom hver enkelt måling for sig ligger inden for normalområdet.

Hvordan kan du opdage multivariate anomalier i Microsoft Fabric?

Multivariat anomalidetektion i Fabric udnytter de kraftfulde Spark- og Eventhouse-motorer oven på et delt persistent lagerlag. De indledende data kan indlæses i et Eventhouse og eksponeres i OneLake. Anomali-detektionsmodellen kan derefter trænes ved hjælp af Spark-motoren, og forudsigelser af anomalier på nye streamingdata kan foretages i realtid ved hjælp af Eventhouse-motoren. Sammenkoblingen af disse motorer, som kan behandle de samme data i den delte lagring, muliggør en problemfri datastrøm fra indlæsning via modeltræning til forudsigelse af anomalier. Denne arbejdsgang er enkel og kraftfuld til realtidsovervågning og opdagelse af afvigelser i komplekse systemer.

Løsningskomponenter

Denne løsning bygger på følgende komponenter:

• Eventhouse: Dataene indlæses i starten i en Eventhouse, som er en realtids databehandlingsmotor, der kan håndtere højkapacitetsdatastrømme.
• OneLake: Data fra Eventhouse er eksponeret i OneLake, som er et delt persistent lagringslag, der giver et samlet overblik over dataene.
• Multivariat anomali-detektionspakke: løsningen bruger time-series-anomaly-detector python-pakken og implementerer en avanceret algoritme baseret på et graph attention network (GAT), der opfanger korrelationerne mellem forskellige tidsserier og opdager anomalier i realtid. GAT-modellen trænes på historiske data for at lære sammenhængene mellem forskellige tidsserier. Den trænede model kan anvendes til at forudsige anomalier i nye streamingdata. Bemærk, at denne algoritme er den, der bruges i AI Anomaly Detector-tjenesten , som er ved at blive udfaset. For mere information om algoritmen, se bloggen og artiklen.
• Spark Notebook: bruges til offline træning af anomali-detektionsmodellen på historiske data og lagring af den trænede model i Fabric's MLflow-modelregister
• KQL-forespørgselssæt: bruges til realtidsforudsigelse af anomalier på indkommende data.

Næste trin