Dlaczego pogoda to problem numer jeden inspekcji dronowych

Tradycyjna, ręczna inspekcja linii przesyłowych jest powolna, kosztowna i niebezpieczna dla ludzi. Dlatego operatorzy sieci na całym świecie coraz częściej sięgają po bezzałogowce wyposażone w kamery wysokiej rozdzielczości i algorytmy głębokiego uczenia. Dron przelatuje wzdłuż trasy linii, a sztuczna inteligencja automatycznie wykrywa na zdjęciach izolatory, przewody i osprzęt, a następnie identyfikuje defekty - pęknięte klosze, brakujące elementy, korozję.

Cały ten łańcuch technologiczny opiera się jednak na jednym założeniu: że obraz z kamery jest czysty i czytelny. Wcześniejsze badania tej samej grupy naukowców wykazały empirycznie, że dokładność detekcji komponentów spada znacząco w warunkach zamglenia, opadów deszczu i śniegu. To poważne ograniczenie operacyjne - awarie sieci zdarzają się szczególnie często właśnie podczas złej pogody, gdy szybka diagnostyka jest najbardziej potrzebna.

Stąd narodziło się zadanie badawcze określane skrótem PLAIR-AW (Power Line Aerial Image Restoration under Adverse Weather) - odtwarzanie jakości zdjęć lotniczych linii energetycznych zdegradowanych przez niekorzystne warunki atmosferyczne.

Jeden model zamiast trzech - podejście „all-in-one"

Klasyczne podejście do poprawy jakości obrazu zakłada trenowanie osobnych modeli do każdego typu degradacji: jeden do usuwania mgły, drugi do deszczu, trzeci do śniegu. W praktyce operacyjnej jest to niewygodne i kosztowne - system musiałby najpierw rozpoznać typ pogody, a potem przełączać się między modelami.

Alternatywą jest paradygmat „all-in-one": jedna zunifikowana sieć, która radzi sobie ze wszystkimi typami degradacji jednocześnie, bez etykiet informujących o rodzaju pogody. To podejście jest znacznie bardziej praktyczne i ekonomiczne, ale też dużo trudniejsze technicznie. Różne zjawiska pogodowe zniekształcają obraz w odmienny sposób, a ich cechy „splatają się" w reprezentacjach sieci neuronowej, utrudniając skuteczną rekonstrukcję.

Klucz do rozwiązania: dziedzina częstotliwości

Najciekawszym elementem pracy jest zmiana paradygmatu przetwarzania. Dominujące dziś architektury - konwolucyjne sieci neuronowe (CNN) i transformery wizyjne (ViT) - operują w dziedzinie przestrzennej, czyli bezpośrednio na pikselach obrazu. Oba podejścia mają istotne wady w kontekście zdjęć dronowych. CNN mają ograniczone lokalne pole recepcyjne, przez co trudno im odróżnić smugi deszczu od tekstur tła. Transformery modelują zależności globalne, ale ich mechanizm samouwagi ma kwadratową złożoność obliczeniową względem rozdzielczości obrazu - dla materiału 4K czy 6K z drona oznacza to zaporowe koszty obliczeniowe.

Autorzy MFNET poszli inną drogą: przenieśli przetwarzanie do dziedziny częstotliwości za pomocą transformaty Fouriera. Ten wybór ma głębokie uzasadnienie fizyczne. Okazuje się bowiem, że różne zjawiska pogodowe degradują obraz w różnych pasmach częstotliwości:

  • mgła tłumi przede wszystkim składowe niskoczęstotliwościowe amplitudy, odpowiadające za globalny kontrast i rozkład energii w obrazie,
  • deszcz i śnieg wprowadzają szum wysokoczęstotliwościowy, zaburzający głównie składową fazową, która koduje struktury i krawędzie.

Skoro degradacje naturalnie „rozdzielają się" w dziedzinie częstotliwości, to właśnie tam najłatwiej je odseparować i naprawić niezależnie. Standardowe sieci przestrzenne przetwarzają te cechy w sposób spleciony - podejście częstotliwościowe pozwala je jawnie rozprząc.

Jak działa MFNET

Sercem architektury są dwa moduły. Pierwszy to dwugałęziowy blok transformaty Fouriera (DFTB - Dual-branch Fourier Transform Block). Po przekształceniu cech obrazu do dziedziny widmowej, sygnał jest rozdzielany na dwie równoległe gałęzie:

Gałąź amplitudy odpowiada za rekalibrację globalnego rozkładu energii. Wykorzystuje mechanizm Squeeze-and-Excitation, który działa jak adaptacyjny selektor pasm częstotliwości - tłumi kanały zaszumione, a wzmacnia te zawierające istotną energię strukturalną niskich częstotliwości. To bezpośrednio kompensuje straty energii powodowane przez mgłę.

Gałąź fazy dba o wierność strukturalną. Lekka sieć rezydualna uczy się korygować przesunięcia fazowe, co pozwala zachować integralność krawędzi i struktur - kluczową dla późniejszej detekcji cienkich przewodów energetycznych na tle nieba.

Drugi moduł to struktura wieloskalowa (MSS - Multi-scale Structure) z mechanizmem uwagi krzyżowej, która fuzjonuje cechy z różnych rozdzielczości obrazu. Ciekawym pomysłem jest tu „routing sterowany degradacją": zapytania w mechanizmie uwagi pochodzą z płytkich cech obrazu wejściowego, które najlepiej zachowują przestrzenny rozkład zakłóceń pogodowych. Dzięki temu model niejako „wie", jaki typ degradacji występuje w danym miejscu, i dynamicznie dobiera odpowiednie kanały treści - bez żadnych dodatkowych etykiet typu pogody.

Dodatkową zaletą podejścia fourierowskiego jest efektywność: zgodnie z twierdzeniem o splocie, kosztowna konwolucja przestrzenna zamienia się w dziedzinie częstotliwości w proste mnożenie element po elemencie, co daje globalne pole recepcyjne przy liniowej złożoności obliczeniowej.

Wyniki: lepiej i taniej

Model przetestowano na siedmiu zbiorach danych obejmujących zdjęcia linii energetycznych z symulowaną mgłą (HazeCPLID, HazeTTPLA), deszczem o dwóch intensywnościach (RainCPLID-L i RainCPLID-H) oraz śniegiem o trzech poziomach (SnowTTPLA-S/M/L). Porównano go z blisko dwudziestoma najnowszymi metodami rekonstrukcji obrazu, w tym z uznanymi architekturami jak Restormer, PromptIR, SwinIR czy najnowszymi modelami opartymi o architekturę Mamba.

MFNET osiągnął najlepsze lub drugie w kolejności wyniki w metrykach PSNR i SSIM na wszystkich benchmarkach. Przykładowo na zbiorze HazeCPLID uzyskał 28,15 dB PSNR, wyprzedzając konkurencję o ponad 0,3 dB. Największą przewagę odnotowano w najtrudniejszym scenariuszu dużego śniegu (SnowTTPLA-L), gdzie występuje sprzężona degradacja amplitudowo-fazowa - dokładnie ten przypadek, do którego dwugałęziowa architektura została zaprojektowana.

Co istotne z perspektywy wdrożeniowej, model jest przy tym stosunkowo lekki: 9,85 mln parametrów i 52,21 GFLOPs, czyli około trzykrotnie mniej parametrów niż Restormer czy PromptIR przy porównywalnych lub lepszych wynikach. To dobry kompromis między jakością a kosztem obliczeniowym - ważny argument przy potencjalnym przetwarzaniu na pokładzie drona lub w stacjach brzegowych.

Test praktyczny: czy segmentacja faktycznie działa lepiej?

Autorzy nie poprzestali na metrykach jakości obrazu, które nie zawsze przekładają się na skuteczność zadań wyższego poziomu. Przeprowadzili dodatkową ewaluację z użyciem modeli segmentacji instancji YOLACT oraz YOLOv8-seg, sprawdzając, jak rekonstrukcja obrazu wpływa na wykrywanie elementów infrastruktury energetycznej.

Wnioski są jednoznaczne. Po pierwsze, degradacja pogodowa faktycznie obniża skuteczność segmentacji - w warunkach śnieżnych metryki spadają wyraźnie względem dobrych warunków. Po drugie, niektóre metody o wysokich wynikach PSNR/SSIM zawodzą w zadaniu segmentacji, co pokazuje, że metryki pikselowe bywają mylące. Po trzecie, MFNET konsekwentnie plasował się w czołówce we wszystkich metrykach segmentacyjnych, a w teście z YOLOv8-seg zajął pierwsze miejsce w trzech z czterech wskaźników. Analiza statystyczna (test t dla prób zależnych) potwierdziła istotność uzyskanych popraw w metrykach precyzyjnej lokalizacji i segmentacji masek.

Co to oznacza dla sektora energetycznego

Praca wpisuje się w szerszy trend budowania odpornych na warunki środowiskowe systemów autonomicznej inspekcji infrastruktury krytycznej. Dla operatorów sieci przesyłowych i dystrybucyjnych oznacza to realną perspektywę wydłużenia okna operacyjnego dronów - inspekcje mogłyby być prowadzone także w warunkach, które dziś dyskwalifikują materiał zdjęciowy.

Ma to znaczenie również w kontekście polskim. Krajowi operatorzy systematycznie rozwijają programy inspekcji dronowych, a zmienna pogoda środkowoeuropejska - jesienne mgły, zimowe opady - należy do głównych ograniczeń harmonogramów lotów. Techniki typu all-in-one, niewymagające ręcznego przełączania modeli, są naturalnym kandydatem do integracji z istniejącymi pipeline'ami analizy obrazu.

Autorzy zapowiadają dalsze prace nad odchudzeniem modelu, m.in. z wykorzystaniem efektywnej uwagi liniowej lub architektury Mamba, co przybliżyłoby możliwość przetwarzania w czasie rzeczywistym bezpośrednio na pokładzie bezzałogowca.