Skróty rozumowania: ukryte ryzyko w obietnicy neuro-symbolicznej AI
Neuro-symboliczna AI ma łączyć sieci głębokie z regułami, ale modele mogą trafiać w etykiety, błędnie ugruntowując pojęcia, na których opierają wyjaśnienia.
Neuro-symboliczna sztuczna inteligencja wyrasta z intuicyjnie atrakcyjnej obietnicy: połączyć siłę uczenia maszynowego z porządkiem symbolicznego rozumowania. W takim podejściu sieć neuronowa ma przetwarzać niskopoziomowe dane wejściowe i wydobywać z nich pojęcia wyższego poziomu, a następnie moduł symboliczny ma prowadzić rozumowanie zgodne z tymi pojęciami oraz z wcześniej zakodowaną wiedzą. Tą wiedzą mogą być ograniczenia bezpieczeństwa, reguły strukturalne albo inne założenia, które mają sprawić, że wynik modelu nie będzie wyłącznie statystycznie trafny, lecz także zgodny z oczekiwanym porządkiem. Dlatego neuro-symboliczna AI jest przedstawiana jako jedna z najbardziej obiecujących dróg do systemów bardziej niezawodnych i godnych zaufania. Problem polega na tym, że sama architektura łącząca uczenie z rozumowaniem nie gwarantuje jeszcze, iż model „rozumie” pojęcia tak, jak zakłada jego projektant, użytkownik lub audytor.
W centrum tego napięcia znajduje się zagadnienie ugruntowania symboli, czyli powiązania pojęć używanych przez część symboliczną z tym, co sieć faktycznie rozpoznaje w danych. Jeśli pojęcia są nadzorowane bezpośrednio, łatwiej sprawdzić, czy model wiąże właściwe reprezentacje z właściwymi kategoriami. Jednak w praktyce taki nadzór często nie jest dostępny. Wtedy model może osiągać wysoką skuteczność na poziomie końcowych etykiet, a jednocześnie przypisywać błędne znaczenia pojęciom pośrednim. To właśnie określane jest jako reasoning shortcuts, czyli skróty rozumowania. Nazwa dobrze oddaje sedno problemu: system znajduje drogę do poprawnej odpowiedzi, ale niekoniecznie przechodzi przez te etapy znaczeniowe, które miały czynić jego działanie interpretowalnym i zgodnym z wiedzą. Dla odbiorcy zewnętrznego taki model może wyglądać przekonująco, ponieważ trafia w wynik. Od środka może jednak opierać się na wadliwym mapowaniu pojęć, co podważa sens wyjaśnień generowanych przez system.
To szczególnie ważne, bo interpretowalność jest jednym z głównych argumentów przemawiających za podejściem neuro-symbolicznym. W klasycznych głębokich sieciach neuronowych często krytykuje się nieprzejrzystość procesu decyzyjnego. Neuro-symboliczna AI ma ograniczać ten problem dzięki wyodrębnieniu pojęć i reguł, które można analizować. Skróty rozumowania pokazują jednak, że interpretowalność może stać się pozorna. Jeżeli pojęcia nie są ugruntowane poprawnie, wyjaśnienie oparte na tych pojęciach nie musi opisywać rzeczywistej ścieżki decyzyjnej modelu. W efekcie system może mówić językiem reguł i symboli, ale używać ich w sposób, który nie odpowiada zamierzonemu znaczeniu. Dla firm wdrażających AI oznacza to, że sama obecność modułu symbolicznego lub deklaracja zgodności z wiedzą dziedzinową nie wystarcza jako dowód rzetelności. Trzeba pytać, czy model rzeczywiście nauczył się tych pojęć, które później są wykorzystywane w jego wyjaśnieniach.
Ryzyko nie kończy się na warstwie interpretacji. Skróty rozumowania mogą osłabiać działanie modeli w scenariuszach poza rozkładem danych, czyli wtedy, gdy system trafia na przypadki różniące się od tych, na których był uczony lub testowany. Jeśli model osiągnął dobrą skuteczność dzięki błędnie ugruntowanym pojęciom, jego odporność może być niższa, niż sugerują standardowe miary trafności. W środowisku laboratoryjnym albo na dobrze dopasowanym zbiorze testowym wynik może wyglądać solidnie, ale po zmianie warunków ukryta niezgodność pojęć z rzeczywistością zaczyna pracować przeciwko systemowi. To uderza w samą kategorię niezawodności, która jest jednym z powodów rozwijania neuro-symbolicznej AI. Gdy model ma przestrzegać ograniczeń bezpieczeństwa lub strukturalnych zależności, nie wystarczy, że jego końcowe predykcje są często poprawne. Konieczne jest zrozumienie, czy wewnętrzne pojęcia, na których opiera się rozumowanie, zostały zidentyfikowane zgodnie z intencją.
Trudność polega na tym, że reasoning shortcuts są zarazem poważne i niewygodne diagnostycznie. Skoro problem może występować właśnie wtedy, gdy brakuje bezpośredniego nadzoru nad pojęciami, to nie ma prostego punktu odniesienia pozwalającego szybko stwierdzić, czy model ugruntował je prawidłowo. W praktyce jest to sytuacja typowa: dostępne są etykiety końcowe, natomiast pojęcia pośrednie bywają kosztowne, niejednoznaczne albo po prostu nieopisane w danych treningowych. To sprawia, że wysokie wyniki klasyfikacji lub predykcji mogą usypiać czujność. Model nie musi „oszukiwać” w ludzkim sensie; wystarczy, że podczas uczenia znajdzie alternatywną konfigurację pojęć, która prowadzi do poprawnych etykiet. Z perspektywy rynku AI oznacza to konieczność ostrożniejszego podejścia do benchmarków i prezentacji skuteczności. Jeżeli dostawca systemu neuro-symbolicznego komunikuje wyłącznie trafność na etykietach, nie odpowiada jeszcze na pytanie o jakość ugruntowania symboli.
Przegląd problemu porządkuje rozproszoną literaturę i pokazuje, że skróty rozumowania nie są jedynie ciekawostką teoretyczną, ale zjawiskiem wymagającym wspólnego języka. Dotąd badaczom i praktykom trudno było uzyskać syntetyczny obraz przyczyn, konsekwencji i sposobów przeciwdziałania, bo prace na ten temat były rozproszone. Ujęcie wprowadzające ma znaczenie nie tylko edukacyjne. W obszarze tak dynamicznym jak AI brak wspólnych definicji i intuicji utrudnia przekładanie badań na praktykę inżynierską. Jeśli organizacje mają budować systemy bardziej godne zaufania, muszą rozumieć, czym różni się zgodność końcowej odpowiedzi z etykietą od poprawnego ugruntowania pojęć. Muszą też wiedzieć, że problem nie sprowadza się do jednego błędu implementacyjnego. Reasoning shortcuts mogą wynikać z samego sposobu, w jaki model uczy się wykorzystywać nie w pełni nadzorowane reprezentacje pośrednie w połączeniu z regułami symbolicznymi.
Z punktu widzenia praktyki istotne są dwie klasy reakcji: ograniczanie zjawiska oraz budowanie świadomości jego występowania. Metody mitygacji mają zmniejszać ryzyko, że model wybierze błędne ugruntowanie pojęć, natomiast strategie świadomości pomagają rozpoznawać ograniczenia systemu tam, gdzie pełne zapobieganie nie jest możliwe. To ważne rozróżnienie, bo w warunkach braku bezpośredniego nadzoru nad pojęciami nie zawsze da się obiecać całkowite wyeliminowanie problemu. Bardziej realistyczne jest projektowanie procesów, które jasno opisują korzyści i ograniczenia wybranych metod. Dla zespołów wdrażających AI oznacza to potrzebę przesunięcia akcentu z samego trenowania modeli na cały cykl ich oceny: od analizy założeń po sprawdzanie, czy deklarowane pojęcia rzeczywiście pełnią rolę, jaką przypisuje im projekt systemu. Dla użytkowników końcowych stawką jest natomiast wiarygodność wyjaśnień, zwłaszcza tam, gdzie decyzje modelu mają być nie tylko skuteczne, ale również uzasadnialne.
Najważniejszy wniosek jest trzeźwiący: neuro-symboliczna AI nie traci przez reasoning shortcuts swojego znaczenia, ale traci część prostego marketingowego uroku. Nie wystarczy powiedzieć, że sieć neuronowa została połączona z rozumowaniem symbolicznym, aby uznać system za zaufany. Trzeba jeszcze wykazać, że symbole, na których opiera się rozumowanie, są właściwie powiązane z danymi. To przesuwa dyskusję o zaufanej sztucznej inteligencji z poziomu architektury na poziom identyfikacji pojęć, nadzoru, diagnostyki i odporności poza znanymi przypadkami. Paradoksalnie właśnie takie urealnienie może wzmocnić rozwój neuro-symbolicznej AI. Jeśli społeczność badawcza i praktycy będą traktować skróty rozumowania jako centralne wyzwanie, a nie marginalny defekt, łatwiej będzie budować modele, których wyjaśnienia, ograniczenia i predykcje pozostają ze sobą spójne. Wtedy obietnica godnej zaufania AI przestanie opierać się na samej konstrukcji hybrydowej, a zacznie na twardym pytaniu: czy model naprawdę rozumuje na tych pojęciach, które pokazuje użytkownikowi.