AI na maturze z matematyki? MIT stworzyło test, który obnaża słabości maszyn

Naukowcy z MIT udostępnili MathNet, największą na świecie bazę zadań z olimpiad matematycznych, która staje się bezcennym zasobem dla uczniów i najtrudniejszym egzaminem dla sztucznej inteligencji.

Międzynarodowa współpraca badaczy z MIT, King Abdullah University of Science and Technology (KAUST) oraz firmy HUMAIN zaowocowała powstaniem MathNet - największego i najbardziej zróżnicowanego zbioru zadań matematycznych na poziomie olimpijskim, jaki kiedykolwiek stworzono. Baza, która zostanie zaprezentowana na prestiżowej konferencji ICLR w Brazylii, zawiera ponad 30 tysięcy zadań i rozwiązań pochodzących ze 143 konkursów w 47 krajach, obejmując 17 języków i cztery dekady historii zawodów. Jej skala jest imponująca - jest aż pięciokrotnie większa od dotychczasowego lidera w tej dziedzinie. Jednak to nie sama wielkość, a bezprecedensowa różnorodność i jakość stanowią o jej przełomowym charakterze. Projekt ten ma dwa główne cele: zdemokratyzować dostęp do elitarnej wiedzy matematycznej dla uczniów na całym świecie i stworzyć nowy, znacznie trudniejszy benchmark do testowania granic możliwości modeli sztucznej inteligencji.

Do tej pory materiały z Międzynarodowej Olimpiady Matematycznej (IMO) i konkursów krajowych były skarbem dostępnym dla nielicznych. Każdego roku delegacje przywoziły na zawody książeczki ze swoimi najlepszymi, najbardziej oryginalnymi zadaniami, które po wymianie między uczestnikami często przepadały w archiwach. MathNet zmienia tę dynamikę. "Pamiętam wielu uczniów, dla których przygotowania były samotnym wysiłkiem. Nikt w ich kraju nie trenował ich do tego typu zawodów" - wspomina Shaden Alshammari, doktorantka z MIT i główna autorka badania, która sama w przeszłości brała udział w IMO. Dzięki MathNet każdy ambitny uczeń zyskuje dostęp do scentralizowanej, przeszukiwalnej kolekcji zadań wraz z eksperckimi, recenzowanymi rozwiązaniami. W przeciwieństwie do istniejących archiwów, takich jak fora internetowe Art of Problem Solving (AoPS), MathNet czerpie wyłącznie z oficjalnych, zweryfikowanych źródeł. To oznacza, że rozwiązania są często wielostronicowe, prezentują różne metody dojścia do wyniku i stanowią znacznie bogatszy materiał do nauki niż krótkie, nieformalne odpowiedzi pisane przez społeczność.

Stworzenie MathNet było logistycznym i analitycznym majstersztykiem. Zespół musiał odnaleźć i przetworzyć 1595 tomów PDF, liczących łącznie ponad 25 tysięcy stron. Wiele z nich to stare, cyfrowo zeskanowane dokumenty w kilkunastu językach. Kręgosłupem zbioru stało się prywatne archiwum Navida Safaei, współautora projektu i wieloletniej postaci w środowisku IMO, który od 2006 roku ręcznie zbierał i skanował olimpijskie broszury. Aby zapewnić najwyższą jakość, powołano grupę ponad 30 weryfikatorów z całego świata, w tym z Armenii, Wietnamu, Ukrainy, a także z Polski, którzy wspólnie sprawdzili tysiące rozwiązań. Jak zauważa Tanish Patil, zastępca lidera szwajcarskiej drużyny na IMO, istniejące zasoby "cierpią na brak ustandaryzowanego formatowania, zweryfikowanych rozwiązań i ważnych metadanych". MathNet wypełnia tę lukę, stając się potencjalnie kluczowym narzędziem nie tylko dla uczniów, ale i dla komitetów tworzących nowe zadania, pomagając weryfikować ich oryginalność.

Jednocześnie MathNet stał się bezlitosnym egzaminatorem dla najpotężniejszych modeli AI, malując znacznie bardziej złożony obraz ich matematycznych zdolności, niż sugerują to nagłówki o "zdobywaniu złotych medali". Chociaż postęp jest niezaprzeczalny, nowy benchmark pokazuje, że jest on nierównomierny. Nawet GPT-5, czyli topowy testowany model, osiągnął średnią skuteczność na poziomie 69,3% w głównym teście obejmującym 6400 zadań. Oznacza to, że nie poradził sobie z niemal co trzecim problemem olimpijskim. Zbiór danych bezwzględnie obnażył też konkretne słabości algorytmów. Wydajność wszystkich modeli gwałtownie spadała, gdy zadania zawierały diagramy lub figury geometryczne, co wskazuje na rozumowanie wizualne jako ich stałą piętę achillesową.

Różnorodność kulturowa i lingwistyczna zbioru ujawniła kolejny problem: głębokie uprzedzenia w danych treningowych. Podczas gdy modele GPT radziły sobie podobnie dobrze z zadaniami w języku angielskim i innych popularnych językach, niektóre modele open-source uzyskały wynik 0% na problemach w języku mongolskim. Naukowcy argumentują, że gdy AI uczy się matematyki głównie na zadaniach z USA i Chin, absorbuje bardzo wąski wycinek "kultury matematycznej". Tymczasem rumuńskie zadanie z kombinatoryki czy brazylijskie z teorii liczb mogą podchodzić do tego samego zagadnienia z zupełnie innej perspektywy. Ekspozycja na tę różnorodność, zdaniem autorów badania, czyni zarówno ludzi, jak i maszyny, lepszymi matematycznymi myślicielami.

Projekt wprowadza również nowe, bardziej zaawansowane testy, wykraczające poza proste rozwiązywanie problemów. Pierwszym z nich jest benchmark "retrieval", który sprawdza, czy modele potrafią rozpoznać, że dwa pozornie różne zadania (napisane w innych językach, z użyciem innej notacji) mają w rzeczywistości tę samą strukturę matematyczną. To zadanie jest tak trudne, że nawet ludzkim komitetom zdarzało się umieszczać na olimpiadach niemal identyczne problemy. Testowane modele AI wypadły katastrofalnie - nawet najlepszy z nich wskazał poprawną parę w zaledwie 5% przypadków przy pierwszej próbie. Drugi test dotyczył generowania wspomaganego wyszukiwaniem (RAG), czyli sprawdzania, czy podanie modelowi powiązanego przykładu poprawia jego wynik. Okazało się, że jest to miecz obosieczny: trafna podpowiedź zwiększała wydajność modelu DeepSeek-V3.2-Speciale nawet o 12 punktów procentowych, ale nietrafiona wskazówka pogarszała jego działanie w około 22% przypadków. To pokazuje, jak kluczowa dla przyszłych systemów AI będzie umiejętność precyzyjnego doboru kontekstu.

Finalnie, MathNet jest czymś więcej niż tylko zbiorem danych. To potężne narzędzie, które jednocześnie wspiera edukację i podnosi poprzeczkę w badaniach nad sztuczną inteligencją. Demokratyzując dostęp do najwyższej jakości materiałów treningowych, daje szansę utalentowanym uczniom z całego świata, którzy do tej pory byli pozostawieni sami sobie. Równocześnie, rzucając najtrudniejszym modelom AI wyzwanie, które obnaża ich słabości w rozumowaniu, interpretacji wizualnej i adaptacji kulturowej, zmusza badaczy do tworzenia algorytmów o prawdziwie głębokim, a nie tylko powierzchownym, rozumieniu królowej nauk.