Sztuczna inteligencja pochłania prąd niczym koparki kryptowalut
Osoby korzystające z generatorów grafik czy chatbotów widzą jedynie przyjazny interfejs. W tle działają jednak gigantyczne farmy serwerowe wypełnione procesorami i układami graficznymi. Te maszyny konsumują olbrzymie ilości energii, zwłaszcza podczas trenowania zaawansowanych modeli, w tym dużych systemów językowych.
Im bardziej złożona sieć neuronowa, tym więcej obliczeń i transferów danych między pamięcią a procesorami musi się odbyć. To właśnie te operacje powodują masywne straty energetyczne. Coraz częściej słychać głosy, że rozwój AI może stać się jednym z największych konsumentów elektryczności na świecie, porównywalnym z całymi gałęziami przemysłu.
Rozwiązanie problemu energochłonności AI nie polega już tylko na optymalizacji kodu. Konieczna jest zmiana podejścia do samego sprzętu oraz sposobu szkolenia modeli.
Memrystory: pamięć wykonująca obliczenia na miejscu
Jednym z kierunków badań nad bardziej ekologiczną sztuczną inteligencją są tak zwane obliczenia w pamięci. Zamiast ciągłego przesyłania danych między pamięcią a procesorem, część operacji wykonywana jest bezpośrednio tam, gdzie dane są przechowywane. Kluczową rolę odgrywają tu memrystory.
Memrystor to specjalny element elektroniczny działający jak rezystor z pamięcią. Jego opór zależy od historii przepływającego prądu i może reprezentować wagi w sieci neuronowej. Dzięki temu pojedyncza struktura pełni jednocześnie funkcję pamięci i jednostki obliczeniowej.
- przechowuje informacje (wagi sieci neuronowej)
- umożliwia lokalne obliczenia bez wysyłania danych do procesora
- może znacząco ograniczyć transfer danych, a tym samym zużycie energii
Brzmi idealnie, lecz rzeczywiste memrystory są dalekie od doskonałości. Wprowadzają szumy, zachowują się niestabilnie, a każda operacja zapisu jest energochłonna i skraca ich żywotność. Dlatego proste przeniesienie klasycznych metod trenowania sieci na taki sprzęt nie działa zadowalająco.
Nowe podejście: mniej korekt, większa tolerancja błędów
Zespół z laboratorium w chińskim Zhejiang zaproponował odmienną filozofię trenowania AI na memrystorach. Zamiast próby eliminacji wszelkich niedoskonałości, naukowcy stworzyli metodę świadomie je uwzględniającą. Nazwali ją error-aware probabilistic update, czyli probabilistyczną aktualizacją świadomą błędów, w skrócie EaPU.
Rdzeń podejścia stanowi prosta idea: sieć nie próbuje korygować każdej minimalnej zmiany wagi. Jeśli błąd mieści się w granicach tolerancji sprzętu, parametr pozostaje nienaruszony. Dopiero większe odchylenia uruchamiają proces aktualizacji.
Zamiast poprawiać niemal wszystkie wagi w każdej iteracji uczenia, sieć aktualizuje mniej niż 0,1% parametrów. Mniej zapisów oznacza mniej energii i dłuższą żywotność sprzętu.
To podejście przynosi kilka istotnych konsekwencji:
- dramatycznie spada liczba operacji zapisu w memrystorach
- zmniejsza się wpływ szumów, ponieważ algorytm nie „goni” każdej przypadkowej fluktuacji
- proces trenowania staje się stabilniejszy mimo niedoskonałego sprzętu
Ile energii udało się zaoszczędzić?
Według opublikowanych wyników samo trenowanie sieci neuronowych w architekturze opartej na memrystorach z wykorzystaniem EaPU wymaga nawet 50 razy mniej energii w porównaniu z wcześniejszymi metodami przeznaczonymi dla takich układów.
To jednak nie wszystko. Przy porównaniu tego schematu z klasycznym trenowaniem sieci na kartach graficznych różnica staje się wręcz ekstremalna. Naukowcy szacują, że całkowite zużycie energii można zmniejszyć aż o sześć rzędów wielkości – czyli około milion razy.
Klasyczne GPU: zużycie energii 100%, wysoka dokładność modeli, standardowa żywotność sprzętu.
Memrystory bez EaPU: niższe zużycie niż GPU, ale wciąż wysokie, wyraźnie gorsza precyzja, ograniczona żywotność z powodu częstych zapisów.
Memrystory z EaPU: około milion razy niższe zużycie niż GPU, dokładność porównywalna z klasycznymi superkomputerami, nawet tysiąc razy dłuższa żywotność.
Metoda zwiększa również precyzję działania sieci aż o 60% w porównaniu z poprzednimi rozwiązaniami z memrystorami. Praktycznie wyrównuje to wyniki osiągane na tradycyjnych superkomputerach, zatem bez kompromisu jakościowego.
Testy praktyczne: od usuwania szumów po wyostrzanie szczegółów
Aby sprawdzić, że to nie tylko teoria, zespół zbudował rzeczywistą matrycę memrystorów o rozmiarze 180 nanometrów. Na takim sprzęcie trenowali sieci odpowiedzialne za dwa wymagające zadania związane z obrazem:
- usuwanie szumów z fotografii
- zwiększanie rozdzielczości, czyli tak zwaną super-rezolucję
W testach osiągnęli wyniki porównywalne z tradycyjnymi metodami wykorzystującymi procesory i karty graficzne. Różnica polegała na zupełnie odmiennym profilu zużycia energii – sprzęt na memrystorach z EaPU potrzebował zdecydowanie mniej elektryczności.
Czy to szansa na ekologiczniejsze duże modele językowe?
Największą uwagę dziś przyciągają duże modele językowe stojące za chatbotami i generatorami tekstu. Ich trenowanie pochłania ogromne ilości energii i wymaga setek, czasem tysięcy kart graficznych pracujących równolegle. Nic dziwnego, że naukowcy rozważają, czy można przenieść EaPU właśnie na tę kategorię modeli.
Autorzy badania przyznają, że na razie ogranicza ich dostępny sprzęt. Matryca 180 nm stanowi tylko mały ułamek tego, co byłoby potrzebne do trenowania pełnowartościowego dużego modelu językowego. Jednocześnie uważają, że sama koncepcja algorytmu i zarządzania błędami nie jest specyficzna dla jednego typu zadania.
Naukowcy zakładają, że to samo podejście można zastosować do dużych modeli językowych, jeśli powstaną wystarczająco rozległe układy sprzętowe oparte na memrystorach lub pokrewnych technologiach.
Interesujące jest to, że EaPU nie jest ściśle związana tylko z memrystorami. Zespół sugeruje, że podobny sposób probabilistycznej aktualizacji parametrów może działać także w innych rozwiązaniach energetycznie niezależnej pamięci, takich jak tranzystory ferroelektryczne czy pamięci magnetorezystywne.
Nowa generacja sprzętu dla AI
Jeśli takie techniki opuszczą laboratoria, może to wymusić powstanie zupełnie nowej kategorii akceleratorów AI. Zamiast kolejnych generacji klasycznych GPU, część zadań przejmą wyspecjalizowane układy do obliczeń w pamięci. Taki sprzęt mógłby trafić nie tylko do centrów danych, ale także do urządzeń brzegowych – od inteligentnych kamer po sprzęt medyczny.
Wyobraź sobie system monitoringu, który bezpośrednio na miejscu przetwarza obraz, rozpoznaje zdarzenia i potrzebuje ułamka energii dzisiejszych rozwiązań. Albo smartfon uruchamiający lokalny model językowy bez dramatycznego rozładowywania baterii. Właśnie takie scenariusze mają szansę stać się rzeczywistością, gdy zużycie energii spadnie o rzędy wielkości.
Co to oznacza dla użytkowników i firm
Z perspektywy zwykłego użytkownika najważniejsze są dwa efekty: niższe koszty usług i mniejsze obciążenie środowiska. Mniej elektryczności w centrach danych oznacza niższe rachunki operatorów, a więc większą szansę, że zaawansowane funkcje AI nie będą wymagały drogich abonamentów.
Dla firm wdrażających AI taki skok wydajności oznacza całkowicie nowe kalkulacje biznesowe. Trenowanie własnego modelu przestaje być luksusem zarezerwowanym dla gigantów technologicznych. Gdy koszty energii spadną setki czy tysiące razy, własne rozwiązania mogą sobie pozwolić mniejsze podmioty, włącznie z firmami z branż takich jak medycyna, przemysł czy logistyka.
Należy jednak pamiętać o jednej rzeczy: prawdziwa zmiana wymaga nie tylko nowych algorytmów, ale także masowej produkcji wyspecjalizowanych układów pamięci. To długi proces wymagający inwestycji i czasu, podobnie jak kiedyś przejście od klasycznych procesorów do wyspecjalizowanych GPU dla grafiki i AI.
Temat efektywności energetycznej AI staje się coraz ważniejszy przy planowaniu nowych centrów danych i projektów badawczych. Uniwersytety i firmy, które już dziś zaczną interesować się obliczeniami w pamięci oraz technikami tolerującymi błędy, zyskają przewagę, gdy takie rozwiązania wejdą do głównego nurtu.
