NVIDIA: rozwój AI może przywrócić znaczenie wydajności jednego wątku w procesorach serwerowych

Lead: NVIDIA ocenia, że projektowanie procesorów serwerowych w ostatnich latach zbyt mocno przesunęło się w stronę maksymalizacji liczby rdzeni i ogólnej przepustowości. Firma przekonuje, że rozwój systemów AI, zwłaszcza agentów wykonujących wiele sekwencyjnych zadań, może odwrócić ten trend i ponownie podnieść znaczenie wydajności pojedynczego wątku.

Zmiana priorytetów w procesorach serwerowych

Według zespołu odpowiedzialnego za procesor NVIDIA Vera, wcześniejsze generacje układów serwerowych były projektowane z dużym naciskiem na wysoką wydajność pojedynczego rdzenia. Jako przykład wskazywany jest okres procesorów Intel Haswell, gdy liczba rdzeni była znacznie niższa niż obecnie, a duże znaczenie miały IPC oraz wysokie taktowanie.

Rozbudowa centrów danych i szybki rozwój usług chmurowych zmieniły jednak wymagania rynku. Operatorzy infrastruktury zaczęli oczekiwać jak największej mocy obliczeniowej w ramach pojedynczego serwera. To doprowadziło do wzrostu liczby rdzeni oraz większego wykorzystania konstrukcji chipletowych.

NVIDIA podkreśla, że taki kierunek miał swoją cenę. W ocenie firmy pogoń za skalą, przepustowością i liczbą rdzeni odbywała się częściowo kosztem wydajności jednowątkowej oraz IPC. Jednocześnie producent zaznacza, że nie jest to krytyka każdej architektury chipletowej, lecz rezultat określonych kompromisów projektowych i ograniczeń związanych z powierzchnią krzemu.

AI ma zwiększyć rolę CPU

Zdaniem NVIDIA nowe obciążenia związane z AI różnią się od klasycznych zadań wykonywanych jednorazowo na GPU. Agent AI może wielokrotnie przełączać się między etapami rozumowania realizowanymi na akceleratorze a pracą sekwencyjną wykonywaną przez procesor CPU.

Do takich zadań mogą należeć między innymi uruchamianie kodu, korzystanie z narzędzi, przetwarzanie plików oraz wykonywanie kolejnych instrukcji. W tym scenariuszu CPU musi jak najszybciej zakończyć swoją część pracy, ponieważ zbyt długie oczekiwanie może oznaczać przestój GPU, czyli najdroższego elementu infrastruktury.

Vera jako odpowiedź na nowe potrzeby

Właśnie z tego powodu NVIDIA zdecydowała się w przypadku procesora Vera na monolityczny układ obliczeniowy, zamiast dzielenia CPU na wiele chipletów. Firma argumentuje, że taka konstrukcja pozwala rdzeniom komunikować się bez przekraczania granic pomiędzy oddzielnymi fragmentami krzemu, co ma ograniczać opóźnienia.

Producent mówi o przepustowości 3,4 TB/s pomiędzy różnymi częściami układu. Według NVIDIA ma to być około trzykrotnie lepszy wynik niż w przypadku czołowych procesorów x86. Vera ma także korzystać z własnego systemu pamięci LPDDR5X oraz drugiej generacji NVIDIA Scalable Coherent Fabric.

Deklarowane korzyści według NVIDIA

• Wyższa wydajność względem Grace: NVIDIA podaje, że Vera ma oferować około 1,5 raza większą wydajność od poprzednika.
• Lepsze wyniki w zadaniach AI: w takich obciążeniach jak skrypty Pythona czy kompilacja kodu LLVM firma deklaruje nawet dwukrotną przewagę nad czołowymi układami x86.
• Średnia przewaga w testach: według producenta ma wynosić około 1,6 raza.
• Spatial Multithreading: rozwiązanie ma oddzielać wątek odpowiedzialny za obliczenia od wątku obsługującego operacje wejścia/wyjścia.

NVIDIA przekonuje, że Spatial Multithreading może ograniczyć sytuacje, w których obsługa I/O zabiera zasoby głównemu wątkowi obliczeniowemu. To ważne zwłaszcza w zadaniach, gdzie liczy się szybkie wykonywanie krótkich, sekwencyjnych etapów pracy.

Procesory dla całych szaf serwerowych

Istotną różnicą względem wcześniejszego Grace ma być także przeznaczenie nowego układu. Grace był projektowany przede wszystkim jako procesor wspierający grupę GPU. W przypadku Vera NVIDIA zakłada, że rozwój AI może wymagać również szaf serwerowych wypełnionych wyłącznie procesorami CPU.

Takie konfiguracje miałyby obsługiwać bardzo dużą liczbę wywołań narzędzi oraz systemy AI, które uczą się skuteczniejszego działania poprzez kolejne próby i ocenę rezultatów. Firma nie podaje jednak konkretnego przyszłego stosunku liczby CPU do GPU. Przyznaje jedynie, że proporcje zaczynają przesuwać się w stronę procesorów.

Według NVIDIA dostawcy infrastruktury dla agentów AI są już w stanie uruchamiać setki tysięcy izolowanych środowisk dla pojedynczego klienta, a w przyszłości skala ta może wzrosnąć. Producent zaznacza przy tym, że nie rezygnuje z chipletów. Monolityczna konstrukcja Vera została wybrana dlatego, że najlepiej pasowała do założeń tego konkretnego projektu. Jeśli kolejne układy będą wymagały innego podejścia, NVIDIA dopuszcza powrót do architektury wielochipowej.