Modal raportuje dwukrotny wzrost wydajności po przejściu na procesory NVIDIA Vera

Modal odnotował nawet dwukrotny wzrost przepustowości w środowiskach Agentic AI po wdrożeniu serwerów z procesorami NVIDIA Vera. Firma, która wcześniej korzystała z infrastruktury opartej wyłącznie na układach x86 od Intela i AMD, wskazuje, że największe różnice pojawiają się pod dużym obciążeniem.

Przejście z x86 na Arm wymagało zmian w infrastrukturze

Modal otrzymał pierwsze serwery z procesorami NVIDIA Vera w swoim biurze w San Francisco. Zmiana była istotna, ponieważ dotychczasowa infrastruktura firmy opierała się na systemach x86 z procesorami AMD oraz Intel.

Przejście na platformę Arm wymagało dostosowania zaplecza technicznego oraz systemów budowania obrazów. Mimo tych prac Modal ocenił wdrożenie jako bardzo obiecujące, wskazując na znaczący wzrost wydajności w zastosowaniach związanych z agentową sztuczną inteligencją.

Testy w środowiskach Agentic AI

Aby ocenić możliwości procesorów NVIDIA Vera, Modal przygotował zestaw reprezentatywnych obciążeń i benchmarków dla agentowych sandboxów. W tym celu powstał test określany jako Agentless Agent Bench, obejmujący 50 rozwiązań i weryfikatorów Terminal-Bench.

Benchmark mierzył zarówno czas liniowego wykonywania zadań, jak i przepustowość przy równoległym obciążeniu. Pierwsze próby, prowadzone bez dodatkowego obciążenia, wykazały poprawę względem układów x86, ale miały charakter testu opóźnień w prostym scenariuszu.

Największa przewaga pojawia się pod obciążeniem

Według danych Modal, procesor NVIDIA Vera zachowuje wysoką wydajność w sytuacji, gdy liczba jednoczesnych zadań rośnie. Firma podkreśla, że w typowych systemach wzrost przepustowości może prowadzić do wyższych opóźnień, gdy procesor zaczyna być w pełni wykorzystywany.

W przypadku Very wyniki miały być szczególnie korzystne przy dużej liczbie równoległych kontenerów. Modal wskazuje, że procesor nie traci tempa w takim stopniu jak porównywane układy x86, co firma wiąże m.in. z wysoką przepustowością pamięci.

Wyniki podane przez Modal

• W porównaniu z Intel Xeon: do dwukrotnie wyższa przepustowość zadań na rdzeń.
• W porównaniu z AMD EPYC: ponad sześciokrotnie wyższa przepustowość przy 150 równoległych kontenerach i 124 logicznych procesorach aktywnych w każdym systemie.
• Pod dużym obciążeniem: Vera miała utrzymywać wydajność bez typowego ograniczania tempa pracy obserwowanego w alternatywnych rozwiązaniach.

Znaczenie dla obciążeń agentowej AI

Modal ocenia, że kluczową cechą procesorów NVIDIA Vera jest odporność na spadki wydajności przy dużej konkurencji zadań. Dzięki temu na jeden rdzeń można przypadać większa liczba obciążeń kontenerowych bez szybkiego osiągania limitów przepustowości.

Firma wskazuje również, że podczas zwiększania liczby wykorzystywanych CPU konkurencyjne platformy wcześniej osiągały pułap wydajności, podczas gdy Vera nadal poprawiała wyniki. Według Modal sugeruje to, że testowany system mógłby skalować się jeszcze dalej, gdyby dostępny był większy węzeł testowy.