NVIDIA PAIR ma łączyć domowe komputery w lokalny klaster do inferencji AI

NVIDIA PAIR to nowe narzędzie, które ma wykorzystać niewykorzystaną moc obliczeniową komputerów znajdujących się w domu. Oprogramowanie rozdziela zadania inferencji AI między dostępne urządzenia w sieci lokalnej, współpracując z interfejsami Ollama i LM Studio, bez konieczności instalowania dodatkowego sprzętu.

Domowe komputery jako lokalne zaplecze AI

Według NVIDIA wiele gospodarstw domowych posiada kilka komputerów, które przez znaczną część doby pozostają niewykorzystane. Firma wskazuje, że przeciętne użycie takich maszyn w USA wynosi około 17 proc. dziennie, czyli nieco ponad cztery godziny. W efekcie w jednym domu może pozostawać do dyspozycji znacząca, niewykorzystana moc obliczeniowa.

NVIDIA szacuje, że przy określonym scenariuszu użycia modeli AI taka rezerwa może odpowiadać dużej liczbie tokenów przetwarzanych lokalnie. Firma zestawia to z potencjalnymi kosztami usług chmurowych, podając przykład około 1200 dolarów miesięcznie w kredytach API oraz dodatkowo około 120 dolarów kosztów energii przy 60-procentowym wykorzystaniu.

Jak działa NVIDIA PAIR

PAIR jest określany przez NVIDIA jako osobisty router AI. Program instaluje się na komputerach w gospodarstwie domowym, a użytkownik decyduje, które urządzenia mają brać udział w pracy klastra. Oprogramowanie automatycznie wykrywa sprzęt w sieci lokalnej z użyciem mDNS, paruje urządzenia za pomocą bezpiecznego, sześciocyfrowego kodu, a komunikacja odbywa się przez zabezpieczony kanał MTLS.

Gdy pojawia się żądanie inferencji, PAIR sprawdza dostępne węzły i kieruje zadanie tam, gdzie można je wykonać. System bierze pod uwagę między innymi obciążenie danego komputera oraz wykorzystanie GPU. Jeśli na przykład jeden z komputerów jest używany do gry lub innego zadania intensywnie obciążającego grafikę, PAIR może pominąć ten węzeł i przekazać pracę innemu urządzeniu.

Najważniejsze cechy rozwiązania

• Brak nowego API: PAIR działa jako warstwa pośrednia dla zgodnych interfejsów Ollama i LM Studio.
• Elastyczne dołączanie urządzeń: kompatybilne komputery mogą udostępniać moc, gdy są dostępne, i znikać z klastra po wyłączeniu lub uśpieniu.
• Lokalne przetwarzanie: prompty, dane i ruch inferencji pozostają w istniejącej sieci lokalnej użytkownika.
• Świadomość obciążenia GPU: harmonogram uwzględnia aktywne zadania oraz aktualne wykorzystanie układu graficznego.

Zgodność i ograniczenia

NVIDIA PAIR ma być dostępny na platformach Windows, Linux i macOS. Oprogramowanie zostanie udostępnione jako projekt open source na licencji Apache 2.0, początkowo w wersji beta. Firma zapowiada dalsze prace nad pełnym wydaniem.

Rozwiązanie obsłuży urządzenia spełniające minimalne wymagania Ollama i LM Studio. Oznacza to, że nie ogranicza się wyłącznie do kart NVIDIA; działać mogą także inne układy GPU, jeśli spełniają wymagania wykorzystywanych silników inferencyjnych. NVIDIA podała, że testowała dotąd konfiguracje obejmujące do 18 urządzeń GPU, ale system ma pozwalać na dodanie większej liczby węzłów.

PAIR może:

• kierować niezależne zadania do gotowych systemów w sieci lokalnej,
• zmniejszać kolejki, gdy kilka żądań czekałoby na jednym komputerze,
• przyspieszać odpowiednio równoległe obciążenia w zgodnej konfiguracji,
• odciążać główny komputer podczas grania, pracy kreatywnej lub innych zadań interaktywnych,
• utrzymywać lokalny i znany użytkownikowi przepływ pracy.

PAIR nie:

• łączy wielu GPU w jeden większy akcelerator,
• sumuje pamięci VRAM dostępnej w różnych komputerach,
• dzieli jednego modelu ani pojedynczego żądania inferencji między kilka maszyn.

Przykładowe zastosowania

NVIDIA wskazuje trzy główne scenariusze użycia: przepływy wieloagentowe, wielozadaniowość oraz odciążanie systemu. W przypadku pracy wielu agentów PAIR może rozdzielać żądania generowane przez podagentów między różne komputery, zamiast kierować je kolejno do jednego węzła.

W demonstracji z modelem Qwen3.6 35B A3B pięć zadań podagentów wykonywanych na jednej karcie RTX 5090 zajmowało średnio 6 minut i 18 sekund. W konfiguracji PAIR z dwoma komputerami wyposażonymi w RTX 5090 czas spadł średnio do 3 minut i 48 sekund. NVIDIA zaznacza jednak, że jest to nieoficjalna demonstracja zależna od konkretnej konfiguracji, a nie ogólny benchmark ani gwarancja liniowego skalowania.

W scenariuszu wielozadaniowym oprogramowanie może uruchamiać kilka sesji równolegle na różnych urządzeniach. Z kolei przy odciążaniu systemu zadanie AI może zostać przeniesione na inny komputer, gdy główna maszyna jest zajęta grą lub pracą twórczą.

Lokalna alternatywa dla części zadań chmurowych

NVIDIA PAIR nie zastępuje rozwiązań, które wymagają dzielenia jednego dużego modelu między wiele kart graficznych. Jego celem jest raczej efektywne kierowanie pełnych, niezależnych zadań inferencji do urządzeń, które w danym momencie mają wolne zasoby. Dzięki temu narzędzie może lepiej wykorzystać komputery już znajdujące się w domu, jednocześnie pozostawiając dane i ruch AI w sieci lokalnej.