Gelix 1: singapurski układ AI ma przewyższać M4 Pro w inferencji

Singapurski startup Acrab przedstawił układ AI Gelix 1, który według deklaracji firmy ma oferować wysoką wydajność inferencji w obudowie porównywalnej z komputerem Mac mini. Producent twierdzi, że chip może obsługiwać modele językowe do 100 miliardów parametrów, choć kluczowe szczegóły konfiguracji pozostają nieznane.

Gelix 1 jako kompaktowa platforma do lokalnej AI

Gelix 1 ma być odpowiedzią na rosnące zainteresowanie niewielkimi komputerami przeznaczonymi do uruchamiania agentów i modeli AI lokalnie. Acrab wskazuje, że jego rozwiązanie wykorzystuje 20-rdzeniowy procesor ARM oraz powstaje w litografii 5 nm.

Układ ma korzystać z wielordzeniowego akceleratora neuronowego oraz zunifikowanej pamięci, co według firmy pozwala osiągnąć przepustowość na poziomie 273 GB/s. To wartość odpowiadająca przepustowości znanej z Apple M4 Pro.

Test z modelem Gemma 26B

Według danych przedstawionych przez Acrab, Gelix 1 uzyskał wynik 1416 tokenów na sekundę w fazie pre-fill podczas pracy z modelem Gemma 26B i oknem kontekstowym 40 000 tokenów. Dla porównania, w tym samym scenariuszu Mac mini z układem M4 Pro miał osiągnąć 188 tokenów na sekundę.

Te rezultaty należy traktować ostrożnie, ponieważ zgodnie z informacjami podanymi w materiale źródłowym nie przeprowadzono jeszcze niezależnej weryfikacji benchmarków.

Najważniejsze deklarowane cechy Gelix 1

• CPU: 20-rdzeniowy procesor ARM.
• Proces technologiczny: 5 nm.
• Przepustowość pamięci: 273 GB/s.
• Wydajność w teście Gemma 26B: 1416 tokenów na sekundę w fazie pre-fill według Acrab.
• Format urządzenia: kompaktowa konstrukcja porównywana z Mac mini.

Obsługa modeli 100B zależy od pamięci

Jedną z najważniejszych zapowiedzi jest możliwość uruchamiania modeli językowych do 100 miliardów parametrów. W materiale źródłowym zwrócono jednak uwagę, że taka funkcja będzie zależna od ilości dostępnej pamięci. Dla porównania Mac mini z M4 Pro jest ograniczony do 48 GB zunifikowanej pamięci, co według źródła powinno wystarczać do sprawnej pracy z modelami klasy 35B.

W przypadku modeli 100B wskazywana jest potrzeba 128 GB pamięci zunifikowanej, ale nie potwierdzono, czy i w jakiej konfiguracji Gelix 1 będzie dostępny z taką pojemnością.

Cena i dostępność pozostają nieznane

Acrab kieruje swoje rozwiązanie do użytkowników i firm, które chcą uruchamiać większe modele AI lokalnie, z mniejszymi opóźnieniami i bez wysyłania danych do chmury. Na razie nie podano jednak informacji o cenie ani terminie wprowadzenia produktu na rynek.

Źródło zaznacza również, że konfiguracja zdolna do lokalnej pracy z modelami 100B najprawdopodobniej nie będzie należała do tanich.