Google rozszerza rodzinę TPU v8 o układy TPU 8tx i TPU 8i Max

Google rozbudował linię TPU v8 o dwa nowe warianty: TPU 8tx oraz TPU 8i Max. Nowe układy są kierowane do rosnących obciążeń związanych z systemami agentowymi, bezpiecznym wnioskowaniem oraz pracą na bardzo długich kontekstach. To pierwszy raz, gdy firma wprowadziła cztery warianty TPU w ciągu jednego roku.

TPU 8tx z naciskiem na poufne wnioskowanie

TPU 8tx jest zmodyfikowaną wersją TPU 8t. Według dostępnych informacji układ ma obsługiwać poufne wnioskowanie oraz zadania agentowe. Google połączył w tym wariancie krzem TPU 8t z niestandardowymi hostami CPU AMD, dodając mechanizmy poufnego przetwarzania na poziomie sprzętowym.

Celem tych zmian jest ochrona danych oraz wag modeli w trakcie przetwarzania. TPU 8tx korzysta również z sieci Boardfly opracowanej dla TPU 8i. Google deklaruje, że taka konfiguracja może zapewnić nawet dwukrotnie wyższą wydajność względem TPU 8t, przy niemal zerowym narzucie wynikającym z dodatkowych funkcji bezpieczeństwa.

TPU 8i Max łączy dwa układy TPU 8i

Drugą nowością jest TPU 8i Max, który integruje dwa chipy TPU 8i w jednej obudowie. Rozwiązanie ma odpowiadać na wysokie wymagania pamięciowe obciążeń agentowych oraz kontekstów liczonych w milionach tokenów.

Google informuje, że podwójna konstrukcja TPU 8i Max zapewnia dwukrotnie większą moc obliczeniową, dwukrotnie większą ilość pamięci SRAM oraz dwukrotnie wyższą przepustowość HBM w porównaniu z TPU 8i. Jednocześnie układ ma zajmować w szafie serwerowej zbliżoną przestrzeń do TPU 8i, co w praktyce oznacza podwojenie gęstości obliczeniowej.

TPU 8i Max oferuje 768 MB pamięci SRAM. Google nie potwierdził jednak, jaka pojemność pamięci HBM jest dostępna w tym wariancie.

Kontekst: TPU 8t i TPU 8i

TPU 8t został zaprojektowany głównie z myślą o trenowaniu modeli AI. Układ korzysta z pakietu określanego jako Zebra, który integruje centralny chiplet logiczny, dedykowany chiplet SerDes oraz stosy pamięci HBM. Publicznie dostępne dane wskazują, że TPU 8t oferuje do 12,6 PFLOPS mocy obliczeniowej FP4 na chip, od 216 GB do 288 GB pamięci HBM oraz 128 MB pamięci SRAM na układzie.

TPU 8i jest z kolei przeznaczony przede wszystkim do wnioskowania. Wyposażono go w dwa TensorCore, a jego szczytowa wydajność FP4 ma wynosić 10,1 PFLOPS. Każdy chip TPU 8i ma 288 GB pamięci HBM3e o przepustowości 8,6 TB/s oraz 384 MB pamięci SRAM na potrzeby aktywnej pamięci podręcznej KV.

Najważniejsze informacje

• TPU 8tx bazuje na TPU 8t i jest przeznaczony do poufnego wnioskowania oraz obciążeń agentowych.
• TPU 8tx współpracuje z niestandardowymi hostami CPU AMD i korzysta z sieci Boardfly.
• TPU 8i Max łączy dwa układy TPU 8i w jednej obudowie.
• TPU 8i Max ma zapewniać dwukrotnie większą moc obliczeniową, SRAM i przepustowość HBM względem TPU 8i.
• Google nie podał potwierdzonej pojemności HBM dla TPU 8i Max.