Prezentacja SanDisk o pamięci HBF wywołała krytykę za dobór porównań z HBM

Lead: SanDisk zaprezentował inwestorom koncepcję pamięci High-Bandwidth Flash jako możliwego sposobu na ograniczenia HBM w zastosowaniach AI. Materiały pokazane podczas wydarzenia wywołały jednak dyskusję, ponieważ zdaniem krytyków firma przedstawiła porównania w sposób wybiórczy i nie uwzględniła istotnych ograniczeń technologii NAND.

HBF jako odpowiedź na ograniczenia HBM

High-Bandwidth Flash, rozwijany przez SanDisk we współpracy z SK hynix, ma być standardem pamięci wykorzystującym warstwowo układane kości NAND połączone za pomocą TSV oraz kontroler logiczny. Według informacji podawanych przez firmę rozwiązanie ma oferować 512 GB pojemności oraz przepustowość w zakresie od 0,4 TB/s do 3 TB/s. Komercyjne wdrożenie planowane jest na lata 2028/2029.

Koncepcja HBF ma odpowiadać na problem ograniczonej pojemności HBM, która jest montowana w pobliżu GPU. W praktyce zwiększanie zasobów HBM często wiąże się z koniecznością stosowania większej liczby akceleratorów, co znacząco podnosi koszty infrastruktury.

Krytyka parametrów użytych w prezentacji

Najwięcej uwag wzbudziły slajdy, na których SanDisk miał przyjąć dla HBM pojemność 192 GB na GPU oraz przepustowość 12,8 TB/s. Krytycy wskazują, że przy planowanym terminie wejścia HBF na rynek właściwszym punktem odniesienia powinny być nowsze generacje HBM, w tym 16-warstwowe HBM4E. Według przywoływanych ocen takie rozwiązania mogą osiągać około 32 TB/s, czyli znacząco więcej niż wartość wykorzystana w porównaniu.

Spór o kwantyzację modeli AI

Wątpliwości dotyczyły także wyboru formatu BF16 jako podstawy do obliczeń pojemnościowych. Część komentatorów zwraca uwagę, że wiele współczesnych wdrożeń modeli AI korzysta z formatów takich jak FP8 lub FP4, co wpływa na rzeczywiste zapotrzebowanie na pamięć.

• HBM jest obecnie wykorzystywana do przechowywania wag modeli oraz pamięci podręcznej KV cache.
• HBF ma zwiększyć pojemność dzięki zastosowaniu układów NAND, ale opiera się na technologii o innych charakterystykach niż DRAM.
• Równoległość odczytów ma pozwolić HBF osiągać wysoką łączną przepustowość mimo wolniejszego działania pojedynczych komórek NAND.

Pomijana kwestia trwałości zapisu

Najpoważniejszy zarzut dotyczy braku informacji o trwałości zapisu HBF. NAND ma ograniczoną liczbę cykli zapisu, podczas gdy w przypadku pamięci DRAM stosowanej w HBM problem ten nie występuje w taki sam sposób. Zdaniem krytyków pominięcie tej kwestii jest istotne, ponieważ może wpływać na przydatność HBF w zadaniach intensywnie aktualizujących dane, takich jak obsługa KV cache.

Choć HBF może stanowić interesujący kierunek rozwoju pamięci dla systemów AI, dyskusja po prezentacji SanDisk pokazuje, że porównania z HBM będą wymagały precyzyjnego doboru parametrów oraz pełniejszego omówienia ograniczeń wynikających z zastosowania NAND.