Groq cân nhắc DRAM xếp chồng 3D cho chip AI thế hệ mới

Groq đang đánh giá gói DRAM xếp chồng 3D cho chip AI thế hệ tiếp theo, động thái kiến trúc đầu tiên được báo cáo kể từ khi được Nvidia thâu tóm trên thực tế, theo truyền thông nước ngoài. Thay đổi này sẽ đưa công ty rời xa thiết kế phụ thuộc SRAM sang dung lượng bộ nhớ cao hơn.

Phương án “3DS” đề xuất sử dụng công nghệ xuyên silicon (TSV) để xếp chồng nhiều die theo chiều dọc, khoan hàng nghìn vi lỗ xuyên qua chip DRAM nhằm đạt mật độ bộ nhớ cao trên một đơn vị diện tích. Khác với HBM ưu tiên tốc độ trao đổi dữ liệu cực cao, 3DS giữ nguyên giao thức giao diện DRAM tiêu chuẩn hiện có trong khi tập trung vào mở rộng dung lượng.

Kiến trúc LPU của Groq thu hút sự chú ý nhờ tốc độ suy luận cao, nhưng dung lượng SRAM nhỏ hạn chế hiệu năng trên các mô hình hàng trăm tỷ tham số. Tốc độ đọc ghi gốc của DRAM chậm hơn SRAM, nhưng dung lượng lớn hơn là lợi thế cho triển khai mô hình phức tạp. Kế hoạch xếp chồng 3D nhằm duy trì tốc độ đồng thời giải quyết hạn chế dung lượng cho khối lượng suy luận AI rất lớn.