Credit: Future
Nvidia sẽ giới thiệu nền tảng Vera Rubin vào cuối năm nay, khi thế giới AI đang chuyển sang kỷ nguyên mà nhu cầu suy luận (inference) cho các mô hình AI có tính tác nhân (agentic) ở quy mô khổng lồ sẽ chiếm ưu thế, thay vì chỉ tập trung vào các buổi huấn luyện tiên tiến. Nhu cầu tạo token trong các quy trình tác nhân và yêu cầu cung cấp chúng nhanh, hiệu quả, chi phí thấp hiện đang là chủ đề chính.
Chúng tôi đã đi sâu vào các số liệu hiệu năng mới của CPU Vera và cách nó tăng tốc các khối lượng công việc AI có tính tác nhân, nhưng Nvidia còn tiết lộ thêm một số tính năng mới của kiến trúc Rubin và cách chúng được thiết kế để nâng cao hiệu suất suy luận, từ mức độ GPU cho tới triển khai trên quy mô rack và trung tâm dữ liệu.
Credit: Nvidia
Hệ thống rack‑scale Vera Rubin NVL72 đầy đủ gồm 36 CPU Vera và 72 GPU Rubin; trong bài này chúng tôi tập trung vào phần GPU. Rubin gộp hai die tính toán vào một package duy nhất bằng giao diện Nvidia High Bandwidth Interface. Chip cuối cùng sở hữu 224 Streaming Multiprocessors (SM) chứa tổng cộng 896 Tensor Cores và 288 GB bộ nhớ HBM4, có băng thông bộ nhớ lên tới 22 TB/s.
Với tư cách là một bộ tăng tốc chuyên cho suy luận, Nvidia quảng cáo Rubin đạt 50 sparse PFLOPS độ thông throughput NVFP4 – con số này chỉ là một trong nhiều loại dữ liệu mà chip có thể xử lý. Dưới đây là một số thông số quan trọng đã được công bố:
| GPU Nvidia Rubin | |
|---|---|
| NVFP4 Inference | 50 PFLOPS (với sparsity) |
| NVFP4 Training | 35 PFLOPS |
| FP8/FP6 Training | 17.5 PFLOPS |
| INT8 | 250 TOPS |
| FP16/BF16 | 4 PFLOPS |
| TF32 | 2 PFLOPS |
| FP32 | 130 TFLOPS |
| FP64 | 33 TFLOPS |
Bộ tăng tốc Tensor Memory (TMA) của Rubin giúp quản lý các mô hình MoE ngày càng lớn
Đầu tiên, Nvidia nhấn mạnh cải tiến hiệu suất của Tensor Memory Accelerator (TMA), một engine dành riêng để tính toán địa chỉ bộ nhớ và tải trực tiếp dữ liệu mảng vào bộ nhớ cục bộ chia sẻ của GPU.
Các kiến trúc mô hình AI tiên tiến đã chuyển từ mô hình dày đặc, trong đó mọi tham số đều được kích hoạt cho mỗi token đầu ra, sang kiến trúc mixture‑of‑experts (MoE), chỉ kích hoạt một số mạng con chuyên biệt cho từng token dựa trên quyết định của router.
Credit: Nvidia
Trong các GPU Blackwell, TMA phải duy trì các mô tả MoE riêng biệt trong bộ nhớ cho vị trí của mỗi chuyên gia, khiến việc tìm và di chuyển trọng số chuyên gia tiêu tốn nhiều tài nguyên tính toán khi số lượng chuyên gia tăng. TMA của Rubin giờ hỗ trợ các kernel GPU duy trì và cập nhật một mô tả MoE hợp nhất duy nhất trực tiếp trong lệnh TMA tại thời gian chạy, giảm thiểu chi phí tính toán siêu dữ liệu MoE và giảm tải cho việc di chuyển dữ liệu. Nhờ vậy, các chu kỳ CPU của GPU được giải phóng để tập trung vào các phép tính suy luận – nơi một bộ tăng tốc AI đắt tiền cần dành hầu hết thời gian.
Gấp đôi thông lượng trên chiều K, gấp đôi đầu ra của Tensor Core
Rubin còn nâng cao hiệu năng cơ bản của các phép tính ma trận trong Tensor Core bằng cách tăng gấp đôi khối lượng công việc mà các core này có thể thực hiện trên chiều K (chiều chung của hai ma trận cần nhân). Không đi sâu vào công thức, kích thước chiều K liên quan trực tiếp tới số lần Tensor Core phải lặp lại các phần tử của hai ma trận.
Credit: Nvidia
Theo ví dụ của Nvidia, một ma trận kết quả cần bốn vòng lặp trên Blackwell chỉ cần hai vòng trên Rubin. Nvidia cho rằng cải tiến này mang lại lợi ích rộng rãi cho các kernel bị ràng buộc bởi thông lượng, băng thông và độ trễ, đồng thời hỗ trợ cả giai đoạn xử lý ngữ cảnh và giai đoạn giải mã trong suy luận.
Softmax trên Rubin đạt tăng tốc tới 4× so với Blackwell
Rubin cũng tập trung cải thiện hiệu năng của cơ chế attention – nền tảng của các LLM dựa trên transformer. Các mô hình tiên tiến hiện hỗ trợ chiều dài ngữ cảnh lên tới một triệu token; việc thực hiện nhanh các phép tính attention trên chuỗi đầu vào dài như vậy là yếu tố then chốt để nâng cao hiệu suất suy luận.
Softmax là một phép toán không thể thiếu trong attention, và để bắt kịp tốc độ Tensor Core tăng lên trong Rubin, Nvidia đã một lần nữa đẩy mạnh thông lượng softmax trong Simple Function Unit (SFU) của SM. Vì softmax dựa vào khả năng tính toán hàm siêu việt của SFU, nên nó có thể trở thành nút thắt cho các công việc suy luận tiếp theo – một giới hạn mà Nvidia đã cố gắng khắc phục qua các cải tiến cho Blackwell Ultra SFU.
| GPU | FP32 Exponential Throughput | BF16/FP16 Exponential Throughput |
|---|---|---|
| Blackwell | 1× | 1× |
| Blackwell Ultra | 2× | 2× |
| Rubin | 2× | 4× |
Rubin duy trì tốc độ gấp 2 lần của Blackwell Ultra đối với phép tính lũy thừa FP32, và tăng gấp 2 lần nữa đối với BF16/FP16 so với Blackwell Ultra, tương đương mức cải thiện 4× so với Blackwell cho các kiểu dữ liệu độ chính xác thấp hơn.
Quản lý phụ thuộc chi tiết hơn, tăng độ chiếm giữ Tensor Core
Rubin còn tăng độ chiếm giữ Tensor Core bằng cách cung cấp các cơ hội phối hợp chi tiết hơn giữa các kernel phụ thuộc so với Blackwell. Một ví dụ mà Nvidia đưa ra là quá trình sinh activations cho LLM, trong đó một kernel tạo và lưu trữ dữ liệu để kernel tiếp theo dùng làm prompt khi tín hiệu đi qua mạng nơ-ron.
Credit: Nvidia
Trên GPU Blackwell, một kernel producer chạy lâu trên một thread block có thể trì hoãn kernel consumer tiếp theo, ngay cả khi các thread block khác của producer đã hoàn thành. Rubin cho phép giải quyết phụ thuộc ở mức thread block: một kernel consumer có thể bắt đầu thực thi ngay khi output của mỗi thread block từ producer có sẵn, thay vì chờ toàn bộ batch dữ liệu của producer. Cách quản lý chi tiết này nâng cao mức sử dụng GPU, giảm độ trễ giữa các kernel và cuối cùng tăng số token mỗi giây cho mỗi người dùng.
Giao tiếp giữa các GPU hiệu quả hơn, giảm chi phí phụ trợ NVLink
Tất cả các cải tiến kể trên đều liên quan đến cách làm việc trên một GPU, nhưng hệ thống accelerator rack‑scale Vera Rubin NVL72 bao gồm rất nhiều GPU kết nối qua mạng lưới NVLink trong rack. Trọng số mô hình, cache key‑value và các tin nhắn đồng bộ giữa GPU đều di chuyển trên mạng này, vì vậy giảm chi phí phụ trợ và độ trễ là yếu tố then chốt để đạt hiệu năng tối đa.
GPU chạy kernel CUDA có thể khởi tạo giao tiếp trực tiếp với các GPU khác trong rack bằng API của Nvidia Collective Communications Library (NCCL), giúp giảm chi phí phụ trợ. Nvidia lưu ý rằng vì GPU thực hiện các thao tác này ngay trong kernel tính toán, việc thực thi hiệu quả các giao tiếp trở nên quyết định đối với hiệu năng tổng thể.
Credit: Nvidia
Trên hệ thống Blackwell, một chuyển tải NVLink giữa các GPU có thể yêu cầu thao tác lưu trữ dữ liệu, sau đó là rào cản bộ nhớ và cờ nguyên tử. Kiến trúc Rubin giới thiệu tính năng counted writes giúp giảm lượng đồng bộ và lưu lượng giao tiếp cần thiết để chia sẻ dữ liệu giữa các GPU. Trên Rubin, rào cản bộ nhớ và các phép toán nguyên tử được thay thế bằng một cập nhật bộ đếm ghi trên GPU nhận, giảm lưu lượng mạng và độ trễ, đồng thời tăng khả năng sử dụng tính toán bằng cách giảm thời gian chờ đồng bộ.
Tóm lại, cùng với hiệu năng đơn lõi ấn tượng của CPU Vera cho các tác vụ như gọi công cụ, biên dịch mã và các mô hình AI có tính tác nhân, những cải tiến trên GPU Rubin về hiệu suất các thao tác suy luận quan trọng, cùng với việc tối ưu di chuyển dữ liệu trong chip và qua rack, hứa hẹn tạo ra một hệ thống quy mô rack và trung tâm dữ liệu có khả năng tăng hiệu năng suy luận đồng thời giảm chi phí suy luận trên mỗi token trong tương lai ngày càng có tính tác nhân mà Nvidia đang hướng tới. Chúng tôi rất mong được chứng kiến thêm những khả năng của GPU này khi các hệ thống Vera Rubin bắt đầu được giao hàng vào mùa thu này.
Nvidia, Vera Rubin, AI hardware
