Hiện nay có rất nhiều dịch vụ LLM mạnh mẽ dựa trên nền tảng đám mây, nhưng giống như bất cứ thứ gì “trên mây”, hai vấn đề lớn thường gặp là nguy cơ bị thu thập dữ liệu cá nhân và độ ổn định khi truy cập. Bản thân tôi rất đam mê khám phá các mô hình LLM tự vận hành, và công nghệ này đã có những bước tiến vượt bậc kể từ khi người dùng phổ thông có thể chạy các mô hình mạnh mẽ, miễn phí ngay trên card đồ họa của mình. Dĩ nhiên, việc có chạy nổi hay không phụ thuộc nhiều vào cấu hình phần cứng, nhưng thực sự có vô số lựa chọn để bạn thử nghiệm.
Hiện tại, [tôi đang chạy Gemma 27B IT QAT và Qwen 2.5 Coder 32B trên AMD Radeon RX 7900 XTX](/self-hosted-ollama-proxmox-lxc-uses-amd-gpu/), đồng thời thường xuyên test các mô hình nhỏ hơn như Deepseek R1 0528 và Qwen 3 8B cho các bài kiểm tra nội bộ. Trong quá trình này, tôi đã rút ra được nhiều kinh nghiệm thực tế – và thực sự, nếu biết trước những điều này, tôi đã tiết kiệm được không ít thời gian, thậm chí có thể nâng cấp hệ thống sớm hơn. Dưới đây là những bài học quan trọng nhất mà tôi đúc kết, trong đó không chỉ có lời khuyên cho người mới mà cả những ai đã tự triển khai một thời gian cũng có thể bất ngờ.
7. Kích thước mô hình và VRAM không phải tất cả
Băng thông bộ nhớ mới thực sự quan trọng
Điều đầu tiên tôi ước mình biết sớm hơn: độ “thông minh” của mô hình không chỉ phụ thuộc vào kích thước hay số lượng tham số, mà còn ở tốc độ sinh token mỗi giây. Yếu tố quyết định lớn ở đây là băng thông bộ nhớ của GPU – lý do vì sao RTX 3090 vẫn là một trong những card đồ họa dân dụng tốt nhất để chạy LLM, dù đã có RTX 4090 và 5090. Băng thông lớn giúp quá trình suy luận diễn ra nhanh, giá lại mềm hơn các dòng xx90 mới. Dĩ nhiên, các thế hệ GPU mới mạnh hơn 3090 trên nhiều mặt, nhưng nếu chỉ xét về khả năng chạy LLM tại nhà, sự khác biệt không quá lớn. Ví dụ, RTX 5090 có thể nhanh hơn 3090 từ 2–3 lần (và sở hữu tới 32GB VRAM), còn 4090 so với 3090 thì chỉ nhỉnh hơn một chút khi chạy các mô hình ngôn ngữ lớn.
Một yếu tố nữa là “cửa sổ ngữ cảnh” (context window). Trong các mô hình ngôn ngữ, vị trí trong chuỗi dữ liệu được xác định bằng kỹ thuật Rotary Positional Embeddings (RoPE) – hiểu nôm na là một loại “thước đo” giúp mô hình nhận biết thứ tự từ. Khi tăng chiều dài “thước đo” này (tức tăng số token mà mô hình có thể xử lý cùng lúc), lượng phép toán và bộ nhớ cần thiết cũng tăng lên. Nếu bạn tăng gấp đôi context window (ví dụ từ 8K lên 16K token), tốc độ xử lý có thể giảm một nửa. Một số kỹ thuật mở rộng RoPE như NTK hay yaRN cho phép mở rộng context hơn nữa, nhưng đổi lại, khi hội thoại quá dài, mô hình có thể trả lời thiếu chính xác, thông tin bị “loãng” hơn.
Có nhiều cách để cung cấp thêm dữ liệu cho mô hình mà không nhất thiết phải mở rộng context window. Tuy nhiên, nếu chỉ đơn giản kéo dài context để mô hình “nhớ nhiều hơn”, hiệu năng sẽ giảm rõ rệt – nhất là khi VRAM đầy và phải chuyển sang dùng RAM, lúc này tốc độ sẽ tụt thê thảm.
6. Lượng tử hóa: “bạn đồng hành” đắc lực
Tiết kiệm bộ nhớ, hiệu suất vẫn giữ nguyên
Lượng tử hóa (quantization) là một khái niệm cực kỳ quan trọng khi chạy LLM tự vận hành. Nói đơn giản, đây là kỹ thuật nén các số thực 16 hoặc 32-bit trong mạng nơ-ron thành các số có ít bit hơn, giúp giảm kích thước mô hình mà gần như không ảnh hưởng đến chất lượng suy luận. Hiện tại, lượng tử hóa 8-bit (INT8) được dùng phổ biến, giúp chuyển mỗi giá trị thành 256 mức rời rạc, và thường không cần huấn luyện lại để sử dụng. Đơn cử, DeepSeek R1 bản 671B tham số, ở phiên bản lượng tử hóa 4-bit Q4_K_M, chất lượng gần như không khác biệt so với bản gốc chưa nén, dù dung lượng bộ nhớ giảm mạnh.
Ví dụ, bản Q4_K của DeepSeek R1 gốc (không phải 0528) chỉ khoảng 400GB, trong khi Q6_K và Q8_0 lần lượt là 550GB và 713GB – nhưng hiệu suất không chênh lệch nhiều. Như vậy, mô hình đòi hỏi tới 713GB RAM vẫn có thể chạy trên máy chỉ có dưới 500GB. Việc giảm từ Q8 xuống Q4 giúp bạn tiết kiệm gần một nửa bộ nhớ, mà chất lượng đầu ra gần như không đổi nhờ các kỹ thuật triển khai LLM hiện nay. Thực chất, đây là cách lưu trữ “nén” dữ liệu với thông tin phụ trợ, khi chạy sẽ giải mã lại, cho kết quả gần như tương đương mô hình gốc nhưng nhẹ hơn rất nhiều.
Tất nhiên, nếu nén quá mạnh, đôi khi sẽ xuất hiện lỗi – ví dụ, một số từ ít gặp hoặc phép toán phức tạp có thể bị sai do làm tròn. Tuy nhiên, lợi ích tiết kiệm VRAM, tăng tốc độ thường vượt trội so với việc thỉnh thoảng bị giảm nhẹ độ chính xác, nhất là với các tác vụ cơ bản. Nhờ “đánh đổi” nhỏ này, bạn có thể chạy mô hình lớn hơn so với khả năng phần cứng. Lưu ý: mô hình nhỏ (dù cùng mức lượng tử hóa) vẫn sẽ kém hơn mô hình lớn về mọi mặt.
5. Đừng quên chi phí điện
Ngoài tiền mua phần cứng
Chạy LLM tại nhà nghe thì tưởng tiết kiệm, nhưng nhiều người quên mất tiền điện và các chi phí phát sinh khác cũng “ngốn” không kém. RTX 4090 có mức tiêu thụ điện (TDP) tới 450W, mà giá điện trung bình ở Mỹ là 0,16 USD/kWh. Nếu bạn chạy hết công suất suốt tháng, hóa đơn tiền điện có thể lên tới hơn 50 USD/tháng chỉ riêng cho GPU. Dĩ nhiên, không phải ai cũng chạy 24/7, nhưng nếu dùng hàng ngày thì tổng chi phí cũng tăng rất nhanh, đôi khi còn cao hơn cả phí dùng API Gemini hay OpenAI để truy cập các LLM mạnh hơn.
Đó là chưa kể, nếu bạn muốn dùng nhiều GPU để tăng tốc suy luận, bạn còn phải nghĩ tới việc nâng cấp nguồn, làm mát, thậm chí sắm thêm linh kiện phụ trợ. Nhiều người nghĩ tự triển khai sẽ rẻ hơn ChatGPT Plus hay Google One AI, nhưng nếu cộng cả giá GPU, phần cứng, hóa đơn điện… thì về lâu dài có thể lại tốn kém hơn.
4. Đừng chỉ chăm chăm vào Nvidia
Card AMD và Intel cũng rất đáng cân nhắc
Trước đây, Nvidia gần như là lựa chọn duy nhất để chạy LLM tự vận hành, nhưng giờ đây điều đó đã thay đổi. Như tôi đã chia sẻ, tôi đang sử dụng AMD Radeon RX 7900 XTX cho các mô hình của mình, và cũng từng thử nghiệm Intel Arc A770 với 16GB VRAM. Hiện tại, card AMD đã được hỗ trợ chính thức trên các công cụ như Ollama, và dù cần chút thời gian cài đặt, GPU Intel cũng đã chạy được thông qua [IPEX LLM fork của Ollama](https://github.com/intel/ipex-llm/blob/main/docs/mddocs/Quickstart/ollama_portable_zip_quickstart.md).
Nvidia vẫn dẫn đầu về tốc độ sinh token mỗi giây, nhưng thực tế các dòng GPU cao cấp của Nvidia ngày càng khó mua, mà giá lại “trên trời”. A770 của Intel chạy LLM ổn định, còn tôi rất hài lòng với hiệu suất của 7900 XTX – kể cả với Gemma 27B tôi vẫn đạt trên 30 token/giây. Thêm nữa, 24GB VRAM của nó chỉ thua mỗi RTX 5090, ngang với 4090 nhưng giá rẻ hơn nhiều.
Nvidia vẫn là lựa chọn tối ưu nếu bạn có điều kiện, nhưng nếu không mua nổi, AMD và Intel cũng rất đáng để thử. Hãy tìm hiểu hiệu năng thực tế với mô hình bạn quan tâm – đôi khi bạn sẽ bất ngờ đấy!
3. Kỹ thuật prompt và tận dụng công cụ: bí quyết “vắt kiệt” mô hình nhỏ
Đừng vội tăng tham số nếu chưa tối ưu cách dùng
Nếu bạn đang chạy một mô hình nhỏ và muốn nó trả lời tốt hơn, đừng vội nghĩ cứ đổi sang mô hình to hơn là xong. Thay vào đó, hãy thử vài mẹo đơn giản dưới đây. Trước hết, hãy viết lại prompt: càng rõ ràng, cụ thể, ngắn gọn thì kết quả càng chính xác. Đừng nghĩ mô hình nhỏ ở nhà cũng “thông minh” như Gemini, ChatGPT hay Claude để xử lý những câu hỏi mơ hồ – hãy đặt câu hỏi thật súc tích, mô hình sẽ trả lời tốt hơn rất nhiều. Nếu thấy kết quả chưa ưng ý, thử điều chỉnh lại prompt trước khi nghĩ tới chuyện nâng cấp.
Mẹo thứ hai là sử dụng Retrieval Augmented Generation (RAG). Đây là phương pháp giúp mô hình tra cứu thông tin từ một tập dữ liệu ngoài trước khi đưa ra câu trả lời, nhờ đó độ chính xác tăng lên mà không cần đưa hết dữ liệu vào context window. RAG còn giúp giảm hiện tượng “ảo giác”, vốn hay xảy ra ở mô hình nhỏ. Tất nhiên, RAG không thể biến mô hình 7B thành 70B, nhưng nếu bạn cần tra cứu dữ liệu, hiệu quả mang lại rất lớn. Nvidia đã từng demo tính năng này với [Chat with RTX](/chat-with-rtx-hands-on/) cực kỳ ấn tượng.
Cuối cùng, hãy tận dụng các “công cụ” (tools). Với LLM, đây là những tiện ích phần mềm mà mô hình có thể tự động gọi khi cần thiết. Ví dụ, JSON Toolkit cho phép LLM xử lý dữ liệu JSON hiệu quả mà không tốn context cho các phần không liên quan. Tương tự, tiện ích Pandas Dataframe giúp mô hình chạy mã Python để tìm đáp án mà không cần tải hết dữ liệu vào context. Có rất nhiều công cụ kiểu này, và trong nhiều trường hợp, bạn không cần “ép” mô hình phải to hơn mà vẫn giải quyết được bài toán.
2. Mixture of Experts (MoE) – giải pháp cho VRAM hạn chế
Nhưng cần biết cách cấu hình
Mô hình Mixture-of-Experts (MoE) thực chất không phải mới, nhưng chỉ gần đây mới phổ biến trong cộng đồng AI. Ý tưởng là chia mạng nơ-ron thành các nhóm “chuyên gia”, với một cổng điều phối nhẹ quyết định nhóm nào xử lý từng phần việc. Điều này không làm mô hình nhẹ đi so với cùng tham số và mức lượng tử hóa, nhưng lại cho phép bạn [tùy chỉnh cách tải mô hình](https://medium.com/@david.sanftenberg/gpu-poor-how-to-configure-offloading-for-the-qwen-3-235b-a22b-moe-model-using-llama-cpp-13dc15287bed): những tensor ít dùng có thể chuyển sang RAM, nhường chỗ trên VRAM cho phần quan trọng.
Đây là chủ đề nâng cao, không dành cho người mới làm quen. Tuy nhiên, nếu bạn gặp giới hạn VRAM, hãy biết rằng vẫn có cách cấu hình để giảm tác động đến hiệu năng khi chạy mô hình MoE. Hiện đã có khá nhiều mô hình MoE cho bạn thử nghiệm, và khi đã quen với công cụ yêu thích, bạn hoàn toàn có thể tối ưu để chạy được mô hình lớn hơn, khai thác tối đa VRAM, đẩy phần phụ sang RAM.
1. Hãy bắt đầu thật đơn giản
LM Studio – lựa chọn số 1 cho người mới
Nếu mới làm quen với LLM tự vận hành, thay vì “lao vào” các công cụ như Ollama, Open Web UI – vốn khá phức tạp cho người lần đầu, bạn nên dùng giao diện đồ họa như LM Studio để khởi động. Cách dùng cực kỳ dễ: chỉ cần tìm mô hình cần thiết bằng công cụ tìm kiếm tích hợp, tải về và chạy ngay – không cần thiết lập phức tạp, hoàn toàn “cắm vào là dùng”. Mọi thư viện cần thiết đều có sẵn, hỗ trợ đủ Windows, Linux, macOS, không cần lo lắng về các bước cài đặt lằng nhằng.
Thậm chí, LM Studio còn có thể chạy server tương thích OpenAI ở chế độ nền – rất tiện cho việc phát triển, thử nghiệm ứng dụng hoặc công cụ khi bạn chỉ cần trỏ vào endpoint cục bộ. Đây là lựa chọn đơn giản, miễn phí, cực kỳ phù hợp để bạn bắt đầu làm quen với LLM tự triển khai trước khi tìm hiểu các giải pháp phức tạp hơn. Các cài đặt quan trọng như prompt hệ thống, độ dài context… đều có thể chỉnh dễ dàng – rất lý tưởng cho người mới.
Chúng tôi rất muốn nghe ý kiến của bạn! Hãy chia sẻ quan điểm bên dưới và nhớ giữ thái độ tôn trọng.
Bình luận của bạn chưa được lưu
Chủ đề này đang mở để thảo luận.
Hãy là người đầu tiên chia sẻ suy nghĩ của mình.
