AI cục bộ: Ba quy trình thực tiễn bạn có thể chạy trên thiết bị

AI đám mây mạnh mẽ nhưng không riêng tư. AI cục bộ lại bảo vệ dữ liệu tốt hơn nhưng ít mạnh mẽ hơn. Sự đánh đổi này là thực tế, và việc cố gắng chọn một trong hai là cách tiếp cận sai lầm. Thay vào đó, bạn nên tìm những công việc không yêu cầu khả năng suy luận cao của model nhưng cần bảo vệ dữ liệu, rồi để các LLM chạy trên thiết bị tự động hoá chúng. Dưới đây là ba công việc mà tôi đã tự động hoá bằng các LLM chạy trực tiếp trên máy.

Cấu hình AI cục bộ tôi đang dùng

Phần cứng và phần mềm cho ba quy trình

Tôi dùng LM Studio làm giao diện chính – một ứng dụng đồ họa đơn giản cho phép tải và chạy các mô hình ngôn ngữ trên máy mà không cần mở terminal. Mô hình tôi chạy là Qwen 3.5 9B ở chế độ lượng tử 4‑bit; nó hỗ trợ thị giác (có thể phân tích hình ảnh) và gọi công cụ (có thể ghi file hoặc tương tác với ứng dụng).

Máy của tôi: Ryzen 5 5600G, 32 GB RAM, RTX 3060 (12 GB VRAM). Các GPU nhỏ hơn có thể dùng mô hình thu nhỏ – xem liên kết để thử mô hình nhẹ hơn.

Trên LM Studio tôi đã cài đặt các máy chủ MCP (Model Context Protocol), cho phép mô hình truy cập các công cụ như hệ thống tệp, Notion, Asana, v.v.

Đối với xử lý giọng nói, tôi dùng Whisper kết hợp với thư viện Python RealtimeSTT. Một lựa chọn đồ họa thay thế là OpenWhispr.

Bí mật: Gemini Nano Banana Pro Prompts: Hô biến ảnh chân dung thành biếm họa 3D chỉ trong tích tắc

1. Ghi lại mọi hoá đơn vào file CSV ngân sách mà không cần gõ một ký tự nào

Ảnh chụp → bảng tính

Thu thập hoá đơn – ảnh chụp màn hình thanh toán trên điện thoại (Apple Pay/Google Pay) hoặc ảnh chụp hoá đơn giấy.
Kéo các hình ảnh vào LM Studio khi Qwen 3.5 đã được tải.
Dùng lời nhắc như dưới đây; mô hình sẽ trích xuất tên cửa hàng, ngày, số tiền, danh mục từ mỗi ảnh và ghi/đính kèm dữ liệu vào file CSV qua máy chủ MCP hệ thống tệp.


You have access to thefilesystem. In this path I keep all my finances: [full file path]
I'm attaching a set of receipt images or payment screenshots. For each one, extract the following:
- merchant name
- date
- total amount
- category (e.g. food, transport, utilities, entertainment)
Once you've extracted the data from all images, append it to the budgeting CSV file in the provided path in the format:
Date, Merchant, Amount, Category.
If the file doesn't exist, create it with those column headers first.
Don't ask for confirmation. Just process each image and write the data.

Mẹo: Sau khi xử lý, mở nhanh file CSV để kiểm tra các lỗi OCR hiếm gặp trên hoá đơn bị nhăn hoặc viết tay.

2. Chuyển các bản ghi âm không có cấu trúc thành ghi chú viết có cấu trúc

Biến bản ghi thô thành “Zettelkasten” gọn gàng

Ghi âm ghi chú bằng điện thoại hoặc máy thu.
Chuyển văn bản bằng Whisper (hoặc OpenWhispr).
Yêu cầu LM Studio sắp xếp lại bản chuyển đổi thô thành các ghi chú rõ ràng, có tiêu đề, và tùy chọn là các ghi chú dạng atomic kiểu Zettelkasten.

Bí mật: Apple mua lại công ty khởi nghiệp Q.ai có trụ sở tại Israel

Ví dụ lời nhắc:


Below is a raw voice transcription. It's unstructured and may be repetitive or rambling—that's expected.
Your job is to reorganize this into clear, structured notes. Break it into logical sections with headers.
Under each header, use bullet points for the key ideas.
If the content contains distinct self‑contained ideas, also produce a set of atomic notes at the end—each one a single idea with a short title, written in 2‑4 sentences.
Save the structured notes as a markdown file at [YOUR FOLDER PATH]/notes/[auto‑generate a descriptive filename based on the content].md
Transcription: [PASTE TRANSCRIPTION HERE]

Kết quả có thể lưu trực tiếp vào thư mục cục bộ (ví dụ: vault Obsidian) hoặc đẩy lên Notion qua máy chủ MCP tương ứng.

3. Dùng AI cục bộ làm bộ định tuyến công việc cá nhân

Ngừng tự mình phân loại công việc qua các app—để mô hình làm việc này

Đưa danh sách công việc (dạng thô hoặc đã có cấu trúc) vào mô hình.
Với lời nhắc phù hợp và các máy chủ MCP đã kết nối, mô hình sẽ tự động phân phối:
- Công việc chuyên môn → Asana
- Dự án cá nhân → Notion
- Hạn chót → Google Calendar

Các ghi chú do quy trình 2 tạo ra có thể làm nguồn dữ liệu chính. Mô hình sẽ đọc các ghi chú mới, nhận diện các hành động cần thực hiện và chuyển chúng tới đúng ứng dụng.

Bí mật: Giám đốc điều hành OpenAI xác nhận thiết bị đầu tiên chạy ChatGPT sẽ ra mắt vào năm 2026

Nếu một app chưa có máy chủ MCP chính thức nhưng cung cấp API, bạn có thể tự xây dựng máy chủ MCP – quá trình này Claude (hoặc LLM khác) có thể hỗ trợ.

Tại sao nên giữ ở chế độ cục bộ?

Cả ba quy trình đều liên quan tới dữ liệu riêng tư (hoá đơn tài chính, suy nghĩ cá nhân, danh sách công việc) mà bạn không muốn chia sẻ với dịch vụ AI bên ngoài. Chạy mô hình trên máy cho phép bạn xử lý thông minh mà không bao giờ rời khỏi thiết bị.

local AI, automation, LLM