Apple đang trong giai đoạn đàm phán sơ bộ với PrismML, một công ty khởi nghiệp chuyên nén các mô hình AI lớn để chạy trên điện thoại thông minh, theo lời Babak Hassibi, CEO của PrismML, chia sẻ với CNBC. Hassibi mô tả các cuộc đàm phán là “cầu nối đầu tiên”, cho biết vẫn chưa rõ kết quả cuối cùng sẽ như thế nào, nhưng “mọi thứ đang tiến triển tốt”.
PrismML đã ra mắt dòng sản phẩm Bonsai 27B vào thứ Ba vừa qua; công ty cho biết mô hình này giảm kích thước của một mô hình 27,8 tỷ tham số từ khoảng 54 GB xuống còn 3,9 GB nhờ lưu trữ mỗi trọng số dưới dạng một hoặc ba giá trị (thay vì chuẩn 16‑bit). Với kích thước như vậy, mô hình có thể chạy trên iPhone 15 hoặc các phiên bản mới hơn, theo PrismML.
Hassibi nói với CNBC rằng Apple và một số công ty khác đã đo lường các mô hình của startup về mặt tốc độ, tiêu thụ năng lượng và hiệu năng trên thiết bị. Apple không đưa ra bình luận.
Theo PrismML, các mô hình đã nén chỉ cần từ một phần mười đến một phần mười lăm dung lượng bộ nhớ so với phiên bản chuẩn, cung cấp phản hồi nhanh gấp sáu đến tám lần và tiêu thụ ít điện năng hơn ba đến sáu lần. Hassibi lưu ý việc nén có một mức giá phải trả: độ chính xác tổng thể giảm đi vài phần trăm, và kiến thức thực tế giảm nhanh hơn so với các khả năng như suy luận và lập trình.
Dòng sản phẩm Bonsai 27B có hai biến thể. Phiên bản 1‑bit, có dung lượng khoảng 4 GB, được tối ưu cho mức nén cao nhất và được thiết kế để chạy trên các thiết bị di động cao cấp, bao gồm iPhone 17 Pro, nơi công ty cho biết đạt 11 token mỗi giây (tức là 11 đơn vị ngôn ngữ mỗi giây). Phiên bản 1.58‑bit ternary mang lại chất lượng cao hơn trong khi vẫn giữ kích thước nhỏ hơn đáng kể so với mô hình đầy đủ, đạt hơn 95 % hiệu năng chuẩn, công ty nói. Cả hai mô hình đều được phát hành theo giấy phép Apache 2.0 miễn phí. PrismML cho biết mô hình nguồn mở Gemma của Google sẽ là sản phẩm tiếp theo trong dòng sản phẩm.
PrismML được thành lập dựa trên nghiên cứu tại California Institute of Technology, nơi sở hữu các bằng sáng chế liên quan và cấp cho PrismML quyền độc quyền thương mại hoá. Startup này đã huy động 16,25 triệu USD vòng seed vào tháng Ba, do Khosla Ventures dẫn đầu.
Apple đang nỗ lực mở rộng mức độ xử lý AI trực tiếp trên thiết bị thay vì dựa vào đám mây. Apple đã ra mắt phiên bản Siri được cải tiến tại WWDC tháng 6, sử dụng công nghệ Google Gemini, và iOS 27 đã bước vào giai đoạn beta công cộng vào thứ Hai. Hiện tại, Apple chuyển các truy vấn phức tạp hơn sang máy chủ đám mây riêng hoặc các mô hình bên thứ ba, chỉ để lại một số tác vụ cho xử lý trên thiết bị. Nếu nhiều công việc AI hơn được thực hiện trực tiếp trên iPhone, thời gian phản hồi sẽ ngắn lại, chi phí hạ tầng đám mây giảm và chiến lược bảo mật lâu dài của Apple sẽ được củng cố hơn.
Apple,AI,iPhone
