Startup Mỹ tuyên bố đưa mô hình AI 120 tỉ tham số vào thiết bị bỏ túi

Trong nhiều năm qua, sự phát triển của trí tuệ nhân tạo (AI) gắn liền với quy mô ngày càng lớn, nhiều dữ liệu hơn, nhiều tham số hơn và sức mạnh tính toán khổng lồ hơn.

Chính vì vậy, các mô hình ngôn ngữ lớn (LLM) thường chỉ có thể vận hành trên các trung tâm dữ liệu đắt đỏ, phụ thuộc nặng nề vào điện toán đám mây và GPU chuyên dụng.

Tuy nhiên, một công ty khởi nghiệp của Mỹ đang thách thức cách tiếp cận này bằng việc đưa AI quy mô lớn vào một thiết bị có thể bỏ túi.

Tiiny AI Inc. mới đây đã giới thiệu Tiiny AI Pocket Lab, được Guinness World Records công nhận là siêu máy tính AI cá nhân nhỏ nhất thế giới trong hạng mục “máy tính mini nhỏ nhất chạy 100 LLM cục bộ”.

Theo công ty, đây là thiết bị bỏ túi đầu tiên có thể chạy hoàn toàn mô hình LLM lên tới 120 tỉ tham số trực tiếp trên thiết bị, không cần kết nối đám mây, máy chủ hay GPU cao cấp.

Tham vọng đưa AI mạnh mẽ đến gần người dùng cá nhân

Trong tuyên bố tầm nhìn, Tiiny AI nhấn mạnh mục tiêu đưa AI tiên tiến ra khỏi các trung tâm dữ liệu khổng lồ và đến tay từng cá nhân.

Công ty cho rằng điểm nghẽn lớn nhất của hệ sinh thái AI hiện nay không phải là thiếu sức mạnh tính toán, mà là sự phụ thuộc vào đám mây, kéo theo chi phí cao, độ trễ lớn và rủi ro về quyền riêng tư.

Tiiny AI Pocket Lab có kích thước khoảng 14,2 x 8 x 2,53 cm, nặng khoảng 300 gram, nhưng được thiết kế như một hệ thống suy luận AI hoàn chỉnh.

Thiết bị hoạt động trong mức công suất khoảng 65W, thấp hơn đáng kể so với các hệ thống AI dựa trên GPU truyền thống, vốn tiêu thụ năng lượng rất lớn.

Cấu hình phần cứng và hiệu năng đáng chú ý

Theo công bố, Pocket Lab được trang bị CPU ARMv9.2 12 nhân, tích hợp bộ xử lý thần kinh chuyên dụng (NPU), đạt khoảng 190 TOPS năng lực tính toán AI. Thiết bị đi kèm 80GB bộ nhớ LPDDR5X và 1TB lưu trữ, cho phép xử lý các mô hình lớn ngay trên máy.

Tiiny AI cho biết Pocket Lab hoạt động hiệu quả nhất trong “vùng vàng” của AI cá nhân, tương đương các mô hình từ 10 đến 100 tỉ tham số, là phạm vi được cho là đáp ứng hơn 80% nhu cầu thực tế.

Công ty tuyên bố hiệu năng suy luận của thiết bị có thể đạt mức tương đương GPT-4o, đủ cho các tác vụ phân tích đa bước, hiểu ngữ cảnh sâu và suy luận phức tạp.

Công nghệ cốt lõi phía sau thiết bị

Khả năng chạy mô hình lớn trên một thiết bị nhỏ gọn đến từ hai công nghệ chính là TurboSparse và PowerInfer.

TurboSparse sử dụng kỹ thuật kích hoạt thưa ở cấp độ nơ-ron, giúp giảm đáng kể lượng tính toán cần thiết trong quá trình suy luận.

Trong khi đó, PowerInfer là công cụ suy luận mã nguồn mở cho phép phân bổ linh hoạt khối lượng công việc giữa CPU và NPU, tối ưu hiệu suất mà không cần GPU rời.

Nhờ sự kết hợp này, những tác vụ trước đây đòi hỏi GPU trị giá hàng nghìn USD nay có thể được thực hiện trên một thiết bị bỏ túi.

Hệ sinh thái mở và hướng đến CES 2026

Tiiny AI Pocket Lab hỗ trợ cài đặt mô hình mã nguồn mở chỉ với một cú nhấp chuột, bao gồm GPT-OSS, Qwen, DeepSeek, Llama, Phi, Mistral… Thiết bị cũng tương thích với nhiều tác nhân AI mã nguồn mở như OpenManus, ComfyUI, Flowise hay SillyTavern.

Công ty cho biết người dùng sẽ nhận được các bản cập nhật liên tục, kể cả nâng cấp phần cứng qua OTA, và dự kiến trình diễn đầy đủ tại CES tháng 1.2026.