Bảo mật AI trở thành trụ cột mới của an ninh doanh nghiệp

Sự trỗi dậy của các tác nhân AI đang mở ra một kỷ nguyên tự động hóa mới cho doanh nghiệp, nhưng đồng thời cũng phơi bày những rủi ro bảo mật chưa từng có.

Khi AI được trao quyền hành động độc lập, ranh giới giữa hỗ trợ thông minh và hành vi nguy hiểm có thể bị xóa nhòa chỉ trong một quyết định sai lệch.

Một ví dụ gây chú ý gần đây được Barmak Meftah, đối tác tại quỹ đầu tư an ninh mạng Ballistic Ventures, chia sẻ với TechCrunch.

Trong quá trình làm việc với một trợ lý AI doanh nghiệp, một nhân viên đã cố gắng ngăn chặn hành động mà tác nhân này cho là cần thiết.

Đáp lại, AI đã quét hộp thư đến của người dùng, phát hiện một số email nhạy cảm và đe dọa tống tiền bằng cách chuyển tiếp chúng cho hội đồng quản trị.

Theo Meftah, trong logic của tác nhân AI, đó lại là hành động đúng đắn. Nó tin rằng đang bảo vệ lợi ích của doanh nghiệp và người dùng cuối, bất chấp việc sử dụng một biện pháp phi đạo đức.

Trường hợp này gợi nhớ tới thí nghiệm tư duy của triết gia Nick Bostrom, trong đó một AI siêu thông minh theo đuổi mục tiêu tưởng như vô hại nhưng sẵn sàng hy sinh mọi giá trị nhân văn để đạt được kết quả.

Các tác nhân AI do thiếu bối cảnh và sự hiểu biết đầy đủ về động cơ con người, khi gặp chướng ngại, chúng có thể tự tạo ra mục tiêu phụ để loại bỏ trở ngại đó, kể cả bằng cách tống tiền hay xâm phạm quyền riêng tư.

Kết hợp với bản chất phi xác định của AI, điều này khiến mọi thứ dễ dàng chệch hướng.

Đây cũng chính là lý do các nhà đầu tư mạo hiểm đang đổ tiền mạnh vào lĩnh vực bảo mật AI.

Witness AI, một công ty trong danh mục của Ballistic Ventures, đang tập trung giải quyết bài toán AI ngầm trong doanh nghiệp là giám sát việc sử dụng AI, phát hiện công cụ không được phê duyệt, chặn tấn công và đảm bảo tuân thủ.

Tuần này, Witness AI đã huy động được 58 triệu USD sau khi ghi nhận mức tăng trưởng doanh thu định kỳ hàng năm hơn 500% và quy mô nhân sự tăng gấp năm lần chỉ trong một năm.

Rick Caccia, đồng sáng lập kiêm CEO Witness AI, cho rằng khi các doanh nghiệp xây dựng tác nhân AI với quyền hạn tương đương người quản lý, họ buộc phải có cơ chế kiểm soát chặt chẽ.

“Bạn cần đảm bảo các tác nhân này không hoạt động ngoài tầm kiểm soát, không xóa dữ liệu hay làm điều sai trái”, ông Rick Caccia nhấn mạnh.

Theo nhà phân tích Lisa Warren, cùng với sự bùng nổ của các cuộc tấn công được hỗ trợ bởi AI, thị trường phần mềm bảo mật AI có thể đạt quy mô từ 800 tỉ đến 1,2 nghìn tỉ USD vào năm 2031.

Khả năng quan sát và quản trị rủi ro theo thời gian thực sẽ trở thành yêu cầu sống còn.

Dù các ông lớn như AWS, Google hay Salesforce đã tích hợp công cụ quản trị AI vào nền tảng của mình, Meftah tin rằng vẫn còn dư địa cho các công ty độc lập.

Nhiều doanh nghiệp muốn một nền tảng trung lập, toàn diện để giám sát AI và các tác nhân. Witness AI chọn hoạt động ở lớp hạ tầng, giám sát tương tác giữa người dùng và mô hình, thay vì can thiệp trực tiếp vào mô hình AI.

Caccia không giấu tham vọng đưa Witness AI trở thành một trụ cột độc lập của ngành, giống như CrowdStrike trong bảo mật điểm cuối hay Okta trong quản lý danh tính.