Cải thiện khả năng giải thích dự đoán của mô hình AI

Cải thiện khả năng giải thích dự đoán của các mô hình AI

Trong các tình huống quan trọng như chẩn đoán y tế, người dùng thường muốn biết điều gì đã khiến mô hình thị giác máy tính đưa ra một dự đoán nhất định, để họ có thể xác định xem có nên tin tưởng vào kết quả đầu ra của nó hay không. Mô hình nút thắt khái niệm là một phương pháp cho phép các hệ thống trí tuệ nhân tạo giải thích quá trình ra quyết định của chúng. Các phương pháp này buộc một mô hình học sâu phải sử dụng một tập hợp các khái niệm, có thể được con người hiểu được, để đưa ra dự đoán. Trong một nghiên cứu mới, các nhà khoa học máy tính của MIT đã phát triển một phương pháp giúp mô hình đạt được độ chính xác tốt hơn và các giải thích rõ ràng, súc tích hơn.

Các khái niệm mà mô hình sử dụng thường được các chuyên gia con người xác định trước. Ví dụ, một bác sĩ lâm sàng có thể đề xuất sử dụng các khái niệm như "các chấm nâu tập trung" và "sắc tố đa dạng" để dự đoán rằng một hình ảnh y tế cho thấy khối u ác tính.

Nhưng các khái niệm được xác định trước đó có thể không liên quan hoặc thiếu chi tiết đầy đủ cho một nhiệm vụ cụ thể, làm giảm độ chính xác của mô hình. Phương pháp mới trích xuất các khái niệm mà mô hình đã học được trong khi nó được đào tạo để thực hiện nhiệm vụ cụ thể đó, và buộc mô hình phải sử dụng chúng, tạo ra các giải thích tốt hơn so với các mô hình nút thắt khái niệm tiêu chuẩn.

Cách tiếp cận này sử dụng một cặp mô hình học máy chuyên dụng, tự động trích xuất kiến thức từ mô hình mục tiêu và dịch nó thành các khái niệm bằng ngôn ngữ đơn giản. Cuối cùng, kỹ thuật của họ có thể chuyển đổi bất kỳ mô hình thị giác máy tính được đào tạo trước nào thành một mô hình có thể sử dụng các khái niệm để giải thích lý luận của nó.

“Theo một nghĩa nào đó, chúng tôi muốn có thể đọc được suy nghĩ của các mô hình thị giác máy tính này. Mô hình nút thắt khái niệm là một cách để người dùng biết mô hình đang nghĩ gì và tại sao nó đưa ra một dự đoán nhất định. Bởi vì phương pháp của chúng tôi sử dụng các khái niệm tốt hơn, nó có thể dẫn đến độ chính xác cao hơn và cuối cùng cải thiện trách nhiệm giải trình của các mô hình AI hộp đen,” tác giả chính Antonio De Santis, một sinh viên tốt nghiệp tại Đại học Bách khoa Milan, người đã hoàn thành nghiên cứu này khi còn là sinh viên tốt nghiệp thỉnh giảng tại Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo (CSAIL) tại MIT, cho biết.

Ông cùng với Schrasing Tong SM ’20, PhD ’26; Marco Brambilla, giáo sư khoa học máy tính và kỹ thuật tại Đại học Bách khoa Milan; và tác giả cấp cao Lalana Kagal, một nhà khoa học nghiên cứu chính tại CSAIL, tham gia vào một bài báo về công trình này. Nghiên cứu sẽ được trình bày tại Hội nghị Quốc tế về Biểu diễn Học tập.

Xây dựng một nút thắt tốt hơn

Các mô hình nút thắt khái niệm (CBM) là một cách tiếp cận phổ biến để cải thiện khả năng giải thích AI. Các kỹ thuật này thêm một bước trung gian bằng cách buộc một mô hình thị giác máy tính phải dự đoán các khái niệm có trong hình ảnh, sau đó sử dụng các khái niệm đó để đưa ra dự đoán cuối cùng.

Bước trung gian này, hay "nút thắt", giúp người dùng hiểu được lý luận của mô hình.

Ví dụ, một mô hình xác định các loài chim có thể chọn các khái niệm như "chân vàng" và "cánh xanh" trước khi dự đoán một con én chuồng.

Nhưng vì những khái niệm này thường được tạo ra trước bởi con người hoặc các mô hình ngôn ngữ lớn (LLM), chúng có thể không phù hợp với nhiệm vụ cụ thể. Ngoài ra, ngay cả khi được cung cấp một tập hợp các khái niệm được xác định trước, mô hình đôi khi vẫn sử dụng thông tin đã học được không mong muốn, đó là một vấn đề được gọi là rò rỉ thông tin.

“Các mô hình này được đào tạo để tối đa hóa hiệu suất, vì vậy mô hình có thể bí mật sử dụng các khái niệm mà chúng tôi không biết,” De Santis giải thích.

Các nhà nghiên cứu MIT đã có một ý tưởng khác: Vì mô hình đã được đào tạo trên một lượng lớn dữ liệu, nên nó có thể đã học được các khái niệm cần thiết để tạo ra các dự đoán chính xác cho nhiệm vụ cụ thể đang thực hiện. Họ đã tìm cách xây dựng một CBM bằng cách trích xuất kiến thức hiện có này và chuyển đổi nó thành văn bản mà con người có thể hiểu được.

Trong bước đầu tiên của phương pháp của họ, một mô hình học sâu chuyên dụng có tên là bộ tự mã hóa thưa thớt chọn lọc các tính năng phù hợp nhất mà mô hình đã học được và tái cấu trúc chúng thành một số ít khái niệm. Sau đó, một LLM đa phương thức mô tả từng khái niệm bằng ngôn ngữ đơn giản.

LLM đa phương thức này cũng chú thích hình ảnh trong bộ dữ liệu bằng cách xác định các khái niệm nào có và không có trong mỗi hình ảnh. Các nhà nghiên cứu sử dụng bộ dữ liệu được chú thích này để đào tạo một mô-đun nút thắt khái niệm để nhận ra các khái niệm.

Họ kết hợp mô-đun này vào mô hình mục tiêu, buộc nó phải đưa ra các dự đoán chỉ bằng cách sử dụng tập hợp các khái niệm đã học mà các nhà nghiên cứu đã trích xuất.

Kiểm soát các khái niệm

Họ đã vượt qua nhiều thách thức khi phát triển phương pháp này, từ việc đảm bảo LLM chú thích các khái niệm một cách chính xác đến việc xác định xem bộ tự mã hóa thưa thớt có xác định được các khái niệm mà con người có thể hiểu được hay không.

Để ngăn mô hình sử dụng các khái niệm không xác định hoặc không mong muốn, họ hạn chế nó chỉ sử dụng năm khái niệm cho mỗi dự đoán. Điều này cũng buộc mô hình phải chọn các khái niệm phù hợp nhất và làm cho các giải thích dễ hiểu hơn.

Khi họ so sánh cách tiếp cận của mình với các CBM hiện đại về các nhiệm vụ như dự đoán các loài chim và xác định tổn thương da trong hình ảnh y tế, phương pháp của họ đạt được độ chính xác cao nhất đồng thời cung cấp…