Mở gói các mô hình hộp đen: Khung toán học ExSum để đánh giá các giải thích của các mô hình học máy

Các nhà nghiên cứu tạo ra một khung toán học để đánh giá các giải thích về các mô hình học máy và định lượng mức độ hiểu của mọi người về chúng. Nguồn: MIT News với hình ảnh từ iStockphoto

Các nhà nghiên cứu của MIT tạo ra một khung toán học để đánh giá các giải thích về các mô hình học máy và định lượng mức độ hiểu biết của mọi người về chúng.

Các mô hình học máy hiện đại, chẳng hạn như mạng nơ-ron, thường được gọi là “hộp đen” vì chúng phức tạp đến mức ngay cả những người thiết kế chúng cũng không thể hiểu hết cách chúng đưa ra dự đoán.

Để cung cấp một số hiểu biết sâu sắc, các nhà khoa học sử dụng các phương pháp giải thích nhằm tìm cách mô tả các quyết định mô hình riêng lẻ. Ví dụ, họ có thể đánh dấu các từ trong bài đánh giá phim ảnh hưởng đến đánh giá của người mẫu rằng bài đánh giá đó là thuận lợi.

Nhưng những phương pháp giải thích này không có tác dụng gì nếu con người không thể dễ dàng hiểu được chúng, và thậm chí có thể tồi tệ hơn khi mọi người hiểu sai về chúng. Vì vậy, các nhà nghiên cứu của MIT đã tạo ra một khung toán học để chính thức định lượng và đánh giá mức độ dễ hiểu của các giải thích cho các mô hình học máy. Điều này có thể giúp xác định chính xác các thông tin chi tiết về hành vi của mô hình có thể bị bỏ sót nếu nhà nghiên cứu chỉ đánh giá một số giải thích riêng lẻ để cố gắng hiểu toàn bộ mô hình.

“Với khung này, chúng ta có thể có một bức tranh rất rõ ràng về không chỉ những gì chúng ta biết về mô hình từ những giải thích địa phương này, mà quan trọng hơn là những gì chúng ta chưa biết về nó,” Yilun Zhou, một sinh viên tốt nghiệp ngành kỹ thuật điện và khoa học máy tính cho biết sinh viên trong Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo (CSAIL) và là tác giả chính của bài báo trình bày khuôn khổ này.

Các đồng tác giả của Zhou bao gồm Marco Tulio Ribeiro, nhà nghiên cứu cấp cao tại Microsoft Research, và tác giả cấp cao Julie Shah, giáo sư hàng không và du hành vũ trụ và giám đốc của Interactive Robotics Group tại CSAIL. Nghiên cứu sẽ được trình bày tại Hội nghị của Chương Bắc Mỹ của Hiệp hội Ngôn ngữ học Tính toán.

Hiểu giải thích địa phương

Một cách để hiểu mô hình học máy là tìm một mô hình khác bắt chước các dự đoán của nó nhưng sử dụng các mẫu lý luận minh bạch. Tuy nhiên, các mô hình mạng nơ-ron gần đây rất phức tạp nên kỹ thuật này thường không thành công. Thay vào đó, các nhà nghiên cứu sử dụng các giải thích địa phương tập trung vào các yếu tố đầu vào riêng lẻ. Thông thường, những giải thích này làm nổi bật các từ trong văn bản để biểu thị tầm quan trọng của chúng đối với một dự đoán do mô hình đưa ra.

Các nhà nghiên cứu sử dụng các phương pháp giải thích cục bộ để thử và hiểu cách các mô hình học máy đưa ra quyết định. Ngay cả khi những lời giải thích này là đúng, chúng cũng chẳng có ích gì nếu con người không thể hiểu chúng muốn nói gì. Các nhà nghiên cứu của MIT hiện đã phát triển một khung toán học để định lượng và đánh giá tính dễ hiểu của một lời giải thích. Tín dụng: Được sự cho phép của các nhà nghiên cứu

Ngầm nhiên, mọi người sau đó tổng quát hóa những giải thích cục bộ này thành hành vi của mô hình tổng thể. Ai đó có thể thấy rằng phương pháp giải thích cục bộ làm nổi bật những từ tích cực (như “đáng nhớ”, “hoàn mỹ” hoặc “quyến rũ”) là có ảnh hưởng nhất khi người mẫu quyết định một bài đánh giá phim có tình cảm tích cực. Sau đó, họ có khả năng cho rằng tất cả các từ tích cực đều đóng góp tích cực vào các dự đoán của mô hình, nhưng điều đó có thể không phải lúc nào cũng đúng, Zhou nói.

Các nhà nghiên cứu đã phát triển một khuôn khổ, được gọi là ExSum (viết tắt của tóm tắt giải thích), chính thức hóa các loại tuyên bố đó thành các quy tắc có thể được kiểm tra bằng cách sử dụng các số liệu có thể định lượng được. ExSum đánh giá một quy tắc trên toàn bộ tập dữ liệu, thay vì chỉ một trường hợp duy nhất mà nó được xây dựng.

Sử dụng giao diện người dùng đồ họa, một cá nhân viết các quy tắc sau đó có thể được điều chỉnh, điều chỉnh và đánh giá. Ví dụ: khi nghiên cứu một mô hình học cách phân loại các bài đánh giá phim là tích cực hay tiêu cực, người ta có thể viết một quy tắc cho biết “các từ phủ định có độ mặn tiêu cực”, có nghĩa là các từ như “không phải”, “không” và “không có gì” góp phần tiêu cực vào cảm tính của các bài phê bình phim.

Sử dụng ExSum, người dùng có thể xem quy tắc đó có phù hợp hay không bằng cách sử dụng ba chỉ số cụ thể: mức độ phù hợp, tính hợp lệ và độ sắc nét. Mức độ phù hợp đo lường mức độ áp dụng rộng rãi của quy tắc trên toàn bộ tập dữ liệu. Tính hợp lệ làm nổi bật tỷ lệ phần trăm các ví dụ riêng lẻ đồng ý với quy tắc. Sharpness mô tả quy tắc chính xác như thế nào; một quy tắc có giá trị cao có thể chung chung đến mức nó không hữu ích cho việc hiểu mô hình.

Kiểm tra các giả định

Nếu một nhà nghiên cứu muốn hiểu sâu hơn về cách mô hình của cô ấy đang hoạt động, cô ấy có thể sử dụng ExSum để kiểm tra các giả định cụ thể, Zhou nói.

Nếu cô ấy nghi ngờ người mẫu của mình phân biệt đối xử về giới tính, cô ấy có thể tạo quy tắc để nói rằng đại từ nam có đóng góp tích cực và đại từ nữ có đóng góp tiêu cực. Nếu các quy tắc này có hiệu lực cao, điều đó có nghĩa là chúng đúng về tổng thể và mô hình có thể bị sai lệch.

ExSum cũng có thể tiết lộ thông tin bất ngờ về hành vi của người mẫu. Ví dụ, khi đánh giá bộ phân loại đánh giá phim, các nhà nghiên cứu đã rất ngạc nhiên khi thấy rằng các từ tiêu cực có xu hướng đóng góp nhiều hơn và sắc bén hơn cho các quyết định của người mẫu so với các từ tích cực. Điều này có thể là do các nhà phê bình đã cố gắng lịch sự và bớt thẳng thừng hơn khi phê bình một bộ phim, Zhou giải thích.

“Để thực sự xác nhận sự hiểu biết của bạn, bạn cần phải đánh giá những tuyên bố này một cách chặt chẽ hơn trên nhiều trường hợp. Loại hiểu biết ở cấp độ chi tiết này, theo hiểu biết tốt nhất của chúng tôi, chưa bao giờ được khám phá trong các công trình trước đây, ”ông nói.

“Đi từ giải thích địa phương đến hiểu biết toàn cầu là một lỗ hổng lớn trong tài liệu. ExSum là một bước đầu tiên tốt để lấp đầy khoảng trống đó, ”Ribeiro nói thêm.

Mở rộng khuôn khổ

Trong tương lai, Zhou hy vọng sẽ xây dựng dựa trên công trình này bằng cách mở rộng khái niệm về tính dễ hiểu cho các tiêu chí và hình thức giải thích khác, như giải thích ngược thực tế (chỉ ra cách sửa đổi đầu vào để thay đổi dự đoán của mô hình). Hiện tại, họ tập trung vào các phương pháp phân bổ tính năng, mô tả các tính năng riêng lẻ mà một mô hình sử dụng để đưa ra quyết định (như các từ trong bài đánh giá phim).

Ngoài ra, anh ấy muốn nâng cao hơn nữa khung và giao diện người dùng để mọi người có thể tạo các quy tắc nhanh hơn. Việc viết các quy tắc có thể đòi hỏi sự tham gia của con người hàng giờ đồng hồ – và một số mức độ tham gia của con người là rất quan trọng vì con người cuối cùng phải có thể nắm được các giải thích – nhưng sự trợ giúp của AI có thể hợp lý hóa quá trình.

Khi suy nghĩ về tương lai của ExSum, Zhou hy vọng công trình của họ nhấn mạnh nhu cầu thay đổi cách các nhà nghiên cứu suy nghĩ về các giải thích mô hình học máy.

“Trước khi làm việc này, nếu địa phương có giải trình chính xác là xong. Bạn đã đạt được chén thánh khi giải thích mô hình của mình. Chúng tôi đang đề xuất khía cạnh bổ sung này để đảm bảo những lời giải thích này có thể hiểu được. Zhou cho biết: Khả năng hiểu được cần phải là một thước đo khác để đánh giá các giải thích của chúng tôi.

Tham khảo: “ExSum: Từ giải thích cục bộ đến hiểu mô hình” của Yilun Zhou, Marco Tulio Ribeiro và Julie Shah, ngày 30 tháng 4 năm 2022, Khoa học máy tính> Tính toán và ngôn ngữ .
arXiv: 2205.00130

Nghiên cứu này được hỗ trợ một phần bởi Quỹ Khoa học Quốc gia.

Theo Scitechdaily