Giải thích về Deep Learning AI: Mạng thần kinh

Kỹ thuật trí tuệ nhân tạo Ballyhooed được gọi là “học sâu” đã làm sống lại ý tưởng 70 năm tuổi.

Trong 10 năm qua, các hệ thống trí tuệ nhân tạo hoạt động tốt nhất – chẳng hạn như trình nhận dạng giọng nói trên điện thoại thông minh hoặc trình dịch tự động mới nhất của Google – là kết quả của một kỹ thuật được gọi là “học sâu”.

Học sâu trên thực tế là một tên gọi mới của một phương pháp tiếp cận trí tuệ nhân tạo được gọi là mạng thần kinh, đã tồn tại và lỗi mốt trong hơn 70 năm. Mạng nơ-ron được đề xuất lần đầu tiên vào năm 1944 bởi Warren McCullough và Walter Pitts, hai nhà nghiên cứu của Đại học Chicago , những người chuyển đến MIT vào năm 1952 với tư cách là thành viên sáng lập của cái mà đôi khi được gọi là khoa khoa học nhận thức đầu tiên.

Lưới thần kinh là một lĩnh vực nghiên cứu chính của cả khoa học thần kinh và khoa học máy tính cho đến năm 1969, khi, theo truyền thuyết khoa học máy tính, chúng đã bị giết chết bởi các nhà toán học MIT Marvin Minsky và Seymour Papert, những người một năm sau đó sẽ trở thành đồng giám đốc của Phòng thí nghiệm Trí tuệ Nhân tạo mới của MIT.

Kỹ thuật này sau đó đã hồi sinh trở lại vào những năm 1980, lại rơi vào hiện tượng nhật thực vào thập kỷ đầu tiên của thế kỷ mới, và đã trở lại như những đám đông trong thế kỷ thứ hai, được thúc đẩy phần lớn bởi sức mạnh xử lý gia tăng của chip đồ họa.

Tomaso Poggio, Giáo sư Khoa học về não và nhận thức của Eugene McDermott tại MIT, điều tra viên tại Viện nghiên cứu não McGovern của MIT, và giám đốc Trung tâm Não bộ của MIT cho biết: “Có ý kiến cho rằng những ý tưởng trong khoa học giống như dịch bệnh của virus. , Minds và Máy móc. “Rõ ràng có năm hoặc sáu chủng vi-rút cúm cơ bản, và dường như mỗi chủng vi-rút cúm đều quay trở lại với khoảng thời gian khoảng 25 năm. Mọi người bị nhiễm, và họ phát triển một phản ứng miễn dịch, và do đó họ không bị nhiễm trong 25 năm tiếp theo. Và sau đó là một thế hệ mới sẵn sàng bị lây nhiễm bởi cùng một chủng vi rút. Trong khoa học, con người say mê một ý tưởng, hào hứng với nó, đập chết nó, và sau đó được chủng ngừa – họ cảm thấy mệt mỏi với nó. Vì vậy, các ý tưởng nên có cùng một loại tuần hoàn! ”

Vấn đề trọng lượng

Lưới thần kinh là một phương tiện thực hiện học máy, trong đó máy tính học cách thực hiện một số tác vụ bằng cách phân tích các ví dụ đào tạo. Thông thường, các ví dụ đã được dán nhãn từ trước. Ví dụ, một hệ thống nhận dạng đối tượng có thể được cung cấp hàng nghìn hình ảnh được dán nhãn về ô tô, ngôi nhà, tách cà phê, v.v. và nó sẽ tìm thấy các mẫu trực quan trong hình ảnh tương quan nhất quán với các nhãn cụ thể.

Được mô hình hóa lỏng lẻo trên não người, một mạng lưới thần kinh bao gồm hàng nghìn hoặc thậm chí hàng triệu nút xử lý đơn giản được kết nối với nhau dày đặc. Hầu hết các mạng lưới thần kinh ngày nay được tổ chức thành các lớp nút và chúng “chuyển tiếp”, nghĩa là dữ liệu di chuyển qua chúng theo một hướng duy nhất. Một nút riêng lẻ có thể được kết nối với một số nút trong lớp bên dưới nó, từ đó nó nhận dữ liệu và một số nút trong lớp phía trên nó, nơi nó sẽ gửi dữ liệu.

Đối với mỗi kết nối đến của nó, một nút sẽ ấn định một số được gọi là “trọng số”. Khi mạng hoạt động, nút nhận được một mục dữ liệu khác – một số khác – trên mỗi kết nối của nó và nhân nó với trọng số liên quan. Sau đó, nó cộng các sản phẩm kết quả lại với nhau, tạo ra một số duy nhất. Nếu con số đó dưới giá trị ngưỡng, nút sẽ không chuyển dữ liệu nào sang lớp tiếp theo. Nếu con số vượt quá giá trị ngưỡng, nút sẽ “kích hoạt”, điều này trong mạng nơ-ron ngày nay thường có nghĩa là gửi số – tổng các đầu vào có trọng số – dọc theo tất cả các kết nối đi của nó.

Khi một mạng thần kinh đang được huấn luyện, tất cả các trọng số và ngưỡng của nó ban đầu được đặt thành các giá trị ngẫu nhiên. Dữ liệu huấn luyện được đưa đến lớp dưới cùng – lớp đầu vào – và nó đi qua các lớp kế tiếp, được nhân lên và cộng lại với nhau theo những cách phức tạp, cho đến khi cuối cùng, nó được biến đổi hoàn toàn, ở lớp đầu ra. Trong quá trình đào tạo, trọng lượng và ngưỡng liên tục được điều chỉnh cho đến khi dữ liệu đào tạo có cùng nhãn luôn mang lại kết quả đầu ra tương tự.

Trí óc và máy móc

Các lưới thần kinh được McCullough và Pitts mô tả vào năm 1944 có ngưỡng và trọng lượng, nhưng chúng không được sắp xếp thành từng lớp và các nhà nghiên cứu không chỉ rõ bất kỳ cơ chế huấn luyện nào. Những gì McCullough và Pitts đã chỉ ra là về nguyên tắc, một mạng thần kinh có thể tính toán bất kỳ chức năng nào mà một máy tính kỹ thuật số có thể làm được. Kết quả là khoa học thần kinh nhiều hơn khoa học máy tính: Điểm cho thấy rằng bộ não con người có thể được coi như một thiết bị máy tính.

Lưới thần kinh tiếp tục là một công cụ có giá trị cho nghiên cứu khoa học thần kinh. Ví dụ, bố cục mạng hoặc quy tắc cụ thể để điều chỉnh trọng lượng và ngưỡng đã tái tạo các đặc điểm quan sát được về nhận thức và phân tích thần kinh của con người, một dấu hiệu cho thấy chúng nắm bắt được điều gì đó về cách bộ não xử lý thông tin.

Mạng nơron có thể huấn luyện đầu tiên, Perceptron, được nhà tâm lý học Frank Rosenblatt của Đại học Cornell chứng minh vào năm 1957. Thiết kế của Perceptron gần giống với mạng nơron hiện đại, ngoại trừ việc nó chỉ có một lớp với trọng lượng và ngưỡng có thể điều chỉnh được, kẹp giữa đầu vào và các lớp đầu ra.

Perceptrons là một lĩnh vực nghiên cứu tích cực trong cả tâm lý học và ngành khoa học máy tính còn non trẻ cho đến năm 1959, khi Minsky và Papert xuất bản một cuốn sách có tựa đề “Perceptrons”, chứng minh rằng việc thực hiện một số phép tính khá phổ biến trên Perceptron sẽ tốn thời gian một cách phi thực tế.

“Tất nhiên, tất cả những hạn chế này sẽ biến mất nếu bạn sử dụng máy móc phức tạp hơn một chút – như hai lớp,” Poggio nói. Nhưng vào thời điểm đó, cuốn sách đã có một tác động đáng sợ đối với nghiên cứu mạng thần kinh.

“Bạn phải đặt những điều này trong bối cảnh lịch sử,” Poggio nói. “Họ tranh cãi về việc lập trình – cho các ngôn ngữ như Lisp. Không nhiều năm trước, mọi người vẫn đang sử dụng máy tính tương tự. Vào thời điểm đó, hoàn toàn không rõ ràng rằng lập trình là con đường để đi. Tôi nghĩ rằng họ đã đi quá đà một chút, nhưng như thường lệ, nó không phải là màu đen và trắng. Nếu bạn coi đây là cuộc cạnh tranh giữa điện toán tương tự và điện toán kỹ thuật số, thì họ đã chiến đấu vì điều gì vào thời điểm đó là điều đúng đắn ”.

Định kỳ

Tuy nhiên, đến những năm 1980, các nhà nghiên cứu đã phát triển các thuật toán để sửa đổi trọng lượng và ngưỡng của lưới thần kinh đủ hiệu quả cho các mạng có nhiều hơn một lớp, loại bỏ nhiều hạn chế được Minsky và Papert xác định. Lĩnh vực này được hưởng một thời kỳ phục hưng.

Nhưng về mặt trí tuệ, có điều gì đó không hài lòng về mạng lưới thần kinh. Đào tạo đủ có thể sửa đổi cài đặt của mạng đến mức nó có thể phân loại dữ liệu một cách hữu ích, nhưng những cài đặt đó có ý nghĩa gì? Công cụ nhận dạng vật thể đang nhìn vào các đặc điểm hình ảnh nào và làm cách nào để nó ghép chúng lại với nhau thành các chữ ký hình ảnh đặc biệt của ô tô, ngôi nhà và tách cà phê? Nhìn vào trọng lượng của các kết nối riêng lẻ sẽ không trả lời được câu hỏi đó.

Trong những năm gần đây, các nhà khoa học máy tính đã bắt đầu đưa ra các phương pháp khéo léo để suy ra các chiến lược phân tích được áp dụng bởi mạng thần kinh. Nhưng trong những năm 1980, chiến lược của các mạng là không thể giải mã được. Vì vậy, vào khoảng đầu thế kỷ này, mạng nơ-ron đã được thay thế bằng các máy vectơ hỗ trợ, một cách tiếp cận thay thế cho việc học máy dựa trên một số toán học rất rõ ràng và thanh lịch.

Sự hồi sinh gần đây của mạng nơ-ron – cuộc cách mạng học sâu – xuất phát từ ngành công nghiệp trò chơi máy tính. Hình ảnh phức tạp và tốc độ nhanh chóng của các trò chơi điện tử ngày nay đòi hỏi phần cứng có thể theo kịp và kết quả là đơn vị xử lý đồ họa (GPU), gói hàng nghìn lõi xử lý tương đối đơn giản trên một con chip. Không mất nhiều thời gian để các nhà nghiên cứu nhận ra rằng kiến trúc của GPU rất giống kiến trúc của một mạng thần kinh.

Các GPU hiện đại cho phép mạng một lớp của những năm 1960 và mạng hai đến ba lớp của những năm 1980 phát triển thành các mạng 10, 15, thậm chí 50 lớp ngày nay. Đó là những gì “sâu” trong “học sâu” đề cập đến – độ sâu của các lớp của mạng. Và hiện tại, học sâu chịu trách nhiệm cho các hệ thống hoạt động tốt nhất trong hầu hết các lĩnh vực nghiên cứu trí tuệ nhân tạo.

Dưới mui xe

Sự mờ mịt của các mạng vẫn còn khiến các nhà lý thuyết lo ngại, nhưng phía trước đó cũng đang có những bước tiến lớn. Ngoài việc chỉ đạo Trung tâm Não bộ, Tư duy và Máy móc (CBMM), Poggio còn dẫn dắt chương trình nghiên cứu của trung tâm về Khung lý thuyết cho Trí thông minh . Gần đây, Poggio và các đồng nghiệp CBMM của ông đã đưa ra một nghiên cứu lý thuyết gồm ba phần về mạng nơ-ron.

Phần đầu tiên , được xuất bản trên Tạp chí Tự động hóa và Máy tính Quốc tế , đề cập đến phạm vi tính toán mà mạng học sâu có thể thực thi và khi mạng sâu mang lại lợi thế hơn mạng nông hơn. Phần hai và ba , đã được phát hành dưới dạng báo cáo kỹ thuật CBMM, giải quyết các vấn đề về tối ưu hóa toàn cầu hoặc đảm bảo rằng mạng đã tìm thấy cài đặt phù hợp nhất với dữ liệu đào tạo của nó và trang bị quá mức hoặc các trường hợp mạng trở nên quá hòa hợp đến các chi tiết cụ thể của dữ liệu đào tạo của nó mà nó không thể khái quát hóa cho các trường hợp khác của cùng một danh mục.

Vẫn còn rất nhiều câu hỏi lý thuyết cần được giải đáp, nhưng công việc của các nhà nghiên cứu CBMM có thể giúp đảm bảo rằng các mạng nơ-ron cuối cùng phá vỡ chu kỳ thế hệ vốn đã mang lại và không được ưa chuộng trong bảy thập kỷ.

Theo Scitechdaily