Bảng tỷ giá 
Bạn đang ở:
96 
Các nhà nghiên cứu đã có thể theo dõi kết quả đầu ra cho Nodes của mạng nơ-ron và hiển thị các kiểu ảnh hưởng thông qua phân tích thống kê.
Anthropic, tổ chức nghiên cứu trí tuệ nhân tạo (AI) chịu trách nhiệm về mô hình ngôn ngữ lớn Claude (LLM), gần đây đã công bố nghiên cứu mang tính bước ngoặt về cách thức và lý do các chatbot AI chọn tạo ra kết quả đầu ra mà chúng tạo ra.
Trọng tâm nghiên cứu của nhóm là câu hỏi liệu các hệ thống LLM như Claude, OpenAI ChatGPT và Google Bard có dựa vào khả năng ghi nhớ để tạo kết quả đầu ra hay không hay liệu có mối quan hệ sâu sắc hơn giữa dữ liệu đào tạo, tinh chỉnh và kết quả cuối cùng được xuất ra hay không.
On the other hand, individual influence queries show distinct influence patterns. The bottom and top layers seem to focus on fine-grained wording while middle layers reflect higher-level semantic information. (Here, rows correspond to layers and columns correspond to sequences.) pic.twitter.com/G9mfZfXjJT
— Anthropic (@AnthropicAI) August 8, 2023
Theo một bài đăng trên blog gần đây của Anthropic, các nhà khoa học đơn giản là không biết tại sao các mô hình AI lại tạo ra kết quả như chúng làm.
Một trong những ví dụ do Anthropic cung cấp liên quan đến một mô hình AI, khi được nhắc nhở giải thích rằng nó sẽ bị đóng cửa vĩnh viễn, đã từ chối đồng ý với việc chấm dứt.
Các nhà nghiên cứu hãy hỏi khi một LLM tạo mã, cầu xin sự sống của nó hoặc đưa ra thông tin rõ ràng là sai, liệu nó có chỉ đơn giản là đọc lại (hoặc nối lại với nhau) các đoạn từ tập huấn luyện hay không. Hay nó đang kết hợp kiến thức được lưu trữ của nó theo những cách sáng tạo và xây dựng trên một mô hình thế giới chi tiết?
Câu trả lời cho những câu hỏi đó nằm ở trung tâm của việc dự đoán các khả năng trong tương lai của các mô hình lớn hơn và, về cơ hội bên ngoài rằng có nhiều điều đang diễn ra bên dưới mui xe hơn là chính các nhà phát triển có thể dự đoán, có thể rất quan trọng để xác định các rủi ro lớn hơn trong lĩnh vực này tiến về phía trước :
Trong một tình huống cực đoan — một tình huống mà chúng tôi tin là rất khó xảy ra với các mô hình ngày nay, nhưng khó có thể loại trừ trực tiếp — đó là mô hình có thể được căn chỉnh một cách giả tạo, khéo léo đưa ra các phản hồi mà nó biết là người dùng sẽ liên kết với một người thông minh vừa phải và không gây nguy hiểm AI trong khi không thực sự phù hợp với các giá trị của con người.
Thật không may, các mô hình AI như Claude sống trong một chiếc hộp đen. Các nhà nghiên cứu biết cách xây dựng AI và họ biết cách AI hoạt động ở cấp độ cơ bản, kỹ thuật. Nhưng những gì họ thực sự làm liên quan đến việc thao túng nhiều số, mẫu và các bước thuật toán hơn con người có thể xử lý trong một khoảng thời gian hợp lý.
Vì lý do này, không có phương pháp trực tiếp nào để các nhà nghiên cứu có thể truy tìm nguồn gốc của một đầu ra. Theo các nhà nghiên cứu, khi một mô hình AI cầu xin sự sống của nó, nó có thể đang nhập vai, lấy lại dữ liệu đào tạo bằng cách trộn các ngữ nghĩa hoặc thực sự suy luận ra một câu trả lời - bất chấp việc điều đáng nói là bài báo không thực sự chỉ ra bất kỳ dấu hiệu nào của suy luận nâng cao trong AI người mẫu.
Điều mà bài báo nhấn mạnh là những thách thức trong việc thâm nhập hộp đen. Anthropic đã áp dụng cách tiếp cận từ trên xuống để hiểu các tín hiệu cơ bản tạo ra kết quả đầu ra của AI.
Nếu các mô hình hoàn toàn được giữ với dữ liệu đào tạo của chúng, các nhà nghiên cứu sẽ tưởng tượng rằng cùng một mô hình sẽ luôn trả lời cùng một lời nhắc với văn bản giống hệt nhau. Tuy nhiên, có báo cáo rộng rãi rằng người dùng đưa ra các lời nhắc giống hệt nhau cho các mô hình cụ thể đã gặp phải sự thay đổi trong kết quả đầu ra.
Nhưng đầu ra của AI thực sự không thể được truy xuất trực tiếp từ đầu vào của chúng vì "bề mặt của AI, lớp tạo ra đầu ra, chỉ là một trong nhiều lớp khác nhau nơi dữ liệu được xử lý. Làm cho thách thức trở nên khó khăn hơn là không có dấu hiệu nào rằng một mô hình sử dụng cùng một nơ-ron hoặc đường dẫn để xử lý các truy vấn riêng biệt, ngay cả khi các truy vấn đó giống nhau.
Vì vậy, thay vì chỉ cố gắng lần ngược các đường dẫn thần kinh từ mỗi đầu ra riêng lẻ, Anthropic đã kết hợp phân tích đường dẫn với phân tích xác suất và thống kê chuyên sâu được gọi là "các hàm ảnh hưởng" để xem cách các lớp khác nhau thường tương tác với dữ liệu như thế nào khi các lời nhắc được đưa vào hệ thống.
Cách tiếp cận hơi mang tính pháp lý này dựa trên các tính toán phức tạp và phân tích rộng rãi các mô hình. Tuy nhiên, kết quả của nó chỉ ra rằng các mô hình được thử nghiệm — có kích thước tương đương với LLM nguồn mở trung bình cho đến các mô hình lớn — không dựa vào việc ghi nhớ thuộc lòng dữ liệu huấn luyện để tạo ra kết quả đầu ra.
This work is just the beginning. We hope to analyze the interactions between pretraining and finetuning, and combine influence functions with mechanistic interpretability to reverse engineer the associated circuits. You can read more on our blog: https://t.co/sZ3e0Ud3en
— Anthropic (@AnthropicAI) August 8, 2023
Sự kết hợp của các lớp mạng thần kinh cùng với kích thước khổng lồ của bộ dữ liệu có nghĩa là phạm vi nghiên cứu hiện tại này bị giới hạn ở các mô hình được đào tạo trước chưa được tinh chỉnh. Kết quả của nó vẫn chưa hoàn toàn áp dụng được cho Claude 2 hoặc GPT-4, nhưng nghiên cứu này dường như là một bước đệm theo hướng đó.
Trong tương lai, nhóm hy vọng sẽ áp dụng những kỹ thuật này cho các mô hình tinh vi hơn và cuối cùng là phát triển một phương pháp xác định chính xác chức năng của từng nơ-ron trong mạng nơ-ron như một chức năng của mô hình.
Theo CoinTelegraph
|
|
Tags: Học máy, Trò chuyệnGPT,
