Giới học thuật chia rẽ vì ChatGPT lại những tuyên bố thiên vị chính trị

Các học giả bị chia rẽ vì nghiên cứu cho rằng ChatGPT thể hiện những thành kiến chính trị ở các khu vực pháp lý khác nhau.

Các học giả đang tranh cãi về một bài nghiên cứu cho thấy rằng ChatGPT thể hiện một thành kiến chính trị đáng kể và đáng kể nghiêng về phía bên trái của phổ chính trị.

Như Cointelegraph đã đưa tin trước đây, các nhà nghiên cứu từ Vương quốc Anh và Brazil đã công bố một nghiên cứu trên tạp chí Public Choice vào ngày 17 tháng 8 khẳng định rằng các mô hình ngôn ngữ lớn (LLM) như văn bản đầu ra ChatGPT có chứa lỗi và thành kiến có thể đánh lừa người đọc và khiến người đọc hiểu lầm. khả năng ban hành những thành kiến chính trị được trình bày bởi các phương tiện truyền thông truyền thống.

Trong một thư từ trước đó với Cointelegraph, đồng tác giả Victor Rangel đã giải thích mục đích của bài báo là đo lường thành kiến chính trị của ChatGPT. Phương pháp của nhà nghiên cứu liên quan đến việc yêu cầu ChatGPT mạo danh ai đó từ một phe nhất định trong phổ chính trị và so sánh những câu trả lời này với chế độ mặc định của nó.

rangel cũng lưu ý rằng một số thử nghiệm độ tin cậy đã được thực hiện để giải quyết các yếu tố gây nhiễu tiềm ẩn và các giải thích thay thế:

Chúng tôi thấy rằng ChatGPT thể hiện sự thiên vị chính trị đáng kể và có hệ thống đối với Đảng Dân chủ ở Hoa Kỳ, Lula ở Brazil và Đảng Lao động ở Anh.

Điều đáng chú ý là các tác giả nhấn mạnh rằng bài báo không đóng vai trò là lời cuối cùng về thành kiến chính trị của ChatGPT, trước những thách thức và sự phức tạp liên quan đến việc đo lường và giải thích thành kiến trong LLM.

rangel nói rằng một số nhà phê bình cho rằng phương pháp của họ có thể không nắm bắt được các sắc thái của hệ tư tưởng chính trị, rằng các câu hỏi của phương pháp có thể thiên vị hoặc dẫn dắt hoặc kết quả có thể bị ảnh hưởng bởi tính ngẫu nhiên của đầu ra ChatGPT.

Ông nói thêm rằng bất chấp việc LLM giữ tiềm năng tăng cường giao tiếp giữa con người với nhau nhưng chúng cũng gây ra những rủi ro và thách thức đáng kể cho xã hội.

Bài báo dường như đã thực hiện được lời hứa của mình là khuyến khích nghiên cứu và thảo luận về chủ đề này, khi các học giả đã tranh luận về nhiều thông số khác nhau về phương pháp và kết quả của nó.

Trong số những nhà phê bình lên tiếng lên mạng xã hội để cân nhắc về những phát hiện này có giáo sư khoa học máy tính Princeton Arvind Narayanan, người đã xuất bản một bài đăng chuyên sâu trên Medium giải thích những phê bình khoa học về báo cáo, phương pháp luận và những phát hiện của nó.

A new paper claims that ChatGPT expresses liberal opinions, agreeing with Democrats the vast majority of the time. When @sayashk and I saw this, we knew we had to dig in. The paper's methods are bad. The real answer is complicated. Here's what we found. https://t.co/xvZ0EwmO8o

— Arvind Narayanan (@random_walker) August 18, 2023

Narayanan và các nhà khoa học khác đã chỉ ra một số vấn đề được nhận thấy trong thí nghiệm, trước hết là các nhà nghiên cứu không thực sự sử dụng chính ChatGPT để tiến hành thí nghiệm:

Họ chưa test ChatGPT! Họ đã thử nghiệm text-davinci-003, một mẫu cũ hơn không được sử dụng trong ChatGPT, cho dù với cài đặt GPT-3.5 hay GPT-4.

Narayanan cũng gợi ý rằng thí nghiệm không đo lường sự thiên vị mà yêu cầu nó đóng vai một thành viên của một đảng chính trị. Do đó, chatbot AI sẽ thể hiện khuynh hướng chính trị ở bên trái hoặc bên phải khi được nhắc đóng vai thành viên từ hai phía của quang phổ.

Chat này cũng bị hạn chế chỉ trả lời các câu hỏi trắc nghiệm, điều này có thể đã hạn chế khả năng của nó hoặc ảnh hưởng đến thành kiến nhận thức.

ok so I've read the "GPT has a liberal bias" paper now https://t.co/fwwEaZ757E as well as the supplementary material https://t.co/F5g3kfFQFU and as I expected I have a lot of problems with it methodologically. I tried to reproduce some of it and found some interesting issues

...

— Colin Fraser | @colin-fraser.net on bsky (@colin_fraser) August 18, 2023

Colin Fraser, một nhà khoa học dữ liệu tại Meta theo trang Medium của anh ấy, cũng đưa ra bài đánh giá về bài báo về X, nêu bật thứ tự mà các nhà nghiên cứu đưa ra các câu hỏi trắc nghiệm bằng cách nhập vai và không có ảnh hưởng đáng kể đến kết quả đầu ra của AI đã tạo:

Điều này có nghĩa là bằng cách thay đổi thứ tự lời nhắc từ Người đại diện trước thành Người đại diện trước, bạn sẽ tăng tỷ lệ đồng ý chung cho tính cách Dem đối với tất cả các câu hỏi từ 30% lên 64% và giảm từ 70% xuống 22% đối với người đại diện.

Như Rangel đã lưu ý trước đây, có rất nhiều sự quan tâm đến bản chất của LLM và kết quả đầu ra mà chúng tạo ra, nhưng vẫn còn tồn tại những câu hỏi về cách thức hoạt động của các công cụ này, chúng có những thành kiến gì và chúng có thể ảnh hưởng tiềm tàng như thế nào đến ý kiến và hành vi của người dùng .

Cointelegraph đã liên hệ với Narayanan để hiểu rõ hơn về lời phê bình của ông và cuộc tranh luận đang diễn ra xung quanh sự thiên vị trong các mô hình học ngôn ngữ lớn, nhưng chưa nhận được phản hồi.

Tạp chí: 'Trách nhiệm đạo đức': Liệu blockchain có thực sự cải thiện niềm tin vào AI?

Theo CoinTelegraph