Đây là lý do tại sao GPT-4 vượt trội hơn GPT3.5, LLM trong gỡ lỗi mã

Sự gia tăng mức độ phổ biến của trí tuệ nhân tạo (AI) có thể khiến nhiều người tự hỏi liệu đây có phải là cơn sốt công nghệ tiếp theo sẽ kết thúc sau sáu tháng nữa hay không.

Tuy nhiên, một test điểm chuẩn gần đây do CatId thực hiện đã tiết lộ GPT-4 đã tiến xa đến mức nào — cho thấy rằng nó có thể là yếu tố thay đổi cuộc chơi cho hệ sinh thái web3.

test gỡ lỗi mã AI

Dữ liệu bên dưới cho thấy một số tình huống thử nghiệm trên các Mô hình ngôn ngữ lớn (LLM) nguồn mở có sẵn, tương tự như ChatGPT-3.5 và GPT-4 của OpenAI. CatId đã test cùng một mẫu mã C+ trên từng kiểu máy và ghi lại các cảnh báo sai về lỗi cũng như số lượng lỗi được xác định.

Mô hình LLaMa 65B (4-bit GPTQ): 1 cảnh báo sai trong 15 ví dụ điển hình. Phát hiện 0 trong số 13 lỗi. Mô hình Baize 30B (8-bit): 0 cảnh báo sai trong 15 ví dụ điển hình. Phát hiện 1 trong 13 lỗi. Mô hình Galpaca 30B (8-bit): 0 cảnh báo sai trong 15 ví dụ điển hình. Phát hiện 1 trong 13 lỗi. Mô hình Koala 13B (8 bit): 0 cảnh báo sai trong 15 ví dụ điển hình. Phát hiện 0 trong số 13 lỗi. Model Vicuna 13B (8-bit): 2 cảnh báo sai trong 15 ví dụ điển hình. Phát hiện 1 trong 13 lỗi. Model Vicuna 7B (FP16): 1 báo động sai trong 15 ví dụ tốt. Phát hiện 0 trong số 13 lỗi. GPT 3.5: 0 cảnh báo sai trong 15 ví dụ điển hình. Phát hiện 7 trong số 13 lỗi. GPT 4: 0 cảnh báo sai trong 15 ví dụ điển hình. Phát hiện 13 trong số 13 lỗi.
Các LLM mã nguồn mở chỉ bắt được 3 trong số 13 lỗi trên sáu mô hình trong khi xác định được bốn lỗi dương tính giả. Trong khi đó, GPT-3.5 phát hiện được 7 trong số 13 lỗi và sản phẩm mới nhất của OpenAi, GPT-4, đã phát hiện tất cả 13 trong số 13 lỗi mà không có cảnh báo sai.
Bước nhảy vọt về phát hiện lỗi có thể thay đổi cuộc chơi đối với việc triển khai hợp đồng thông minh trong web3, bên cạnh vô số lĩnh vực web2 khác sẽ được hưởng lợi ồ ạt. Ví dụ: web3 kết nối hoạt động kỹ thuật số và tài sản với các công cụ tài chính, mang lại cho nó biệt danh là Internet giá trị.' Do đó, điều cực kỳ quan trọng là tất cả mã được thực thi trên các hợp đồng thông minh cung cấp năng lượng cho web3 đều không có lỗi và lỗ hổng bảo mật. Một điểm truy cập duy nhất cho một diễn viên xấu có thể dẫn đến hàng tỷ đô la bị mất trong giây lát.
GPT-4 và AutoGPT
Kết quả ấn tượng từ GPT-4 chứng minh rằng sự cường điệu hiện tại là có cơ sở. Hơn nữa, khả năng AI hỗ trợ đảm bảo tính bảo mật và ổn định của hệ sinh thái web3 đang phát triển là điều nằm trong tầm tay.
Các ứng dụng như AutoGPT đã xuất hiện, cho phép OpenAI tạo các tác nhân AI khác để ủy thác các nhiệm vụ công việc. Nó cũng sử dụng Pinecone để lập chỉ mục vectơ để có quyền truy cập vào cả bộ lưu trữ bộ nhớ dài hạn và ngắn hạn, do đó giải quyết các hạn chế về Token của GPT-4. Vài lần vào tuần trước, ứng dụng này đã trở thành xu hướng trên Twitter toàn cầu khi mọi người thành lập đội quân đặc vụ AI của riêng họ trên toàn thế giới.
Sử dụng AutoGPT làm điểm chuẩn, có thể phát triển một ứng dụng tương tự hoặc rẽ nhánh để liên tục theo dõi, phát hiện lỗi và đề xuất giải pháp cho mã trong các hợp đồng thông minh có thể nâng cấp. Các chỉnh sửa này có thể được nhà phát triển hoặc thậm chí DAO phê duyệt theo cách thủ công, đảm bảo rằng có một người trong vòng lặp' để cho phép triển khai mã.
Một quy trình làm việc tương tự cũng có thể được tạo để triển khai hợp đồng thông minh thông qua đánh giá lỗi và giao dịch mô phỏng.
test thực tế?
Tuy nhiên, các giới hạn kỹ thuật sẽ cần được giải quyết trước khi có thể triển khai hợp đồng thông minh do AI quản lý vào môi trường sản xuất. bất chấp việc kết quả của Catid cho thấy phạm vi thử nghiệm bị hạn chế, nhưng chỉ tập trung vào một đoạn mã ngắn mà GPT-4 vượt trội.
Trong thế giới thực, các ứng dụng chứa nhiều tệp mã phức tạp với vô số phần phụ thuộc, sẽ nhanh chóng vượt quá giới hạn của GPT-4. Thật không may, điều này có nghĩa là hiệu suất của GPT-4 trong các tình huống thực tế có thể không ấn tượng như kết quả thử nghiệm.
Tuy nhiên, giờ đây rõ ràng là câu hỏi không còn là liệu một trình viết/gỡ lỗi mã AI hoàn hảo có khả thi hay không; câu hỏi bây giờ là những mối quan tâm về đạo đức, quy định và cơ quan phát sinh. Hơn nữa, các ứng dụng như AutoGPT đã gần đạt đến mức có thể tự quản lý một cơ sở mã thông qua việc sử dụng vectơ và các tác nhân AI bổ sung. Các hạn chế chủ yếu nằm ở tính mạnh mẽ và khả năng mở rộng của ứng dụng — có thể bị mắc kẹt trong các vòng lặp.
Trò chơi đang thay đổi
GPT-4 mới ra mắt được một tháng và đã có rất nhiều dự án AI công khai mới — như AutoGPT và X.AI của Elon Musk— đang định hình lại cuộc đối thoại trong tương lai về công nghệ.
Ngành công nghiệp tiền điện tử dường như tận dụng sức mạnh của các mô hình như GPT-4 dưới dạng hợp đồng thông minh mang đến tình huống sử dụng lý tưởng để tạo ra các sản phẩm tài chính phi tập trung và tự trị thực sự.
 Sẽ mất bao lâu để chứng kiến DAO tự trị thực sự đầu tiên không có con người tham gia?
Bài đăng Đây là lý do tại sao GPT-4 vượt trội so với GPT3.5, LLM trong gỡ lỗi mã xuất hiện đầu tiên trên WebGiaCoin.
Theo Cryptoslate