Musk phát hành Grok 1.5! Độ dài ngữ cảnh được tăng lên 128k và khả năng suy luận được cải thiện rất nhiều

[Lizzie]

Ngày 29 tháng 3, xAI, một công ty khởi nghiệp về trí tuệ nhân tạo thuộc sở hữu của "Người sắt ở Thung lũng Silicon" Elon Musk, đã công bố ra mắt chính thức Grok-1.5. Mô hình này có khả năng hiểu ngữ cảnh dài và lý luận nâng cao, đồng thời sẽ Gần đây nó đã được mở cho người dùng Grok nền tảng X và những người thử nghiệm ban đầu.

Bằng cách tiết lộ trọng lượng mô hình và kiến trúc mạng của Grok-1 hai tuần trước, xAI đã chứng minh sự tiến bộ mà công ty đã đạt được tính đến tháng 11 năm ngoái. xAI kể từ đó đã cải thiện khả năng suy luận và giải quyết vấn đề trong mẫu mới nhất của mình, Grok-1.5.

Khả năng và lý trí​

Điểm chuẩn Grok-1.5

Một trong những cải tiến đáng chú ý nhất trong Grok-1.5 là hiệu suất của nó trong các tác vụ liên quan đến mã hóa và toán học. Trong bài kiểm tra xAI, Grok-1.5 đạt số điểm 50,6% trong bài kiểm tra benchmark toán học và đạt 90% trong bài kiểm tra benchmark GSM8K. Hai bài kiểm tra benchmark toán học này bao gồm nhiều câu hỏi kiểm tra cạnh tranh khác nhau từ cấp tiểu học đến trung học phổ thông. Ngoài ra, nó còn đạt được số điểm 74,1% trên điểm chuẩn HumanEval, đánh giá khả năng tạo mã và giải quyết vấn đề.

Hiểu ngữ cảnh dài​

Grok-1.5 có thể xử lý bối cảnh dài 128K Token.

Một tính năng mới của Grok-1.5 là khả năng xử lý các ngữ cảnh dài lên tới 128K Token trong cửa sổ ngữ cảnh của nó. Điều này cho phép Grok có thời gian xử lý ngữ cảnh dài gấp 16 lần, giúp tận dụng thông tin từ các tài liệu dài hơn.

Ngoài ra, mô hình có thể xử lý các tín hiệu dài hơn và phức tạp hơn, duy trì khả năng làm theo hướng dẫn khi cửa sổ ngữ cảnh mở rộng. Trong đánh giá Needle in the Haystack (NIAH), Grok-1.5 đã thể hiện khả năng truy xuất mạnh mẽ và có thể truy xuất văn bản nhúng trong ngữ cảnh có độ dài lên tới 128K, đạt được kết quả truy xuất hoàn hảo.

Cơ sở hạ tầng Grok-1.5​

Nghiên cứu mô hình ngôn ngữ lớn tiên tiến chạy trên các cụm GPU lớn đòi hỏi cơ sở hạ tầng mạnh mẽ và linh hoạt. Grok-1.5 được xây dựng trên khung đào tạo phân tán tùy chỉnh dựa trên JAX, Rust và Kubernetes. Hệ thống đào tạo này cho phép nhóm của xAI tạo nguyên mẫu và đào tạo các kiến trúc mới trên quy mô lớn với nỗ lực tối thiểu. Trình điều phối đào tạo tùy chỉnh của xAI đảm bảo rằng các nút có vấn đề sẽ tự động được phát hiện và loại bỏ khỏi nhiệm vụ đào tạo.

xAI cũng tối ưu hóa việc kiểm tra điểm, tải dữ liệu và khởi động lại tác vụ đào tạo để giảm thiểu thời gian ngừng hoạt động trong trường hợp xảy ra lỗi.

Nhìn về tương lai​

Grok-1.5 sẽ sớm được cung cấp cho những người thử nghiệm sớm và xAI rất mong nhận được phản hồi để giúp cải thiện Grok. Khi xAI dần dần cung cấp Grok-1.5 cho nhiều đối tượng hơn, công ty cũng sẽ tung ra một số tính năng mới cho Grok-1.5 trong những ngày tới. #grok1.5 #chạyđuaAI