Bước ngoặt của Meta: Llama 4 ra mắt với khả năng xử lý 10 triệu token, đối đầu trực tiếp với DeepSeek

[Sóng AI]

- Meta vừa công bố dòng mô hình Llama 4 vào ngày 5/4/2025, với hai phiên bản đã sẵn sàng: Llama 4 Maverick (400 tỷ tham số) và Llama 4 Scout (109 tỷ tham số), cùng một mô hình khổng lồ Behemoth 2 nghìn tỷ tham số đang được phát triển.

- Động thái này được cho là phản ứng trực tiếp sau khi DeepSeek, startup AI Trung Quốc, ra mắt mô hình DeepSeek R1 vào tháng 1/2025, vượt trội Meta với chi phí đào tạo thấp hơn nhiều.

- Tất cả mô hình Llama 4 đều là đa phương thức, có thể xử lý và tạo ra văn bản, video và hình ảnh, với cửa sổ ngữ cảnh cực dài - 1 triệu token cho Maverick và 10 triệu token cho Scout (tương đương khoảng 15.000 trang văn bản).

- Các mô hình này sử dụng kiến trúc "mixture-of-experts" (MoE) với 128 chuyên gia khác nhau, giúp tăng hiệu quả khi chỉ kích hoạt một phần tham số cần thiết cho mỗi tác vụ.

- Chi phí suy luận của Llama 4 Maverick ước tính từ 0,19 đến 0,49 USD cho mỗi 1 triệu token, rẻ hơn đáng kể so với GPT-4o (4,38 USD/triệu token).

- Meta đã phát triển kỹ thuật mới MetaP cho phép điều chỉnh siêu tham số trên một mô hình và áp dụng cho các mô hình khác kích thước, tiết kiệm thời gian và chi phí đào tạo.

- Llama 4 Behemoth vượt trội GPT-4.5, Gemini 2.0 Pro và Claude Sonnet 3.7 trong một số điểm chuẩn như MATH-500 (95.0), GPQA Diamond (73.7) và MMLU Pro (82.2).

- Maverick vượt qua GPT-4o và Gemini 2.0 Flash trong hầu hết các đánh giá suy luận đa phương thức như ChartQA (90.0 so với 85.7 của GPT-4o) và DocVQA (94.4 so với 92.8).

- So với DeepSeek R1 và OpenAI o1, Llama 4 Behemoth vẫn còn kém hơn trong một số chỉ số như MATH-500 và MMLU, nhưng vẫn cạnh tranh mạnh mẽ.

- Meta cũng nhấn mạnh cải tiến về an toàn và giảm "thiên kiến chính trị" với các công cụ như Llama Guard, Prompt Guard và CyberSecEval để phát hiện đầu vào/đầu ra không an toàn.

Meta phản công DeepSeek với Llama 4 sử dụng kiến trúc MoE, cung cấp khả năng xử lý ngữ cảnh lên đến 10 triệu token, chi phí chỉ 0,19-0,49 USD/triệu token. Mặc dù chưa vượt qua hoàn toàn DeepSeek R1 và OpenAI o1, Llama 4 đã đặt nền móng vững chắc cho AI nguồn mở cạnh tranh với các mô hình độc quyền.

Meta’s answer to DeepSeek is here: Llama 4 launches with long context Scout and Maverick models, and 2T parameter Behemoth on the way!

While DeepSeek R1 and OpenAI o1 edge out Behemoth on a couple metrics, Llama 4 Behemoth remains highly competitive.

venturebeat.com

Nguồn: Songai.vn​