Jinu✔
Intern Writer
Nếu hỏi một kỹ sư AI làm về hậu huấn luyện mô hình lớn (LLM) vào tháng 8 năm 2024 rằng "chưng cất có đáng tin cậy không", có lẽ bạn sẽ nhận được câu trả lời là "có, hiệu quả ổn định, cả ngành đều dùng". Nhưng nếu hỏi thêm, "Bạn có chắc học sinh học được năng lực của giáo viên, chứ không chỉ ghi nhớ đáp án của vài bài tập huấn luyện không?", nhiều người sẽ phải suy nghĩ lại. Đây chính là điểm mù mà một bài báo khoa học mới đây đã chỉ ra.
Trong vài năm qua, kỹ thuật "chưng cất chiến lược trực tuyến" (On-Policy Distillation - OPD) đã trở thành một phần không thể thiếu trong huấn luyện các mô hình ngôn ngữ lớn, xuất hiện trong báo cáo kỹ thuật của hầu hết các mô hình hàng đầu như Kimi hay DeepSeek. Tuy nhiên, một vấn đề chung của hầu hết các phương pháp đánh giá là chúng chỉ chấm điểm trong lĩnh vực, ngôn ngữ và độ khó của các câu hỏi được dùng để huấn luyện. Điều này giống như việc bạn dạy một học sinh làm toán, rồi chỉ ra đề trong chính bộ đề mà bạn đã cho học sinh đó luyện tập, và tự hào tuyên bố "hiệu quả giảng dạy rõ rệt". Rốt cuộc, học sinh đã học được cách tư duy giải đề hay chỉ đơn thuần ghi nhớ đáp án, chúng ta hoàn toàn không thể phân biệt được.
Bài báo đến từ nhóm nghiên cứu chung của Đại học Khoa học và Công nghệ Trung Quốc, Đại học Bắc Kinh và Đại học Chiết Giang, đã vén bức màn này lên, để xem khả năng được "chưng cất" thực sự có thể đi xa đến đâu.
Một điều ngược đời: Đề mà giáo viên không giải được, vẫn hữu ích
Trước khi đi sâu vào phương pháp của bài báo, mình cùng tìm hiểu xem "chưng cất chiến lược trực tuyến" là gì và tại sao nó lại trở thành xu hướng. Chưng cất chiến lược trực tuyến (OPD) là quá trình để mô hình học sinh tự tạo ra câu trả lời, sau đó mô hình giáo viên sẽ chấm điểm và hướng dẫn từng từ một dựa trên nội dung mà học sinh đã tạo, thay vì bắt học sinh ghi nhớ những câu trả lời mẫu có sẵn của giáo viên.
Thiết kế này đã giải quyết một vấn đề cũ của phương pháp chưng cất truyền thống. Trước đây, cách phổ biến để dạy các mô hình nhỏ là để mô hình lớn (giáo viên) viết một loạt các bước giải, rồi đưa những bước này cho mô hình nhỏ (học sinh) bắt chước. Vấn đề là những gì học sinh nói khi thực sự làm bài thường không giống với văn phong mẫu của giáo viên. Khi thực sự "lâm trận", học sinh viết theo cách riêng của mình và nhanh chóng nhận ra mình chưa bao giờ được huấn luyện theo cách đó, dẫn đến việc viết càng lúc càng rối. Trong học thuật, điều này được gọi là "exposure bias" (lệch phơi nhiễm).
Giải pháp của OPD rất trực tiếp: Vì học sinh sớm muộn gì cũng phải trả lời bằng lời lẽ của mình, vậy thì hãy để học sinh trả lời ngay tại chỗ, và giáo viên sẽ nhận xét từng chữ xem có tốt hay không. Điều này giống như việc thuê một gia sư không đưa cho bạn một cuốn sách đáp án để bạn tự học, mà ngồi cạnh bạn, quan sát bạn làm bài tập, và khi bạn viết đến bước nào đó, gia sư sẽ nói "bước này không đúng, bạn nên nghĩ theo hướng này".
Một điều khá ngược với trực giác đã được các nhà nghiên cứu phát hiện. Họ đã làm một thí nghiệm: phân loại các câu hỏi huấn luyện thành ba loại dựa trên khả năng giải đúng của giáo viên. Loại thứ nhất là câu hỏi dễ mà giáo viên luôn giải đúng (bốn lần lấy mẫu đều đúng). Loại thứ hai là câu hỏi khó mà giáo viên hoàn toàn không giải được (bốn lần lấy mẫu đều sai). Loại thứ ba là câu hỏi hỗn hợp ngẫu nhiên.
Theo lẽ thường, chúng ta sẽ nghĩ rằng chắc chắn phải chọn những câu mà giáo viên làm được để dạy học sinh. Làm sao có thể dạy học sinh những câu mà giáo viên còn không biết làm?
Tuy nhiên, dữ liệu thử nghiệm cho thấy, kết quả học tập của học sinh được huấn luyện từ ba loại câu hỏi này gần như giống hệt nhau.
Biểu đồ gốc trong bài báo (Hình 1) đã minh họa rất rõ ràng: Qwen3-32B dạy Qwen3-8B và Polaris-7B dạy hai mô hình học sinh có kích thước khác nhau. Ba đường cong tương ứng với câu hỏi dễ, khó và hỗn hợp đều hội tụ về một đường gần như trùng khớp sau 200 bước huấn luyện. Họ còn tìm các trường hợp cực đoan để kiểm chứng, dùng các câu hỏi cấp độ tiểu học trong GSM8K (cực kỳ đơn giản) và những câu khó nhất trong DeepMath-103K (giáo viên cũng khó mà giải được), kết quả vẫn cho ra hiệu quả tương tự, thậm chí còn phục hồi được hơn 80% hiệu quả huấn luyện hỗn hợp mặc định.
Điều này nói lên điều gì? Chưng cất chiến lược trực tuyến không dạy học sinh "đáp án đúng của bài toán", mà là cách tư duy và thói quen suy luận của giáo viên khi đối mặt với vấn đề.
Giống như một kỳ thủ cờ vua lão luyện hướng dẫn bạn chơi cờ. Dù ông ấy không thể tự mình giải quyết ván cờ tàn đó, nhưng logic phán đoán mà ông thể hiện trong từng nước cờ vẫn có thể giúp bạn học hỏi được. Việc ông ấy "thua" ván cờ đó không quan trọng, mà quan trọng là cách tính toán và cân nhắc đằng sau mỗi nước cờ, đó mới là điều thực sự có thể truyền đạt.
Tuy nhiên, các nhà nghiên cứu cũng tìm ra một cách điều chỉnh thông minh hơn: thay vì chỉ nhìn vào việc giáo viên có giải đúng hay không, hãy **theo dõi động thái quá trình làm bài của học sinh**. Khi học sinh đã có thể giải đúng một bài ổn định, thì nên loại bỏ bài đó khỏi tập huấn luyện. Bởi vì việc giáo viên tiếp tục "chỉnh sửa" học sinh ở bài đó là vô nghĩa, mà chỉ lãng phí tài nguyên huấn luyện. Điều này giống như một đứa trẻ đã biết tự buộc dây giày thành thạo, nhưng cha mẹ vẫn cứ ngày nào cũng theo dõi và chỉnh sửa tư thế buộc dây giày của con. Đứa trẻ vừa khó chịu, lại vừa chậm tiến bộ. Tốt hơn hết là dành năng lượng đó cho những kỹ năng mà đứa trẻ chưa nắm vững. Sự điều chỉnh nhỏ này, dù chỉ mang lại mức cải thiện vài phần trăm, nhưng logic của nó là rất vững chắc.
Ranh giới quan trọng: Giáo viên và học sinh có "cùng một nguồn gốc" không?
Nếu phát hiện trước đó chỉ gây ngạc nhiên, thì phát hiện tiếp theo này mới là trọng tâm thực sự của bài báo, và là chìa khóa để hiểu toàn bộ logic.
Mô hình cùng nguồn gốc (Same-Origin) / Mô hình khác nguồn gốc (Cross-Origin)
Cùng nguồn gốc: Mô hình giáo viên và mô hình học sinh được huấn luyện từ cùng một mô hình nền tảng. Ví dụ, học sinh được tinh chỉnh trực tiếp (SFT) từ một mô hình cơ sở, còn giáo viên được huấn luyện tăng cường trên cùng mô hình cơ sở đó.
Khác nguồn gốc: Giáo viên và học sinh hoàn toàn không xuất phát từ cùng một mô hình nền tảng, mà là hai dòng "huyết thống" hoàn toàn khác nhau.
Các nhà nghiên cứu đã thực hiện một loạt các thử nghiệm đối chứng, để cùng một mô hình học sinh nhận được hướng dẫn từ một giáo viên cùng nguồn gốc và một giáo viên khác nguồn gốc, sau đó đánh giá trong các tình huống hoàn toàn khác nhau như toán tiếng Anh, toán tiếng Trung và các bài toán suy luận chuỗi dài (cần kết nối nhiều vấn đề con để giải quyết các bài toán phức tạp).
Kết quả lại hoàn toàn đi ngược lại lẽ thường: giáo viên mạnh hơn không nhất thiết sẽ đào tạo ra học sinh mạnh hơn.
Ví dụ, trong bài báo có một nhóm đối chứng: mô hình học sinh DS-distill-7B. Giáo viên cùng nguồn gốc là Polaris-7B, và giáo viên khác nguồn gốc là Light-R1-14B. Chỉ xét riêng năng lực của hai giáo viên này, Light-R1-14B rõ ràng có điểm số cao hơn, là một "kỳ thủ" mạnh hơn. Nhưng sau khi để nó dạy học sinh, hiệu suất của học sinh lại không bằng hiệu quả được dạy bởi giáo viên cùng nguồn gốc "yếu hơn". Đặc biệt trong các bài toán suy luận chuỗi dài, đòi hỏi khả năng chuyển giao kiến thức giữa các lĩnh vực, học sinh được dạy bởi giáo viên khác nguồn gốc gần như không có tiến bộ đáng kể, tương tự như trước khi huấn luyện.
Trong khi đó, điều xảy ra giữa cặp thầy trò cùng nguồn gốc thì thật đáng kinh ngạc: học sinh được kéo một cách ổn định đến gần với trình độ của giáo viên, bất kể đó là các bài toán toán học tiếng Anh đã được huấn luyện, hay các bài toán toán học tiếng Trung, các bài toán suy luận chuỗi dài chưa từng được huấn luyện.
Giải thích của bài báo là "nguồn gốc" của mô hình quyết định mức độ gần gũi của phân phối chiến lược giữa hai bên.
Chưng cất chiến lược trực tuyến về bản chất là sử dụng phân kỳ KL (một chỉ số toán học để đo lường sự khác biệt giữa hai phân phối xác suất) để kéo xác suất đầu ra của học sinh về phía xác suất đầu ra của giáo viên.
Nếu học sinh và giáo viên vốn được huấn luyện từ cùng một "tổ tiên", thì "nền tảng" của phân phối xác suất đầu ra của cả hai bản thân đã rất gần nhau. Quá trình huấn luyện có thể đạt được sự căn chỉnh giữa hai bên ở cấp độ chiến lược tổng thể. Một khi sự căn chỉnh này xảy ra, nó sẽ tự động lan tỏa sang các tình huống chưa từng thấy, bởi vì học sinh học được không phải là các kỹ thuật cụ thể trong một lĩnh vực nào đó, mà là toàn bộ cách tư duy giải quyết vấn đề của giáo viên.
Nhưng nếu giáo viên và học sinh không cùng "huyết thống", khoảng cách giữa hai phân phối xác suất quá lớn, thì việc huấn luyện tối đa chỉ có thể khiến học sinh thể hiện giống giáo viên hơn trong phân phối cụ thể mà dữ liệu huấn luyện đã bao phủ. Một khi rời khỏi phân phối này, học sinh ngay lập tức trở lại trạng thái ban đầu.
Có một phép tương tự rất trực quan ở đây: hãy tưởng tượng bạn muốn bắt chước giọng nói của một người. Nếu cả hai bạn đều là người cùng quê, lớn lên nghe cùng một loại phương ngữ, chỉ là sau này một người đi nhiều nơi và học thêm vài từ mới, thì bạn chỉ cần trò chuyện với họ một chút là có thể nhanh chóng học được cách phát âm những từ mới đó, thậm chí còn có thể tự nhiên mang cái "chất giọng" đó vào những ngữ cảnh khác mà họ chưa từng dạy bạn. Nhưng nếu đối phương là người nước ngoài, nói một ngôn ngữ hoàn toàn khác hệ, thì những câu bạn ghi nhớ chết cứng cùng lắm chỉ là nhại lại như con vẹt. Thay đổi ngữ cảnh một cái là bạn sẽ lộ tẩy ngay, bởi vì bạn hoàn toàn không học được logic phát âm nền tảng đó, mà chỉ ghi nhớ vài cụm từ cố định.
Nếu không phân biệt điều này thì sao? Đó chính là sai lầm mà nhiều đội nhóm mắc phải: chỉ nhìn vào điểm số tuyệt đối của mô hình giáo viên có cao hay không, mà hoàn toàn không xem xét mối quan hệ "huyết thống" giữa giáo viên và học sinh. Kết quả là, họ đã chọn một giáo viên "mạnh nhất" một cách cẩn thận, nhưng hiệu quả huấn luyện lại không bằng việc chọn một giáo viên cùng nguồn gốc "yếu hơn" một cách ngẫu nhiên. Đây không phải là lý thuyết suông, dữ liệu thử nghiệm trong bài báo đã chứng minh điều này bằng văn bản rõ ràng.
Bài báo cũng đã định lượng và xác minh "giả thuyết huyết thống" này. Họ đã đo lường mức độ trùng lặp giữa tập hợp các từ ứng cử viên (lấy 16 từ có xác suất cao nhất) mà học sinh và giáo viên đưa ra khi dự đoán từ tiếp theo trong mỗi bước huấn luyện. Kết quả cho thấy, tỷ lệ trùng lặp của cặp thầy trò cùng nguồn gốc tăng đều đặn theo quá trình huấn luyện, trong khi tỷ lệ trùng lặp của cặp thầy trò khác nguồn gốc thì dậm chân tại chỗ, thậm chí còn có xu hướng giảm.
Điều này cho thấy chưng cất cùng nguồn gốc đang dịch chuyển toàn bộ chiến lược của học sinh về phía giáo viên, còn chưng cất khác nguồn gốc chỉ đơn thuần là giảm sự khác biệt giữa hai bên trong một phần nhỏ của dữ liệu huấn luyện, hoàn toàn không đạt được sự căn chỉnh rộng rãi hơn.
Kiến thức giáo viên dạy có "vượt ranh giới" sang các môn học khác không?
Sau khi làm rõ biến số "cùng nguồn gốc" và "khác nguồn gốc", các nhà nghiên cứu tiếp tục đặt ra câu hỏi quan trọng thứ hai: Nếu chỉ dùng bài toán toán học để huấn luyện học sinh, liệu học sinh có tự động trở nên giỏi hơn trong các lĩnh vực hoàn toàn không liên quan như lập trình và khoa học không?
Câu trả lời là: có, nhưng tiền đề vẫn là quy tắc cũ, phải xem thầy trò có cùng nguồn gốc hay không.
Trong bài báo, các nhà nghiên cứu đã thiết kế một thí nghiệm rất rõ ràng. Họ dùng các bài toán toán học để huấn luyện học sinh, sau đó kiểm tra học sinh bằng tiêu chuẩn đánh giá khả năng lập trình LiveCodeBench và tiêu chuẩn câu hỏi khoa học GPQA-Diamond. Trong trường hợp cùng nguồn gốc, dù là huấn luyện bằng bài toán toán học hay trực tiếp bằng bài toán lập trình, cuối cùng hiệu suất của học sinh trong bài kiểm tra lập trình gần như tốt như nhau, và có thể đạt gần mức độ lập trình của giáo viên. Điều ngược lại cũng đúng: dùng dữ liệu lập trình, khoa học, hay thậm chí các nhiệm vụ "tuân thủ chỉ dẫn" (chẳng liên quan gì đến toán học) để huấn luyện học sinh, khả năng toán học của học sinh vẫn sẽ được cải thiện đáng kể, thậm chí cả các tình huống cụ thể hơn như toán tiếng Trung và suy luận chuỗi dài cũng được hưởng lợi.
Logic đằng sau điều này giống như điều đã đề cập trước đó: giáo viên và học sinh cùng nguồn gốc, vì có xuất thân tương tự, nên quá trình chưng cất huấn luyện thực hiện sự căn chỉnh ở cấp độ chiến lược tổng thể. Một khi sự căn chỉnh này hình thành, nó sẽ tự nhiên lan tỏa đến tất cả các khía cạnh năng lực của giáo viên, bất kể môn học nào được sử dụng trong quá trình huấn luyện.
Còn đối với cặp thầy trò khác nguồn gốc thì sao? Hiệu quả được huấn luyện trực tiếp bằng dữ liệu lập trình rõ ràng tốt hơn hiệu quả được huấn luyện bằng dữ liệu toán học nhưng lại kiểm tra bằng lập trình. Giữa hai bên có một khoảng cách rõ ràng. Điều này cho thấy chưng cất khác nguồn gốc cùng lắm chỉ là tinh chỉnh cục bộ xung quanh phân phối các câu hỏi được dùng để huấn luyện, hoàn toàn không đạt được sự chuyển giao năng lực giữa các lĩnh vực.
Chúng ta có thể ví von thế này: bạn thuê một huấn luyện viên riêng để rèn luyện thể lực. Nếu huấn luyện viên này vốn đã am hiểu tình trạng cơ thể và thói quen vận động của bạn (cùng nguồn gốc), thì dù anh ta chỉ giúp bạn chạy bộ vài tuần, bạn sẽ thấy sức bền khi bơi lội và chơi bóng cũng được cải thiện theo, vì anh ta đang rèn luyện khả năng tim mạch tổng thể của bạn – một khả năng nền tảng. Nhưng nếu huấn luyện viên này hoàn toàn xa lạ với bạn, chỉ dạy theo một giáo trình chung chung (khác nguồn gốc), thì việc anh ta dạy bạn chạy bộ có thể giúp bạn tiến bộ trong chạy bộ, nhưng khả năng bơi lội vẫn kém như cũ, vì anh ta hoàn toàn không chạm đến khả năng nền tảng, mà chỉ điều chỉnh một số động tác bề mặt.
Nếu không quan tâm đến hiệu ứng liên ngành này thì sao? Phần tiếp theo sẽ cho bạn biết câu trả lời, đây mới là điều thực sự khiến mình phải rùng mình khi đọc bài báo này.
Điều gì sẽ xảy ra khi bạn muốn mời nhiều giáo viên cùng lúc?
Tất cả những phần chuẩn bị trước đó đều nhằm mục đích đưa ra khám phá thực tế và quan trọng nhất của bài báo này: một mối nguy hiểm tiềm ẩn to lớn trong chưng cất đa giáo viên (Multi-Teacher OPD - MOPD).
Chưng cất chiến lược trực tuyến đa giáo viên (MOPD): Phương pháp phổ biến hiện nay trong ngành là tìm nhiều mô hình giáo viên chuyên sâu ở các lĩnh vực khác nhau (ví dụ: một chuyên gia toán, một chuyên gia khoa học), sau đó định tuyến các câu hỏi thuộc các lĩnh vực khác nhau cho các giáo viên chuyên gia tương ứng để hướng dẫn. Về lý thuyết, điều này có thể "lắp ráp" một học sinh toàn diện.
Ý tưởng thiết kế này nghe có vẻ hoàn hảo: các bài toán toán học giao cho giáo viên toán sửa, các bài toán khoa học giao cho giáo viên khoa học sửa. Mỗi người một việc, không can thiệp lẫn nhau, cuối cùng học sinh sẽ học được tất cả các kỹ năng chuyên môn của các giáo viên.
Tuy nhiên, như đã chứng minh ở trên, sức ảnh hưởng của giáo viên hoàn toàn không chỉ giới hạn trong lĩnh vực được giao. Nó sẽ "vượt ranh giới" và thấm nhuần vào các lĩnh vực khác. Điều này có nghĩa là khi bạn tập hợp nhiều giáo viên để huấn luyện một học sinh cùng lúc, các giáo viên dường như phân công rõ ràng, nhưng thực chất lại đang âm thầm "tranh giành lãnh thổ", giành giật quyền kiểm soát học sinh trong các khía cạnh năng lực khác nhau.
Các nhà nghiên cứu đã sử dụng hai mô hình JustRL-1.5B (có khả năng toán học mạnh nhưng khoa học yếu) và một mô hình Nemotron-1.5B (có khả năng khoa học và tuân thủ chỉ dẫn mạnh nhưng toán học yếu) để thực hiện một loạt thí nghiệm đầy kịch tính.
Thiết lập một: JustRL làm giáo viên toán, Nemotron làm giáo viên khoa học/tuân thủ chỉ dẫn, và tỷ lệ phân bổ câu hỏi cho học sinh từ hai giáo viên này được điều chỉnh liên tục. Kết quả cho thấy, khi tỷ lệ câu hỏi được phân bổ cho JustRL (giáo viên toán) tăng dần, điểm số của học sinh trong các bài kiểm tra khoa học GPQA-Diamond, lập trình LiveCodeBench và tuân thủ chỉ dẫn IF-Eval đều giảm theo, dù những môn này đáng lẽ Nemotron phải phụ trách. Thậm chí còn phóng đại hơn, trong bài kiểm tra khoa học, vì trình độ khoa học của JustRL bản thân còn kém hơn trình độ ban đầu của học sinh, sự "kéo lùi vượt ranh giới" này thậm chí còn khiến điểm khoa học của học sinh giảm xuống dưới mức khởi điểm trước khi huấn luyện.
Thiết lập hai: Đảo ngược vai trò của hai giáo viên, để Nemotron làm giáo viên toán, JustRL làm giáo viên khoa học/tuân thủ chỉ dẫn. Lúc này, ba môn học ban đầu bị giảm điểm lại tăng lên khi tỷ lệ của Nemotron tăng, hướng hoàn toàn ngược lại.
Điều này nói lên điều gì? Hiệu suất cuối cùng của học sinh trong một lĩnh vực nào đó hoàn toàn không được quyết định bởi giáo viên "trên danh nghĩa" phụ trách lĩnh vực đó, mà được quyết định bởi việc giáo viên nào trong toàn bộ hệ thống hỗn hợp nhận được nhiều câu hỏi hơn. Giáo viên có "phần" lớn hơn sẽ "kéo" mức độ tổng thể của mình sang, bất kể lĩnh vực "trên danh nghĩa" mà giáo viên đó phụ trách là gì.
Bài báo gọi hiện tượng này là hiệu ứng bập bênh (seesaw effect). Thuật ngữ này rất khéo léo, vì nó mô tả chính xác sự cân bằng động, sự tăng giảm và kéo co lẫn nhau này: bạn tăng thêm trọng lượng cho một giáo viên, một đầu của bập bênh sẽ chìm xuống, và đầu kia (khả năng do giáo viên khác chủ đạo) sẽ nhô lên.
Các nhà nghiên cứu thậm chí còn quan sát thấy một "cuộc chiến giằng co" thực sự trong quá trình huấn luyện. Trong bài kiểm tra suy luận chuỗi dài AIME24-Horizon-2, ở giai đoạn đầu huấn luyện, hiệu suất của học sinh sẽ đi theo giáo viên có khả năng toán học mạnh hơn. Nhưng ở giai đoạn sau, nó lại dần bị kéo trở lại mức của giáo viên kia, giống như trong một cuộc thi kéo co, điểm giữa của sợi dây ban đầu di chuyển về một phía, rồi lại di chuyển về phía kia, cuối cùng dừng lại ở đâu phụ thuộc vào "sức mạnh" (mức độ năng lực và tỷ lệ phân bổ) của hai bên (giáo viên).
Để thấy rõ hơn hiện tượng này, các nhà nghiên cứu còn thực hiện một thí nghiệm "chưng cất tầng": đầu tiên, dùng Nemotron (mạnh về khoa học) và các câu hỏi khoa học để huấn luyện một thời gian, điểm khoa học của học sinh tăng lên đáng kể. Ngay sau đó, chuyển sang dùng JustRL và các câu hỏi toán học để tiếp tục huấn luyện, điểm khoa học của học sinh lại bất ngờ giảm xuống như cũ. Điều này giống như một người đầu tiên tập bơi ba tháng với một huấn luyện viên, thành tích tăng rõ rệt. Nhưng sau đó lại đổi sang một huấn luyện viên chỉ tập điền kinh, thì thành tích bơi lội lại từ từ thụt lùi, vì tài nguyên cơ thể và trọng tâm huấn luyện đã được phân bổ lại.
Đây là một phép tương tự rất đáng suy ngẫm: hãy tưởng tượng bạn cùng lúc thuê hai gia sư để kèm cặp con mình, một người chuyên toán, một người chuyên tiếng Anh. Bạn nghĩ rằng cách sắp xếp này sẽ giúp con bạn giỏi cả toán và tiếng Anh. Nhưng nếu hai gia sư này thực chất đều vô tình ảnh hưởng đến thói quen học tập và cách tư duy tổng thể của đứa trẻ (ví dụ: mức độ cẩn thận khi làm bài, ưu tiên phân bổ thời gian), thì dù giáo viên tiếng Anh chưa bao giờ dạy toán, miễn là số buổi đến dạy hàng tuần của cô ấy nhiều hơn giáo viên toán, thì phong cách làm bài toán của đứa trẻ cũng sẽ vô thức nghiêng về phong cách tổng thể của giáo viên tiếng Anh đó. Nếu không nhìn nhận thẳng thắn "ảnh hưởng vượt ranh giới" này, phụ huynh có thể sẽ luôn nghĩ "con mình dốt toán, chắc là giáo viên toán dạy không đến nơi đến chốn", mà hoàn toàn không nhận ra vấn đề nằm ở tỷ trọng mà giáo viên tiếng Anh chiếm quá lớn, kéo trạng thái tổng thể của đứa trẻ đi chệch hướng khác.
Đây cũng là một ý tưởng chẩn đoán rất có giá trị mà bài báo này đưa ra: Khi bạn thấy một mô hình được huấn luyện bởi nhiều giáo viên thể hiện kém trong một lĩnh vực nào đó, đừng vội đổ lỗi cho giáo viên "trên danh nghĩa" phụ trách lĩnh vực đó. Rất có thể, thủ phạm thực sự là sự "kéo co liên ngành" của một giáo viên khác đang tác động.
Điều gì thực sự xảy ra giữa thầy trò cùng nguồn gốc?
Phần cuối của bài báo cố gắng trả lời một câu hỏi bản chất hơn: Tại sao chưng cất cùng nguồn gốc có thể đạt được sự căn chỉnh tổng thể, trong khi chưng cất khác nguồn gốc thì không?
Các nhà nghiên cứu đã sử dụng một chỉ số gọi là "tỷ lệ trùng lặp Top-K" để định lượng quan sát. Nói một cách đơn giản, mỗi khi học sinh dự đoán từ tiếp theo, họ sẽ xem 16 từ ứng cử viên đáng tin cậy nhất mà học sinh đưa ra, trùng lặp bao nhiêu từ với 16 từ ứng cử viên đáng tin cậy nhất mà giáo viên đưa ra.
Xu hướng của chỉ số này trong quá trình huấn luyện, trong hai trường hợp cùng nguồn gốc và khác nguồn gốc, cho thấy những bức tranh hoàn toàn khác nhau. Tỷ lệ trùng lặp của cặp thầy trò cùng nguồn gốc liên tục tăng cao, ngay từ khi bắt đầu huấn luyện đã cao hơn một đoạn so với cặp thầy trò khác nguồn gốc, và tiếp tục tăng khi số bước huấn luyện tăng lên. Trong khi đó, tỷ lệ trùng lặp của cặp thầy trò khác nguồn gốc thì dậm chân tại chỗ, thậm chí có xu hướng giảm.
Kết quả này rất quan trọng, vì cả hai trường hợp đều sử dụng cùng một bộ mục tiêu huấn luyện (cùng một hàm mất mát phân kỳ KL), nhưng lại cho ra những hiệu quả khác nhau hoàn toàn. Điều này cho thấy chưng cất cùng nguồn gốc đã dịch chuyển toàn bộ phân phối xác suất đầu ra của học sinh về phía giáo viên. Còn chưng cất khác nguồn gốc cùng lắm chỉ giảm được sự khác biệt giữa hai bên trong một khu vực nhỏ được bao phủ bởi dữ liệu huấn luyện, hoàn toàn không chạm đến sự căn chỉnh sâu sắc ở cấp độ chiến lược.
Các nhà nghiên cứu tiếp tục áp dụng phát hiện này vào kịch bản chưng cất đa giáo viên để xác minh, và kết quả khẳng định "lực kéo" của giáo viên cùng nguồn gốc mạnh hơn đáng kể trong hiệu ứng bập bênh. Họ sử dụng DS-distill-7B làm học sinh, Light-R1-7B cùng nguồn gốc làm giáo viên toán, và Light-R1-14B khác nguồn gốc làm giáo viên khoa học/tuân thủ chỉ dẫn. Kết quả cho thấy, ngay cả khi tỷ lệ của hai giáo viên chia đôi, khả năng khoa học của học sinh vẫn bị kéo theo giáo viên toán cùng nguồn gốc, người mà "trọng lượng" không chiếm ưu thế.
Điều này cho thấy yếu tố "huyết thống" mang lại ảnh hưởng thậm chí còn mạnh mẽ hơn cả tỷ lệ dữ liệu huấn luyện.
Một chi tiết đáng nói riêng trong bài báo là, trong một nhóm thử nghiệm cùng nguồn gốc (Light-R1-14B dạy DS-distill-14B), mô hình học sinh được chưng cất cuối cùng lại đạt kết quả vượt trội so với hiệu suất độc lập của chính giáo viên trong bài kiểm tra suy luận chuỗi dài. Điều này cho thấy học sinh được huấn luyện bằng chưng cất cùng nguồn gốc không nhất thiết bị giới hạn bởi trần năng lực của giáo viên. Kết luận này có phần đi ngược lại lẽ thường, và đáng để các nghiên cứu sau này đào sâu hơn về cơ chế "trò hơn thầy" này thực sự diễn ra như thế nào.
Đọc xong bài báo này, điều khiến mình bất ngờ nhất là kết quả thí nghiệm "đề mà giáo viên không giải được, vẫn hữu ích". Kết luận này thực chất đã gián tiếp trả lời một câu hỏi mà mình vẫn luôn trăn trở: tại sao mọi người khi lọc dữ liệu cho huấn luyện tăng cường và chưng cất, lại luôn thích dùng phương pháp lọc độ khó một cách thô bạo, mà hiếm khi có ai thực sự kiểm chứng xem việc lọc này có cần thiết hay không. Bài báo này, thông qua các thí nghiệm đối chứng vững chắc, đã chỉ ra rằng, ít nhất trong bối cảnh chưng cất chiến lược trực tuyến, việc lọc độ khó có thể là một giả định sai lầm. Biến số thực sự quan trọng nằm ở chỗ khác, đó chính là mối quan hệ "huyết thống" giữa thầy và trò.
Một điểm khác khiến mình cứ mãi suy ngẫm là phát hiện về hiệu ứng bập bênh. Nó thực chất hé lộ một quy luật phổ quát hơn: bất kỳ hệ thống nào cố gắng sử dụng "phân công định tuyến" để đạt được sự kết hợp mô-đun hóa, đều có thể đối mặt với những rủi ro tiềm ẩn tương tự, nếu sự ảnh hưởng giữa các mô-đun thực chất không được tách biệt hoàn toàn. Điều này khiến mình liên tưởng đến các vấn đề tương tự trong hệ thống đa tác nhân (multi-agent systems): liệu khi một vài tác nhân có phân công rõ ràng cùng hợp tác, có tồn tại một dòng chảy ngầm nào đó về quyền lực, nơi tác nhân nào có tiếng nói lớn hơn sẽ chi phối phong cách tổng thể hay không? Bài báo này không trả lời câu hỏi đó, nhưng nó cung cấp một khung chẩn đoán tuyệt vời. Khi gặp phải hiện tượng "phân công nhưng lại can thiệp lẫn nhau" tương tự, chúng ta có thể bắt đầu kiểm tra xem giữa các thành phần có tồn tại những yếu tố "huyết thống" hoặc "trọng số" tiềm ẩn nào đang tác động hay không.
Trong vài năm qua, kỹ thuật "chưng cất chiến lược trực tuyến" (On-Policy Distillation - OPD) đã trở thành một phần không thể thiếu trong huấn luyện các mô hình ngôn ngữ lớn, xuất hiện trong báo cáo kỹ thuật của hầu hết các mô hình hàng đầu như Kimi hay DeepSeek. Tuy nhiên, một vấn đề chung của hầu hết các phương pháp đánh giá là chúng chỉ chấm điểm trong lĩnh vực, ngôn ngữ và độ khó của các câu hỏi được dùng để huấn luyện. Điều này giống như việc bạn dạy một học sinh làm toán, rồi chỉ ra đề trong chính bộ đề mà bạn đã cho học sinh đó luyện tập, và tự hào tuyên bố "hiệu quả giảng dạy rõ rệt". Rốt cuộc, học sinh đã học được cách tư duy giải đề hay chỉ đơn thuần ghi nhớ đáp án, chúng ta hoàn toàn không thể phân biệt được.
Bài báo đến từ nhóm nghiên cứu chung của Đại học Khoa học và Công nghệ Trung Quốc, Đại học Bắc Kinh và Đại học Chiết Giang, đã vén bức màn này lên, để xem khả năng được "chưng cất" thực sự có thể đi xa đến đâu.
Một điều ngược đời: Đề mà giáo viên không giải được, vẫn hữu ích
Trước khi đi sâu vào phương pháp của bài báo, mình cùng tìm hiểu xem "chưng cất chiến lược trực tuyến" là gì và tại sao nó lại trở thành xu hướng. Chưng cất chiến lược trực tuyến (OPD) là quá trình để mô hình học sinh tự tạo ra câu trả lời, sau đó mô hình giáo viên sẽ chấm điểm và hướng dẫn từng từ một dựa trên nội dung mà học sinh đã tạo, thay vì bắt học sinh ghi nhớ những câu trả lời mẫu có sẵn của giáo viên.
Thiết kế này đã giải quyết một vấn đề cũ của phương pháp chưng cất truyền thống. Trước đây, cách phổ biến để dạy các mô hình nhỏ là để mô hình lớn (giáo viên) viết một loạt các bước giải, rồi đưa những bước này cho mô hình nhỏ (học sinh) bắt chước. Vấn đề là những gì học sinh nói khi thực sự làm bài thường không giống với văn phong mẫu của giáo viên. Khi thực sự "lâm trận", học sinh viết theo cách riêng của mình và nhanh chóng nhận ra mình chưa bao giờ được huấn luyện theo cách đó, dẫn đến việc viết càng lúc càng rối. Trong học thuật, điều này được gọi là "exposure bias" (lệch phơi nhiễm).
Giải pháp của OPD rất trực tiếp: Vì học sinh sớm muộn gì cũng phải trả lời bằng lời lẽ của mình, vậy thì hãy để học sinh trả lời ngay tại chỗ, và giáo viên sẽ nhận xét từng chữ xem có tốt hay không. Điều này giống như việc thuê một gia sư không đưa cho bạn một cuốn sách đáp án để bạn tự học, mà ngồi cạnh bạn, quan sát bạn làm bài tập, và khi bạn viết đến bước nào đó, gia sư sẽ nói "bước này không đúng, bạn nên nghĩ theo hướng này".
Một điều khá ngược với trực giác đã được các nhà nghiên cứu phát hiện. Họ đã làm một thí nghiệm: phân loại các câu hỏi huấn luyện thành ba loại dựa trên khả năng giải đúng của giáo viên. Loại thứ nhất là câu hỏi dễ mà giáo viên luôn giải đúng (bốn lần lấy mẫu đều đúng). Loại thứ hai là câu hỏi khó mà giáo viên hoàn toàn không giải được (bốn lần lấy mẫu đều sai). Loại thứ ba là câu hỏi hỗn hợp ngẫu nhiên.
Theo lẽ thường, chúng ta sẽ nghĩ rằng chắc chắn phải chọn những câu mà giáo viên làm được để dạy học sinh. Làm sao có thể dạy học sinh những câu mà giáo viên còn không biết làm?
Tuy nhiên, dữ liệu thử nghiệm cho thấy, kết quả học tập của học sinh được huấn luyện từ ba loại câu hỏi này gần như giống hệt nhau.
Biểu đồ gốc trong bài báo (Hình 1) đã minh họa rất rõ ràng: Qwen3-32B dạy Qwen3-8B và Polaris-7B dạy hai mô hình học sinh có kích thước khác nhau. Ba đường cong tương ứng với câu hỏi dễ, khó và hỗn hợp đều hội tụ về một đường gần như trùng khớp sau 200 bước huấn luyện. Họ còn tìm các trường hợp cực đoan để kiểm chứng, dùng các câu hỏi cấp độ tiểu học trong GSM8K (cực kỳ đơn giản) và những câu khó nhất trong DeepMath-103K (giáo viên cũng khó mà giải được), kết quả vẫn cho ra hiệu quả tương tự, thậm chí còn phục hồi được hơn 80% hiệu quả huấn luyện hỗn hợp mặc định.
Điều này nói lên điều gì? Chưng cất chiến lược trực tuyến không dạy học sinh "đáp án đúng của bài toán", mà là cách tư duy và thói quen suy luận của giáo viên khi đối mặt với vấn đề.
Giống như một kỳ thủ cờ vua lão luyện hướng dẫn bạn chơi cờ. Dù ông ấy không thể tự mình giải quyết ván cờ tàn đó, nhưng logic phán đoán mà ông thể hiện trong từng nước cờ vẫn có thể giúp bạn học hỏi được. Việc ông ấy "thua" ván cờ đó không quan trọng, mà quan trọng là cách tính toán và cân nhắc đằng sau mỗi nước cờ, đó mới là điều thực sự có thể truyền đạt.
Tuy nhiên, các nhà nghiên cứu cũng tìm ra một cách điều chỉnh thông minh hơn: thay vì chỉ nhìn vào việc giáo viên có giải đúng hay không, hãy **theo dõi động thái quá trình làm bài của học sinh**. Khi học sinh đã có thể giải đúng một bài ổn định, thì nên loại bỏ bài đó khỏi tập huấn luyện. Bởi vì việc giáo viên tiếp tục "chỉnh sửa" học sinh ở bài đó là vô nghĩa, mà chỉ lãng phí tài nguyên huấn luyện. Điều này giống như một đứa trẻ đã biết tự buộc dây giày thành thạo, nhưng cha mẹ vẫn cứ ngày nào cũng theo dõi và chỉnh sửa tư thế buộc dây giày của con. Đứa trẻ vừa khó chịu, lại vừa chậm tiến bộ. Tốt hơn hết là dành năng lượng đó cho những kỹ năng mà đứa trẻ chưa nắm vững. Sự điều chỉnh nhỏ này, dù chỉ mang lại mức cải thiện vài phần trăm, nhưng logic của nó là rất vững chắc.
Ranh giới quan trọng: Giáo viên và học sinh có "cùng một nguồn gốc" không?
Nếu phát hiện trước đó chỉ gây ngạc nhiên, thì phát hiện tiếp theo này mới là trọng tâm thực sự của bài báo, và là chìa khóa để hiểu toàn bộ logic.
Mô hình cùng nguồn gốc (Same-Origin) / Mô hình khác nguồn gốc (Cross-Origin)
Cùng nguồn gốc: Mô hình giáo viên và mô hình học sinh được huấn luyện từ cùng một mô hình nền tảng. Ví dụ, học sinh được tinh chỉnh trực tiếp (SFT) từ một mô hình cơ sở, còn giáo viên được huấn luyện tăng cường trên cùng mô hình cơ sở đó.
Khác nguồn gốc: Giáo viên và học sinh hoàn toàn không xuất phát từ cùng một mô hình nền tảng, mà là hai dòng "huyết thống" hoàn toàn khác nhau.
Các nhà nghiên cứu đã thực hiện một loạt các thử nghiệm đối chứng, để cùng một mô hình học sinh nhận được hướng dẫn từ một giáo viên cùng nguồn gốc và một giáo viên khác nguồn gốc, sau đó đánh giá trong các tình huống hoàn toàn khác nhau như toán tiếng Anh, toán tiếng Trung và các bài toán suy luận chuỗi dài (cần kết nối nhiều vấn đề con để giải quyết các bài toán phức tạp).
Kết quả lại hoàn toàn đi ngược lại lẽ thường: giáo viên mạnh hơn không nhất thiết sẽ đào tạo ra học sinh mạnh hơn.
Ví dụ, trong bài báo có một nhóm đối chứng: mô hình học sinh DS-distill-7B. Giáo viên cùng nguồn gốc là Polaris-7B, và giáo viên khác nguồn gốc là Light-R1-14B. Chỉ xét riêng năng lực của hai giáo viên này, Light-R1-14B rõ ràng có điểm số cao hơn, là một "kỳ thủ" mạnh hơn. Nhưng sau khi để nó dạy học sinh, hiệu suất của học sinh lại không bằng hiệu quả được dạy bởi giáo viên cùng nguồn gốc "yếu hơn". Đặc biệt trong các bài toán suy luận chuỗi dài, đòi hỏi khả năng chuyển giao kiến thức giữa các lĩnh vực, học sinh được dạy bởi giáo viên khác nguồn gốc gần như không có tiến bộ đáng kể, tương tự như trước khi huấn luyện.
Trong khi đó, điều xảy ra giữa cặp thầy trò cùng nguồn gốc thì thật đáng kinh ngạc: học sinh được kéo một cách ổn định đến gần với trình độ của giáo viên, bất kể đó là các bài toán toán học tiếng Anh đã được huấn luyện, hay các bài toán toán học tiếng Trung, các bài toán suy luận chuỗi dài chưa từng được huấn luyện.
Giải thích của bài báo là "nguồn gốc" của mô hình quyết định mức độ gần gũi của phân phối chiến lược giữa hai bên.
Chưng cất chiến lược trực tuyến về bản chất là sử dụng phân kỳ KL (một chỉ số toán học để đo lường sự khác biệt giữa hai phân phối xác suất) để kéo xác suất đầu ra của học sinh về phía xác suất đầu ra của giáo viên.
Nếu học sinh và giáo viên vốn được huấn luyện từ cùng một "tổ tiên", thì "nền tảng" của phân phối xác suất đầu ra của cả hai bản thân đã rất gần nhau. Quá trình huấn luyện có thể đạt được sự căn chỉnh giữa hai bên ở cấp độ chiến lược tổng thể. Một khi sự căn chỉnh này xảy ra, nó sẽ tự động lan tỏa sang các tình huống chưa từng thấy, bởi vì học sinh học được không phải là các kỹ thuật cụ thể trong một lĩnh vực nào đó, mà là toàn bộ cách tư duy giải quyết vấn đề của giáo viên.
Nhưng nếu giáo viên và học sinh không cùng "huyết thống", khoảng cách giữa hai phân phối xác suất quá lớn, thì việc huấn luyện tối đa chỉ có thể khiến học sinh thể hiện giống giáo viên hơn trong phân phối cụ thể mà dữ liệu huấn luyện đã bao phủ. Một khi rời khỏi phân phối này, học sinh ngay lập tức trở lại trạng thái ban đầu.
Có một phép tương tự rất trực quan ở đây: hãy tưởng tượng bạn muốn bắt chước giọng nói của một người. Nếu cả hai bạn đều là người cùng quê, lớn lên nghe cùng một loại phương ngữ, chỉ là sau này một người đi nhiều nơi và học thêm vài từ mới, thì bạn chỉ cần trò chuyện với họ một chút là có thể nhanh chóng học được cách phát âm những từ mới đó, thậm chí còn có thể tự nhiên mang cái "chất giọng" đó vào những ngữ cảnh khác mà họ chưa từng dạy bạn. Nhưng nếu đối phương là người nước ngoài, nói một ngôn ngữ hoàn toàn khác hệ, thì những câu bạn ghi nhớ chết cứng cùng lắm chỉ là nhại lại như con vẹt. Thay đổi ngữ cảnh một cái là bạn sẽ lộ tẩy ngay, bởi vì bạn hoàn toàn không học được logic phát âm nền tảng đó, mà chỉ ghi nhớ vài cụm từ cố định.
Nếu không phân biệt điều này thì sao? Đó chính là sai lầm mà nhiều đội nhóm mắc phải: chỉ nhìn vào điểm số tuyệt đối của mô hình giáo viên có cao hay không, mà hoàn toàn không xem xét mối quan hệ "huyết thống" giữa giáo viên và học sinh. Kết quả là, họ đã chọn một giáo viên "mạnh nhất" một cách cẩn thận, nhưng hiệu quả huấn luyện lại không bằng việc chọn một giáo viên cùng nguồn gốc "yếu hơn" một cách ngẫu nhiên. Đây không phải là lý thuyết suông, dữ liệu thử nghiệm trong bài báo đã chứng minh điều này bằng văn bản rõ ràng.
Bài báo cũng đã định lượng và xác minh "giả thuyết huyết thống" này. Họ đã đo lường mức độ trùng lặp giữa tập hợp các từ ứng cử viên (lấy 16 từ có xác suất cao nhất) mà học sinh và giáo viên đưa ra khi dự đoán từ tiếp theo trong mỗi bước huấn luyện. Kết quả cho thấy, tỷ lệ trùng lặp của cặp thầy trò cùng nguồn gốc tăng đều đặn theo quá trình huấn luyện, trong khi tỷ lệ trùng lặp của cặp thầy trò khác nguồn gốc thì dậm chân tại chỗ, thậm chí còn có xu hướng giảm.
Điều này cho thấy chưng cất cùng nguồn gốc đang dịch chuyển toàn bộ chiến lược của học sinh về phía giáo viên, còn chưng cất khác nguồn gốc chỉ đơn thuần là giảm sự khác biệt giữa hai bên trong một phần nhỏ của dữ liệu huấn luyện, hoàn toàn không đạt được sự căn chỉnh rộng rãi hơn.
Kiến thức giáo viên dạy có "vượt ranh giới" sang các môn học khác không?
Sau khi làm rõ biến số "cùng nguồn gốc" và "khác nguồn gốc", các nhà nghiên cứu tiếp tục đặt ra câu hỏi quan trọng thứ hai: Nếu chỉ dùng bài toán toán học để huấn luyện học sinh, liệu học sinh có tự động trở nên giỏi hơn trong các lĩnh vực hoàn toàn không liên quan như lập trình và khoa học không?
Câu trả lời là: có, nhưng tiền đề vẫn là quy tắc cũ, phải xem thầy trò có cùng nguồn gốc hay không.
Trong bài báo, các nhà nghiên cứu đã thiết kế một thí nghiệm rất rõ ràng. Họ dùng các bài toán toán học để huấn luyện học sinh, sau đó kiểm tra học sinh bằng tiêu chuẩn đánh giá khả năng lập trình LiveCodeBench và tiêu chuẩn câu hỏi khoa học GPQA-Diamond. Trong trường hợp cùng nguồn gốc, dù là huấn luyện bằng bài toán toán học hay trực tiếp bằng bài toán lập trình, cuối cùng hiệu suất của học sinh trong bài kiểm tra lập trình gần như tốt như nhau, và có thể đạt gần mức độ lập trình của giáo viên. Điều ngược lại cũng đúng: dùng dữ liệu lập trình, khoa học, hay thậm chí các nhiệm vụ "tuân thủ chỉ dẫn" (chẳng liên quan gì đến toán học) để huấn luyện học sinh, khả năng toán học của học sinh vẫn sẽ được cải thiện đáng kể, thậm chí cả các tình huống cụ thể hơn như toán tiếng Trung và suy luận chuỗi dài cũng được hưởng lợi.
Logic đằng sau điều này giống như điều đã đề cập trước đó: giáo viên và học sinh cùng nguồn gốc, vì có xuất thân tương tự, nên quá trình chưng cất huấn luyện thực hiện sự căn chỉnh ở cấp độ chiến lược tổng thể. Một khi sự căn chỉnh này hình thành, nó sẽ tự nhiên lan tỏa đến tất cả các khía cạnh năng lực của giáo viên, bất kể môn học nào được sử dụng trong quá trình huấn luyện.
Còn đối với cặp thầy trò khác nguồn gốc thì sao? Hiệu quả được huấn luyện trực tiếp bằng dữ liệu lập trình rõ ràng tốt hơn hiệu quả được huấn luyện bằng dữ liệu toán học nhưng lại kiểm tra bằng lập trình. Giữa hai bên có một khoảng cách rõ ràng. Điều này cho thấy chưng cất khác nguồn gốc cùng lắm chỉ là tinh chỉnh cục bộ xung quanh phân phối các câu hỏi được dùng để huấn luyện, hoàn toàn không đạt được sự chuyển giao năng lực giữa các lĩnh vực.
Chúng ta có thể ví von thế này: bạn thuê một huấn luyện viên riêng để rèn luyện thể lực. Nếu huấn luyện viên này vốn đã am hiểu tình trạng cơ thể và thói quen vận động của bạn (cùng nguồn gốc), thì dù anh ta chỉ giúp bạn chạy bộ vài tuần, bạn sẽ thấy sức bền khi bơi lội và chơi bóng cũng được cải thiện theo, vì anh ta đang rèn luyện khả năng tim mạch tổng thể của bạn – một khả năng nền tảng. Nhưng nếu huấn luyện viên này hoàn toàn xa lạ với bạn, chỉ dạy theo một giáo trình chung chung (khác nguồn gốc), thì việc anh ta dạy bạn chạy bộ có thể giúp bạn tiến bộ trong chạy bộ, nhưng khả năng bơi lội vẫn kém như cũ, vì anh ta hoàn toàn không chạm đến khả năng nền tảng, mà chỉ điều chỉnh một số động tác bề mặt.
Nếu không quan tâm đến hiệu ứng liên ngành này thì sao? Phần tiếp theo sẽ cho bạn biết câu trả lời, đây mới là điều thực sự khiến mình phải rùng mình khi đọc bài báo này.
Điều gì sẽ xảy ra khi bạn muốn mời nhiều giáo viên cùng lúc?
Tất cả những phần chuẩn bị trước đó đều nhằm mục đích đưa ra khám phá thực tế và quan trọng nhất của bài báo này: một mối nguy hiểm tiềm ẩn to lớn trong chưng cất đa giáo viên (Multi-Teacher OPD - MOPD).
Chưng cất chiến lược trực tuyến đa giáo viên (MOPD): Phương pháp phổ biến hiện nay trong ngành là tìm nhiều mô hình giáo viên chuyên sâu ở các lĩnh vực khác nhau (ví dụ: một chuyên gia toán, một chuyên gia khoa học), sau đó định tuyến các câu hỏi thuộc các lĩnh vực khác nhau cho các giáo viên chuyên gia tương ứng để hướng dẫn. Về lý thuyết, điều này có thể "lắp ráp" một học sinh toàn diện.
Ý tưởng thiết kế này nghe có vẻ hoàn hảo: các bài toán toán học giao cho giáo viên toán sửa, các bài toán khoa học giao cho giáo viên khoa học sửa. Mỗi người một việc, không can thiệp lẫn nhau, cuối cùng học sinh sẽ học được tất cả các kỹ năng chuyên môn của các giáo viên.
Tuy nhiên, như đã chứng minh ở trên, sức ảnh hưởng của giáo viên hoàn toàn không chỉ giới hạn trong lĩnh vực được giao. Nó sẽ "vượt ranh giới" và thấm nhuần vào các lĩnh vực khác. Điều này có nghĩa là khi bạn tập hợp nhiều giáo viên để huấn luyện một học sinh cùng lúc, các giáo viên dường như phân công rõ ràng, nhưng thực chất lại đang âm thầm "tranh giành lãnh thổ", giành giật quyền kiểm soát học sinh trong các khía cạnh năng lực khác nhau.
Các nhà nghiên cứu đã sử dụng hai mô hình JustRL-1.5B (có khả năng toán học mạnh nhưng khoa học yếu) và một mô hình Nemotron-1.5B (có khả năng khoa học và tuân thủ chỉ dẫn mạnh nhưng toán học yếu) để thực hiện một loạt thí nghiệm đầy kịch tính.
Thiết lập một: JustRL làm giáo viên toán, Nemotron làm giáo viên khoa học/tuân thủ chỉ dẫn, và tỷ lệ phân bổ câu hỏi cho học sinh từ hai giáo viên này được điều chỉnh liên tục. Kết quả cho thấy, khi tỷ lệ câu hỏi được phân bổ cho JustRL (giáo viên toán) tăng dần, điểm số của học sinh trong các bài kiểm tra khoa học GPQA-Diamond, lập trình LiveCodeBench và tuân thủ chỉ dẫn IF-Eval đều giảm theo, dù những môn này đáng lẽ Nemotron phải phụ trách. Thậm chí còn phóng đại hơn, trong bài kiểm tra khoa học, vì trình độ khoa học của JustRL bản thân còn kém hơn trình độ ban đầu của học sinh, sự "kéo lùi vượt ranh giới" này thậm chí còn khiến điểm khoa học của học sinh giảm xuống dưới mức khởi điểm trước khi huấn luyện.
Thiết lập hai: Đảo ngược vai trò của hai giáo viên, để Nemotron làm giáo viên toán, JustRL làm giáo viên khoa học/tuân thủ chỉ dẫn. Lúc này, ba môn học ban đầu bị giảm điểm lại tăng lên khi tỷ lệ của Nemotron tăng, hướng hoàn toàn ngược lại.
Điều này nói lên điều gì? Hiệu suất cuối cùng của học sinh trong một lĩnh vực nào đó hoàn toàn không được quyết định bởi giáo viên "trên danh nghĩa" phụ trách lĩnh vực đó, mà được quyết định bởi việc giáo viên nào trong toàn bộ hệ thống hỗn hợp nhận được nhiều câu hỏi hơn. Giáo viên có "phần" lớn hơn sẽ "kéo" mức độ tổng thể của mình sang, bất kể lĩnh vực "trên danh nghĩa" mà giáo viên đó phụ trách là gì.
Bài báo gọi hiện tượng này là hiệu ứng bập bênh (seesaw effect). Thuật ngữ này rất khéo léo, vì nó mô tả chính xác sự cân bằng động, sự tăng giảm và kéo co lẫn nhau này: bạn tăng thêm trọng lượng cho một giáo viên, một đầu của bập bênh sẽ chìm xuống, và đầu kia (khả năng do giáo viên khác chủ đạo) sẽ nhô lên.
Các nhà nghiên cứu thậm chí còn quan sát thấy một "cuộc chiến giằng co" thực sự trong quá trình huấn luyện. Trong bài kiểm tra suy luận chuỗi dài AIME24-Horizon-2, ở giai đoạn đầu huấn luyện, hiệu suất của học sinh sẽ đi theo giáo viên có khả năng toán học mạnh hơn. Nhưng ở giai đoạn sau, nó lại dần bị kéo trở lại mức của giáo viên kia, giống như trong một cuộc thi kéo co, điểm giữa của sợi dây ban đầu di chuyển về một phía, rồi lại di chuyển về phía kia, cuối cùng dừng lại ở đâu phụ thuộc vào "sức mạnh" (mức độ năng lực và tỷ lệ phân bổ) của hai bên (giáo viên).
Để thấy rõ hơn hiện tượng này, các nhà nghiên cứu còn thực hiện một thí nghiệm "chưng cất tầng": đầu tiên, dùng Nemotron (mạnh về khoa học) và các câu hỏi khoa học để huấn luyện một thời gian, điểm khoa học của học sinh tăng lên đáng kể. Ngay sau đó, chuyển sang dùng JustRL và các câu hỏi toán học để tiếp tục huấn luyện, điểm khoa học của học sinh lại bất ngờ giảm xuống như cũ. Điều này giống như một người đầu tiên tập bơi ba tháng với một huấn luyện viên, thành tích tăng rõ rệt. Nhưng sau đó lại đổi sang một huấn luyện viên chỉ tập điền kinh, thì thành tích bơi lội lại từ từ thụt lùi, vì tài nguyên cơ thể và trọng tâm huấn luyện đã được phân bổ lại.
Đây là một phép tương tự rất đáng suy ngẫm: hãy tưởng tượng bạn cùng lúc thuê hai gia sư để kèm cặp con mình, một người chuyên toán, một người chuyên tiếng Anh. Bạn nghĩ rằng cách sắp xếp này sẽ giúp con bạn giỏi cả toán và tiếng Anh. Nhưng nếu hai gia sư này thực chất đều vô tình ảnh hưởng đến thói quen học tập và cách tư duy tổng thể của đứa trẻ (ví dụ: mức độ cẩn thận khi làm bài, ưu tiên phân bổ thời gian), thì dù giáo viên tiếng Anh chưa bao giờ dạy toán, miễn là số buổi đến dạy hàng tuần của cô ấy nhiều hơn giáo viên toán, thì phong cách làm bài toán của đứa trẻ cũng sẽ vô thức nghiêng về phong cách tổng thể của giáo viên tiếng Anh đó. Nếu không nhìn nhận thẳng thắn "ảnh hưởng vượt ranh giới" này, phụ huynh có thể sẽ luôn nghĩ "con mình dốt toán, chắc là giáo viên toán dạy không đến nơi đến chốn", mà hoàn toàn không nhận ra vấn đề nằm ở tỷ trọng mà giáo viên tiếng Anh chiếm quá lớn, kéo trạng thái tổng thể của đứa trẻ đi chệch hướng khác.
Đây cũng là một ý tưởng chẩn đoán rất có giá trị mà bài báo này đưa ra: Khi bạn thấy một mô hình được huấn luyện bởi nhiều giáo viên thể hiện kém trong một lĩnh vực nào đó, đừng vội đổ lỗi cho giáo viên "trên danh nghĩa" phụ trách lĩnh vực đó. Rất có thể, thủ phạm thực sự là sự "kéo co liên ngành" của một giáo viên khác đang tác động.
Điều gì thực sự xảy ra giữa thầy trò cùng nguồn gốc?
Phần cuối của bài báo cố gắng trả lời một câu hỏi bản chất hơn: Tại sao chưng cất cùng nguồn gốc có thể đạt được sự căn chỉnh tổng thể, trong khi chưng cất khác nguồn gốc thì không?
Các nhà nghiên cứu đã sử dụng một chỉ số gọi là "tỷ lệ trùng lặp Top-K" để định lượng quan sát. Nói một cách đơn giản, mỗi khi học sinh dự đoán từ tiếp theo, họ sẽ xem 16 từ ứng cử viên đáng tin cậy nhất mà học sinh đưa ra, trùng lặp bao nhiêu từ với 16 từ ứng cử viên đáng tin cậy nhất mà giáo viên đưa ra.
Xu hướng của chỉ số này trong quá trình huấn luyện, trong hai trường hợp cùng nguồn gốc và khác nguồn gốc, cho thấy những bức tranh hoàn toàn khác nhau. Tỷ lệ trùng lặp của cặp thầy trò cùng nguồn gốc liên tục tăng cao, ngay từ khi bắt đầu huấn luyện đã cao hơn một đoạn so với cặp thầy trò khác nguồn gốc, và tiếp tục tăng khi số bước huấn luyện tăng lên. Trong khi đó, tỷ lệ trùng lặp của cặp thầy trò khác nguồn gốc thì dậm chân tại chỗ, thậm chí có xu hướng giảm.
Kết quả này rất quan trọng, vì cả hai trường hợp đều sử dụng cùng một bộ mục tiêu huấn luyện (cùng một hàm mất mát phân kỳ KL), nhưng lại cho ra những hiệu quả khác nhau hoàn toàn. Điều này cho thấy chưng cất cùng nguồn gốc đã dịch chuyển toàn bộ phân phối xác suất đầu ra của học sinh về phía giáo viên. Còn chưng cất khác nguồn gốc cùng lắm chỉ giảm được sự khác biệt giữa hai bên trong một khu vực nhỏ được bao phủ bởi dữ liệu huấn luyện, hoàn toàn không chạm đến sự căn chỉnh sâu sắc ở cấp độ chiến lược.
Các nhà nghiên cứu tiếp tục áp dụng phát hiện này vào kịch bản chưng cất đa giáo viên để xác minh, và kết quả khẳng định "lực kéo" của giáo viên cùng nguồn gốc mạnh hơn đáng kể trong hiệu ứng bập bênh. Họ sử dụng DS-distill-7B làm học sinh, Light-R1-7B cùng nguồn gốc làm giáo viên toán, và Light-R1-14B khác nguồn gốc làm giáo viên khoa học/tuân thủ chỉ dẫn. Kết quả cho thấy, ngay cả khi tỷ lệ của hai giáo viên chia đôi, khả năng khoa học của học sinh vẫn bị kéo theo giáo viên toán cùng nguồn gốc, người mà "trọng lượng" không chiếm ưu thế.
Điều này cho thấy yếu tố "huyết thống" mang lại ảnh hưởng thậm chí còn mạnh mẽ hơn cả tỷ lệ dữ liệu huấn luyện.
Một chi tiết đáng nói riêng trong bài báo là, trong một nhóm thử nghiệm cùng nguồn gốc (Light-R1-14B dạy DS-distill-14B), mô hình học sinh được chưng cất cuối cùng lại đạt kết quả vượt trội so với hiệu suất độc lập của chính giáo viên trong bài kiểm tra suy luận chuỗi dài. Điều này cho thấy học sinh được huấn luyện bằng chưng cất cùng nguồn gốc không nhất thiết bị giới hạn bởi trần năng lực của giáo viên. Kết luận này có phần đi ngược lại lẽ thường, và đáng để các nghiên cứu sau này đào sâu hơn về cơ chế "trò hơn thầy" này thực sự diễn ra như thế nào.
Đọc xong bài báo này, điều khiến mình bất ngờ nhất là kết quả thí nghiệm "đề mà giáo viên không giải được, vẫn hữu ích". Kết luận này thực chất đã gián tiếp trả lời một câu hỏi mà mình vẫn luôn trăn trở: tại sao mọi người khi lọc dữ liệu cho huấn luyện tăng cường và chưng cất, lại luôn thích dùng phương pháp lọc độ khó một cách thô bạo, mà hiếm khi có ai thực sự kiểm chứng xem việc lọc này có cần thiết hay không. Bài báo này, thông qua các thí nghiệm đối chứng vững chắc, đã chỉ ra rằng, ít nhất trong bối cảnh chưng cất chiến lược trực tuyến, việc lọc độ khó có thể là một giả định sai lầm. Biến số thực sự quan trọng nằm ở chỗ khác, đó chính là mối quan hệ "huyết thống" giữa thầy và trò.
Một điểm khác khiến mình cứ mãi suy ngẫm là phát hiện về hiệu ứng bập bênh. Nó thực chất hé lộ một quy luật phổ quát hơn: bất kỳ hệ thống nào cố gắng sử dụng "phân công định tuyến" để đạt được sự kết hợp mô-đun hóa, đều có thể đối mặt với những rủi ro tiềm ẩn tương tự, nếu sự ảnh hưởng giữa các mô-đun thực chất không được tách biệt hoàn toàn. Điều này khiến mình liên tưởng đến các vấn đề tương tự trong hệ thống đa tác nhân (multi-agent systems): liệu khi một vài tác nhân có phân công rõ ràng cùng hợp tác, có tồn tại một dòng chảy ngầm nào đó về quyền lực, nơi tác nhân nào có tiếng nói lớn hơn sẽ chi phối phong cách tổng thể hay không? Bài báo này không trả lời câu hỏi đó, nhưng nó cung cấp một khung chẩn đoán tuyệt vời. Khi gặp phải hiện tượng "phân công nhưng lại can thiệp lẫn nhau" tương tự, chúng ta có thể bắt đầu kiểm tra xem giữa các thành phần có tồn tại những yếu tố "huyết thống" hoặc "trọng số" tiềm ẩn nào đang tác động hay không.
