Trung Đào
Writer
Trên những ngọn đồi phía đông Tennessee, một cỗ máy phá kỷ lục có tên Frontier đang mang đến cho các nhà khoa học những cơ hội chưa từng có để nghiên cứu mọi thứ, từ nguyên tử đến thiên hà.
Việc xây dựng siêu máy tính đang phát triển mạnh mẽ và cả những gã khổng lồ về công nghệ và AI có chủ quyền đang liên tục hiến máu cho Nvidia và xây dựng các trung tâm dữ liệu.
Trước đó, tính đến tháng 12/2023, siêu máy tính nhanh nhất thế giới là Frontier hay còn gọi là OLCF-5, đặt tại Oak Ridge, Tennessee, Mỹ.
Frontier được trang bị CPU và GPU AMD, với 50.000 bộ xử lý (bao gồm 38.000 GPU) và tốc độ tính toán 1.102 exaFLOPS, hay 1.102 exaFLOPS (1018) phép tính dấu phẩy động mỗi giây.
Tốc độ này thậm chí còn nhanh hơn 100.000 laptop làm việc cùng lúc và khi ra mắt vào năm 2022, Frontier cũng lần đầu tiên phá kỷ lục về ngưỡng tốc độ tính toán exascale. Lý do theo đuổi tốc độ và quy mô tuyệt vời như vậy là để đáp ứng nhu cầu tính toán mô phỏng trong nghiên cứu khoa học tiên tiến ở nhiều lĩnh vực khác nhau. Frontier rất giỏi trong việc tạo ra các mô phỏng nắm bắt cả mô hình quy mô lớn và chi tiết quy mô nhỏ, chẳng hạn như cách các giọt mây nhỏ ảnh hưởng đến tốc độ nóng lên của khí hậu.
Ngày nay, các nhà nghiên cứu đăng nhập vào Frontier từ khắp nơi trên thế giới để tạo ra các mô hình tiên tiến về mọi thứ từ hạt hạ nguyên tử đến thiên hà, bao gồm mô phỏng protein để phát hiện và thiết kế thuốc, mô phỏng nhiễu loạn để cải thiện động cơ máy bay và đào tạo LLM nguồn mở cạnh tranh với Google và MởAI.
Tuy nhiên, vào một ngày tháng 4 năm nay, một điều bất ngờ đã xảy ra với hoạt động của Frontier.
Bronson Messer, giám đốc khoa học của Phòng thí nghiệm quốc gia Oak Ridge ở Tennessee, nơi Frontier đặt trụ sở, cho biết, để theo kịp yêu cầu của các nhà khoa học trên thế giới, mức tiêu thụ điện năng của Frontier đã tăng mạnh, đạt đỉnh điểm khoảng 27 megawatt. đủ để cung cấp điện cho khoảng 10.000 ngôi nhà.
Điều này cũng mang đến những thách thức cho hệ thống làm mát của siêu máy tính. Theo cách nói của Messer, “cỗ máy đang chạy như một con chó bị bỏng”. Theo thống kê vào năm 2023, Frontier có tổng cộng 1.744 người dùng ở 18 quốc gia và các tính toán cũng như dữ liệu đóng góp hỗ trợ ít nhất 500 bài báo được xuất bản công khai.
Các kỹ thuật viên làm việc tại Frontier, nơi có hơn 50.000 bộ xử lý và được làm mát bằng nước.
Phòng máy tính nơi Frontier tọa lạc giống như một nhà kho, tiếng ồn điện tử tạo ra trong quá trình hoạt động đều đặn và nhẹ nhàng. Có 74 giá đỡ trong phòng máy tính và mỗi nút chứa 4 GPU và 1 CPU. Sở dĩ tốc độ tính toán nhanh như vậy là do số lượng GPU rất lớn.
Messer, giám đốc phòng thí nghiệm, mô tả: "Những GPU này rất nhanh nhưng chúng cũng cực kỳ ngu ngốc. Chúng có thể làm đi làm lại cùng một việc." Khả năng xử lý nhiều thao tác cùng lúc này rất hữu ích để làm việc nhanh trên siêu máy tính, nhưng ngoài ra thì không có nhiều thao tác khác.
Đằng sau sự "cực kỳ ngu ngốc" này là một loại tính linh hoạt. Các nhà khoa học trong nhiều lĩnh vực khác nhau có thể chạy GPU thông qua mã tùy chỉnh. Frontier hoạt động không ngừng nghỉ ngày đêm, đồng thời còn có đội ngũ kỹ thuật chịu trách nhiệm vận hành và bảo trì.
Đội ngũ kỹ sư chịu trách nhiệm chế tạo siêu máy tính này đến từ Hewlett-Packard. Một trong những kỹ thuật viên là Corey Edmonds cho biết họ có một đội kỹ sư sẽ liên tục theo dõi Frontier để xác định xem có dấu hiệu hỏng hóc hay không. Ví dụ, một trong những nhân viên ca đêm, Conner Cunningham, làm việc từ 7 giờ tối đến 7 giờ sáng. Anh ta chịu trách nhiệm sử dụng hơn mười màn hình để chú ý đến an ninh của mạng và các tòa nhà, đồng thời theo dõi thời tiết địa phương để đảm bảo an ninh. Frontier hoạt động bình thường.
Trên thực tế, hầu hết các đêm đều là "đêm Giáng sinh", Cunningham thường chỉ cần thực hiện một vài cuộc kiểm tra và có thể dành thời gian còn lại để học tập tại nơi làm việc. "Công việc này hơi giống lính cứu hỏa. Nếu có chuyện gì xảy ra thì cần phải có người túc trực để theo dõi".
Mặc dù Frontier hoạt động ngày đêm nhưng không dễ để các nhà nghiên cứu có thể áp dụng cơ hội sử dụng. Giám đốc khoa học Messer và ba đồng nghiệp khác chịu trách nhiệm đánh giá và phê duyệt các đề xuất sử dụng. Họ đã phê duyệt tổng cộng 131 dự án vào năm ngoái, với tỷ lệ đậu khoảng 1/4.
Để được phê duyệt, người nộp đơn cần chứng minh rằng các dự án sẽ sử dụng toàn bộ hệ thống siêu máy tính, thường được sử dụng để mô hình hóa các quy mô không gian và thời gian khác nhau. Frontier có tổng cộng khoảng 65 triệu giờ nút có sẵn mỗi năm và mức phân bổ phổ biến nhất mà các nhà nghiên cứu thu được là 500.000 giờ nút, tương đương với ba ngày hoạt động liên tục của toàn bộ hệ thống.
Messer cho biết các nhà nghiên cứu nhận được tài nguyên máy tính tại Frontier nhiều hơn khoảng mười lần so với các trung tâm dữ liệu khác. Với tốc độ tính toán nhanh hơn và nhiều tài nguyên tính toán hơn, các nhà nghiên cứu có thể thực hiện những “khoa học lớn” đầy tham vọng hơn.
Ví dụ: mô phỏng chính xác các quá trình sinh học với độ chính xác ở cấp độ nguyên tử, chẳng hạn như cách protein hoặc axit nucleic trong dung dịch tương tác với các bộ phận khác của tế bào.
Vào tháng 5 năm nay, một số học giả đã sử dụng Frontier để mô phỏng một giọt nước hình khối chứa hơn 155 tỷ phân tử nước, có chiều rộng bằng khoảng 1/10 sợi tóc người. Đây là một trong những mô phỏng cấp nguyên tử lớn nhất trong lịch sử. lịch sử.
Trước mắt, các nhà nghiên cứu hy vọng có thể mô phỏng các bào quan để cung cấp thông tin cho phòng thí nghiệm; họ cũng hy vọng kết hợp những mô phỏng có độ phân giải cao này với hình ảnh cực nhanh từ tia laser điện tử tự do tia X để tăng tốc quá trình khám phá. Những công trình này mở đường cho một mục tiêu lớn hơn trong tương lai - mô hình hóa toàn bộ tế bào bắt đầu từ các nguyên tử.
Với Frontier, các mô hình khí hậu cũng trở nên chính xác hơn.
Năm ngoái, nhà khoa học khí hậu Matt Norman và các nhà nghiên cứu khác đã sử dụng Frontier để chạy mô hình khí hậu toàn cầu với độ phân giải 3,25 km, mô hình này cũng kết hợp các chuyển động đám mây phức tạp ở độ phân giải tốt hơn. Để tạo ra các mô hình dự đoán kéo dài hàng thập kỷ, sức mạnh tính toán của Frontier là cần thiết và đòi hỏi sức mạnh tính toán của toàn bộ hệ thống để làm được điều đó.
Để một mô hình phù hợp với dự báo thời tiết và khí hậu, cần phải chạy mô phỏng hàng ngày ít nhất một năm. Frontier có thể mô phỏng 1,26 năm mỗi ngày, tốc độ cho phép các nhà nghiên cứu tạo ra dự báo 50 năm chính xác hơn trước. Nếu chạy trên máy tính khác, tốc độ tính toán sẽ chậm hơn nhiều để đạt được độ phân giải tương tự và có tính đến ảnh hưởng của đám mây. Ở quy mô vũ trụ lớn hơn, Frontier cũng có thể mang lại độ phân giải cao hơn.
Evan Schneider, nhà vật lý thiên văn tại Đại học Pittsburgh, cũng đang sử dụng Frontier để nghiên cứu cách các thiên hà có kích thước bằng Dải Ngân hà phát triển khi chúng già đi. Mô hình thiên hà mà họ tạo ra trải dài bốn bậc độ lớn, với kích thước tối đa khoảng 100.000 năm ánh sáng. Trước Frontier, cấu trúc lớn nhất được mô phỏng ở độ phân giải tương tự là các thiên hà lùn, với khối lượng khoảng 1/50.
Theo thống kê của một số học giả, vào năm 2021, 96% mô hình AI lớn nhất sẽ đến từ ngành công nghiệp. Trung bình, các mô hình công nghiệp lớn hơn gần 30 lần so với các mô hình học thuật. Sự khác biệt còn thể hiện rõ ở số tiền đầu tư. Các cơ quan công phi quốc phòng của Hoa Kỳ đã cung cấp 1,5 tỷ USD vào năm 2021 để hỗ trợ nghiên cứu AI. Trong cùng năm đó, chi tiêu của ngành toàn cầu đã vượt quá 340 tỷ USD.
Kể từ khi phát hành LLM thương mại như GPT-4 và Gemini Ultra, khoảng cách giữa hai loại này ngày càng được nới rộng. Khoảng cách đầu tư này đã dẫn đến sự bất cân xứng rõ ràng về tài nguyên máy tính có sẵn trong ngành và học viện. Vì việc phát triển mô hình trong ngành là vì lợi nhuận nên nhiều vấn đề quan trọng phải đối mặt trong phát triển công nghệ thường bị bỏ qua, chẳng hạn như nghiên cứu cơ bản, nhu cầu của nhóm thu nhập thấp, đánh giá rủi ro của mô hình, điều chỉnh sai lệch mô hình, v.v.
Nếu giới học thuật muốn đảm nhận những trách nhiệm này, thì họ cần sức mạnh tính toán có thể phù hợp với quy mô của ngành và đây chính là lúc Frontier xuất hiện. Ví dụ điển hình nhất là LLM do các công ty công nghệ đào tạo thường giữ được mức độ độc quyền khác nhau, nhưng các nhà nghiên cứu thường tạo ra các mô hình mà họ phát triển miễn phí cho bất kỳ ai sử dụng.
Abhinav Bhatele, một nhà khoa học máy tính tại Đại học Maryland, College Park, cho biết: “Cách duy nhất để những người trong học viện đào tạo các mô hình có quy mô tương tự là có quyền truy cập vào các tài nguyên như Frontier”. Ông tin rằng các cơ sở như Frontier đóng vai trò quan trọng này trong lĩnh vực AI, cho phép nhiều người hơn tham gia phát triển công nghệ và chia sẻ kết quả.
Tuy nhiên, điều đáng chú ý là cuộc cạnh tranh về hạ tầng sức mạnh tính toán giữa các quốc gia, công ty công nghệ và các tổ chức phi lợi nhuận vẫn đang diễn ra, thậm chí một công ty hùng mạnh như Frontier cuối cùng cũng sẽ thất thủ.
Phòng thí nghiệm Oak Ridge đã lên kế hoạch cho một sản phẩm kế nhiệm Frontier, được gọi là Discovery, sẽ tăng tốc độ tính toán lên gấp 3 đến 5 lần. Để tham khảo, Frontier nhanh hơn 35 lần so với Tianhe-2A, siêu máy tính nhanh nhất năm 2014 và nhanh hơn 33.000 lần so với Earth Simulator, siêu máy tính nhanh nhất năm 2004. Các nhà nghiên cứu vẫn khao khát tốc độ nhanh hơn, nhưng các kỹ sư đang phải đối mặt với những thách thức đang diễn ra, một trong số đó là năng lượng.
Hiệu suất sử dụng năng lượng của Frontier cao hơn Summit gấp bốn lần, phần lớn là do các giải pháp làm mát khác nhau.
Frontier sử dụng nước ở nhiệt độ phòng để làm mát, không giống như Summit sử dụng nước lạnh. Khoảng 3% đến 4% tổng mức tiêu thụ năng lượng của Frontier được sử dụng để làm mát, so với 10% của Summit. Không giống như Summit sử dụng nước lạnh. Khoảng 3-4% tổng mức tiêu thụ năng lượng của Frontier được sử dụng để làm mát, so với 10% của Summit.
Hiệu quả năng lượng đã là trở ngại chính trong việc xây dựng các siêu máy tính tiên tiến hơn trong nhiều năm và dự kiến sẽ vẫn như vậy trong tương lai gần. Messer, giám đốc phòng thí nghiệm, cho biết: “Chúng tôi có thể đã chế tạo một siêu máy tính exascale vào năm 2012, nhưng chi phí cung cấp năng lượng quá cao và cần nhiều năng lượng hơn một hoặc hai bậc”.
Nguồn: The Nature
Việc xây dựng siêu máy tính đang phát triển mạnh mẽ và cả những gã khổng lồ về công nghệ và AI có chủ quyền đang liên tục hiến máu cho Nvidia và xây dựng các trung tâm dữ liệu.
Trước đó, tính đến tháng 12/2023, siêu máy tính nhanh nhất thế giới là Frontier hay còn gọi là OLCF-5, đặt tại Oak Ridge, Tennessee, Mỹ.
Frontier được trang bị CPU và GPU AMD, với 50.000 bộ xử lý (bao gồm 38.000 GPU) và tốc độ tính toán 1.102 exaFLOPS, hay 1.102 exaFLOPS (1018) phép tính dấu phẩy động mỗi giây.
Tốc độ này thậm chí còn nhanh hơn 100.000 laptop làm việc cùng lúc và khi ra mắt vào năm 2022, Frontier cũng lần đầu tiên phá kỷ lục về ngưỡng tốc độ tính toán exascale. Lý do theo đuổi tốc độ và quy mô tuyệt vời như vậy là để đáp ứng nhu cầu tính toán mô phỏng trong nghiên cứu khoa học tiên tiến ở nhiều lĩnh vực khác nhau. Frontier rất giỏi trong việc tạo ra các mô phỏng nắm bắt cả mô hình quy mô lớn và chi tiết quy mô nhỏ, chẳng hạn như cách các giọt mây nhỏ ảnh hưởng đến tốc độ nóng lên của khí hậu.
Ngày nay, các nhà nghiên cứu đăng nhập vào Frontier từ khắp nơi trên thế giới để tạo ra các mô hình tiên tiến về mọi thứ từ hạt hạ nguyên tử đến thiên hà, bao gồm mô phỏng protein để phát hiện và thiết kế thuốc, mô phỏng nhiễu loạn để cải thiện động cơ máy bay và đào tạo LLM nguồn mở cạnh tranh với Google và MởAI.
Tuy nhiên, vào một ngày tháng 4 năm nay, một điều bất ngờ đã xảy ra với hoạt động của Frontier.
Bronson Messer, giám đốc khoa học của Phòng thí nghiệm quốc gia Oak Ridge ở Tennessee, nơi Frontier đặt trụ sở, cho biết, để theo kịp yêu cầu của các nhà khoa học trên thế giới, mức tiêu thụ điện năng của Frontier đã tăng mạnh, đạt đỉnh điểm khoảng 27 megawatt. đủ để cung cấp điện cho khoảng 10.000 ngôi nhà.
Điều này cũng mang đến những thách thức cho hệ thống làm mát của siêu máy tính. Theo cách nói của Messer, “cỗ máy đang chạy như một con chó bị bỏng”. Theo thống kê vào năm 2023, Frontier có tổng cộng 1.744 người dùng ở 18 quốc gia và các tính toán cũng như dữ liệu đóng góp hỗ trợ ít nhất 500 bài báo được xuất bản công khai.
Khám phá bên trong “bộ não” của Frontier
Các kỹ thuật viên làm việc tại Frontier, nơi có hơn 50.000 bộ xử lý và được làm mát bằng nước.
Phòng máy tính nơi Frontier tọa lạc giống như một nhà kho, tiếng ồn điện tử tạo ra trong quá trình hoạt động đều đặn và nhẹ nhàng. Có 74 giá đỡ trong phòng máy tính và mỗi nút chứa 4 GPU và 1 CPU. Sở dĩ tốc độ tính toán nhanh như vậy là do số lượng GPU rất lớn.
Messer, giám đốc phòng thí nghiệm, mô tả: "Những GPU này rất nhanh nhưng chúng cũng cực kỳ ngu ngốc. Chúng có thể làm đi làm lại cùng một việc." Khả năng xử lý nhiều thao tác cùng lúc này rất hữu ích để làm việc nhanh trên siêu máy tính, nhưng ngoài ra thì không có nhiều thao tác khác.
Đằng sau sự "cực kỳ ngu ngốc" này là một loại tính linh hoạt. Các nhà khoa học trong nhiều lĩnh vực khác nhau có thể chạy GPU thông qua mã tùy chỉnh. Frontier hoạt động không ngừng nghỉ ngày đêm, đồng thời còn có đội ngũ kỹ thuật chịu trách nhiệm vận hành và bảo trì.
Đội ngũ kỹ sư chịu trách nhiệm chế tạo siêu máy tính này đến từ Hewlett-Packard. Một trong những kỹ thuật viên là Corey Edmonds cho biết họ có một đội kỹ sư sẽ liên tục theo dõi Frontier để xác định xem có dấu hiệu hỏng hóc hay không. Ví dụ, một trong những nhân viên ca đêm, Conner Cunningham, làm việc từ 7 giờ tối đến 7 giờ sáng. Anh ta chịu trách nhiệm sử dụng hơn mười màn hình để chú ý đến an ninh của mạng và các tòa nhà, đồng thời theo dõi thời tiết địa phương để đảm bảo an ninh. Frontier hoạt động bình thường.
Trên thực tế, hầu hết các đêm đều là "đêm Giáng sinh", Cunningham thường chỉ cần thực hiện một vài cuộc kiểm tra và có thể dành thời gian còn lại để học tập tại nơi làm việc. "Công việc này hơi giống lính cứu hỏa. Nếu có chuyện gì xảy ra thì cần phải có người túc trực để theo dõi".
Thúc đẩy khoa học lớn
Mặc dù Frontier hoạt động ngày đêm nhưng không dễ để các nhà nghiên cứu có thể áp dụng cơ hội sử dụng. Giám đốc khoa học Messer và ba đồng nghiệp khác chịu trách nhiệm đánh giá và phê duyệt các đề xuất sử dụng. Họ đã phê duyệt tổng cộng 131 dự án vào năm ngoái, với tỷ lệ đậu khoảng 1/4.
Để được phê duyệt, người nộp đơn cần chứng minh rằng các dự án sẽ sử dụng toàn bộ hệ thống siêu máy tính, thường được sử dụng để mô hình hóa các quy mô không gian và thời gian khác nhau. Frontier có tổng cộng khoảng 65 triệu giờ nút có sẵn mỗi năm và mức phân bổ phổ biến nhất mà các nhà nghiên cứu thu được là 500.000 giờ nút, tương đương với ba ngày hoạt động liên tục của toàn bộ hệ thống.
Messer cho biết các nhà nghiên cứu nhận được tài nguyên máy tính tại Frontier nhiều hơn khoảng mười lần so với các trung tâm dữ liệu khác. Với tốc độ tính toán nhanh hơn và nhiều tài nguyên tính toán hơn, các nhà nghiên cứu có thể thực hiện những “khoa học lớn” đầy tham vọng hơn.
Ví dụ: mô phỏng chính xác các quá trình sinh học với độ chính xác ở cấp độ nguyên tử, chẳng hạn như cách protein hoặc axit nucleic trong dung dịch tương tác với các bộ phận khác của tế bào.
Vào tháng 5 năm nay, một số học giả đã sử dụng Frontier để mô phỏng một giọt nước hình khối chứa hơn 155 tỷ phân tử nước, có chiều rộng bằng khoảng 1/10 sợi tóc người. Đây là một trong những mô phỏng cấp nguyên tử lớn nhất trong lịch sử. lịch sử.
Trước mắt, các nhà nghiên cứu hy vọng có thể mô phỏng các bào quan để cung cấp thông tin cho phòng thí nghiệm; họ cũng hy vọng kết hợp những mô phỏng có độ phân giải cao này với hình ảnh cực nhanh từ tia laser điện tử tự do tia X để tăng tốc quá trình khám phá. Những công trình này mở đường cho một mục tiêu lớn hơn trong tương lai - mô hình hóa toàn bộ tế bào bắt đầu từ các nguyên tử.
Với Frontier, các mô hình khí hậu cũng trở nên chính xác hơn.
Năm ngoái, nhà khoa học khí hậu Matt Norman và các nhà nghiên cứu khác đã sử dụng Frontier để chạy mô hình khí hậu toàn cầu với độ phân giải 3,25 km, mô hình này cũng kết hợp các chuyển động đám mây phức tạp ở độ phân giải tốt hơn. Để tạo ra các mô hình dự đoán kéo dài hàng thập kỷ, sức mạnh tính toán của Frontier là cần thiết và đòi hỏi sức mạnh tính toán của toàn bộ hệ thống để làm được điều đó.
Để một mô hình phù hợp với dự báo thời tiết và khí hậu, cần phải chạy mô phỏng hàng ngày ít nhất một năm. Frontier có thể mô phỏng 1,26 năm mỗi ngày, tốc độ cho phép các nhà nghiên cứu tạo ra dự báo 50 năm chính xác hơn trước. Nếu chạy trên máy tính khác, tốc độ tính toán sẽ chậm hơn nhiều để đạt được độ phân giải tương tự và có tính đến ảnh hưởng của đám mây. Ở quy mô vũ trụ lớn hơn, Frontier cũng có thể mang lại độ phân giải cao hơn.
Evan Schneider, nhà vật lý thiên văn tại Đại học Pittsburgh, cũng đang sử dụng Frontier để nghiên cứu cách các thiên hà có kích thước bằng Dải Ngân hà phát triển khi chúng già đi. Mô hình thiên hà mà họ tạo ra trải dài bốn bậc độ lớn, với kích thước tối đa khoảng 100.000 năm ánh sáng. Trước Frontier, cấu trúc lớn nhất được mô phỏng ở độ phân giải tương tự là các thiên hà lùn, với khối lượng khoảng 1/50.
Frontier có ý nghĩa gì đối với AI
Là số 1 thế giới trước đây, vị thế của Frontier càng độc đáo hơn bởi siêu máy tính này là một trong số ít thiết bị thuộc về khu vực công chứ không bị ngành công nghiệp thống trị. Vì nghiên cứu trong lĩnh vực AI thường đòi hỏi sức mạnh tính toán khổng lồ nên có một khoảng cách rất lớn giữa kết quả của giới học thuật và ngành công nghiệp.Theo thống kê của một số học giả, vào năm 2021, 96% mô hình AI lớn nhất sẽ đến từ ngành công nghiệp. Trung bình, các mô hình công nghiệp lớn hơn gần 30 lần so với các mô hình học thuật. Sự khác biệt còn thể hiện rõ ở số tiền đầu tư. Các cơ quan công phi quốc phòng của Hoa Kỳ đã cung cấp 1,5 tỷ USD vào năm 2021 để hỗ trợ nghiên cứu AI. Trong cùng năm đó, chi tiêu của ngành toàn cầu đã vượt quá 340 tỷ USD.
Kể từ khi phát hành LLM thương mại như GPT-4 và Gemini Ultra, khoảng cách giữa hai loại này ngày càng được nới rộng. Khoảng cách đầu tư này đã dẫn đến sự bất cân xứng rõ ràng về tài nguyên máy tính có sẵn trong ngành và học viện. Vì việc phát triển mô hình trong ngành là vì lợi nhuận nên nhiều vấn đề quan trọng phải đối mặt trong phát triển công nghệ thường bị bỏ qua, chẳng hạn như nghiên cứu cơ bản, nhu cầu của nhóm thu nhập thấp, đánh giá rủi ro của mô hình, điều chỉnh sai lệch mô hình, v.v.
Nếu giới học thuật muốn đảm nhận những trách nhiệm này, thì họ cần sức mạnh tính toán có thể phù hợp với quy mô của ngành và đây chính là lúc Frontier xuất hiện. Ví dụ điển hình nhất là LLM do các công ty công nghệ đào tạo thường giữ được mức độ độc quyền khác nhau, nhưng các nhà nghiên cứu thường tạo ra các mô hình mà họ phát triển miễn phí cho bất kỳ ai sử dụng.
Abhinav Bhatele, một nhà khoa học máy tính tại Đại học Maryland, College Park, cho biết: “Cách duy nhất để những người trong học viện đào tạo các mô hình có quy mô tương tự là có quyền truy cập vào các tài nguyên như Frontier”. Ông tin rằng các cơ sở như Frontier đóng vai trò quan trọng này trong lĩnh vực AI, cho phép nhiều người hơn tham gia phát triển công nghệ và chia sẻ kết quả.
Tuy nhiên, điều đáng chú ý là cuộc cạnh tranh về hạ tầng sức mạnh tính toán giữa các quốc gia, công ty công nghệ và các tổ chức phi lợi nhuận vẫn đang diễn ra, thậm chí một công ty hùng mạnh như Frontier cuối cùng cũng sẽ thất thủ.
Phòng thí nghiệm Oak Ridge đã lên kế hoạch cho một sản phẩm kế nhiệm Frontier, được gọi là Discovery, sẽ tăng tốc độ tính toán lên gấp 3 đến 5 lần. Để tham khảo, Frontier nhanh hơn 35 lần so với Tianhe-2A, siêu máy tính nhanh nhất năm 2014 và nhanh hơn 33.000 lần so với Earth Simulator, siêu máy tính nhanh nhất năm 2004. Các nhà nghiên cứu vẫn khao khát tốc độ nhanh hơn, nhưng các kỹ sư đang phải đối mặt với những thách thức đang diễn ra, một trong số đó là năng lượng.
Hiệu suất sử dụng năng lượng của Frontier cao hơn Summit gấp bốn lần, phần lớn là do các giải pháp làm mát khác nhau.
Frontier sử dụng nước ở nhiệt độ phòng để làm mát, không giống như Summit sử dụng nước lạnh. Khoảng 3% đến 4% tổng mức tiêu thụ năng lượng của Frontier được sử dụng để làm mát, so với 10% của Summit. Không giống như Summit sử dụng nước lạnh. Khoảng 3-4% tổng mức tiêu thụ năng lượng của Frontier được sử dụng để làm mát, so với 10% của Summit.
Hiệu quả năng lượng đã là trở ngại chính trong việc xây dựng các siêu máy tính tiên tiến hơn trong nhiều năm và dự kiến sẽ vẫn như vậy trong tương lai gần. Messer, giám đốc phòng thí nghiệm, cho biết: “Chúng tôi có thể đã chế tạo một siêu máy tính exascale vào năm 2012, nhưng chi phí cung cấp năng lượng quá cao và cần nhiều năng lượng hơn một hoặc hai bậc”.
Nguồn: The Nature
