Cerebras vừa xây dựng một hệ thống máy tính khổng lồ với 27 triệu 'lõi'

Thoại Viết Hoàng
Thoại Viết Hoàng
Phản hồi: 0
Condor Galaxy là giai đoạn đầu tiên trong quan hệ đối tác của Cerebras với G42 của Abu Dhabi, dự kiến cuối cùng sẽ dẫn đến hàng trăm triệu đô la cho một hệ thống cụm trải rộng trên nhiều lục địa.
Theo Andrew Feldman, đồng sáng lập và CEO của điện toán AI, sự cuồng nhiệt xung quanh trí tuệ nhân tạo "không phải là thứ của Thung lũng Silicon, nó thậm chí không phải là của Hoa Kỳ, nó hiện đang lan rộng khắp thế giới -- đó là một hiện tượng toàn cầu". khởi động Hệ thống Cerebras.
Theo tinh thần đó, Cerebras hôm thứ Năm đã thông báo rằng họ đã ký hợp đồng xây dựng cái mà họ gọi là "siêu máy tính lớn nhất thế giới dành cho AI", có tên là Condor Galaxy, thay mặt cho khách hàng của mình, G42, một công ty đầu tư 5 năm tuổi có trụ sở tại Abu Dhabi. Những tiểu Vương quốc Ả Rập thống nhất.
Máy tập trung vào việc "đào tạo" mạng thần kinh, một phần của học máy khi cài đặt mạng thần kinh, "tham số" hoặc "trọng số" của nó phải được điều chỉnh ở mức đủ cho giai đoạn thứ hai , đưa ra dự đoán, được gọi là giai đoạn "suy luận".
Feldman cho biết Condor Galaxy là kết quả của nhiều tháng hợp tác giữa Cerebras và G42, đồng thời là thông báo quan trọng đầu tiên về quan hệ đối tác chiến lược của họ.
Hợp đồng ban đầu trị giá hơn một trăm triệu đô la cho Cerebras, Feldman nói với ZDNET trong một cuộc phỏng vấn. Điều đó cuối cùng sẽ mở rộng gấp nhiều lần, lên tới hàng trăm triệu đô la doanh thu, khi Cerebras xây dựng Condor Galaxy theo nhiều giai đoạn.
Thiên hà Condor được đặt tên cho một hệ vũ trụ nằm cách Trái đất 212 triệu năm ánh sáng. Trong cấu hình ban đầu, được gọi là CG-1, máy được tạo thành từ 32 máy tính AI có mục đích đặc biệt của Cerebras, CS-2, có chip, "Wafer-Scale-Engine" hoặc WSE, có tổng cộng 27 triệu lõi tính toán, 41 terabyte bộ nhớ và băng thông 194 nghìn tỷ bit mỗi giây. Chúng được giám sát bởi 36.352 bộ xử lý máy chủ EPYC x86 của AMD.
Cerebras vừa xây dựng một hệ thống máy tính khổng lồ với 27 triệu 'lõi'
Rebecca Lewington/ Cerebras Systems
The 32 CS-2 machines networked together as CG-1.
Máy chạy ở tốc độ 2 exa-flop, nghĩa là nó có thể xử lý một tỷ tỷ phép tính dấu chấm động mỗi giây.
Quy mô lớn là ví dụ mới nhất về quy mô lớn của Cerebras, được thành lập vào năm 2016 bởi các doanh nhân và nhà đổi mới dày dạn kinh nghiệm về chất bán dẫn và mạng. Công ty đã khiến cả thế giới choáng váng vào năm 2019 khi ra mắt WSE, con chip lớn nhất từng được sản xuất, con chip chiếm gần như toàn bộ bề mặt của một tấm bán dẫn 12 inch. Đó là WSE-2, được giới thiệu vào năm 2021, cung cấp năng lượng cho các máy CS-2.Các CS-2 trong CG-1 được bổ sung bởi công tắc "vải" chuyên dụng của Cerebras, Swarm-X và trung tâm bộ nhớ chuyên dụng của nó, Memory-X, được sử dụng để nhóm các CS-2 lại với nhau.
Tuyên bố trở thành siêu máy tính lớn nhất dành cho AI có phần cường điệu, vì không có sổ đăng ký chung về kích thước của máy tính AI. Thước đo phổ biến của siêu máy tính, danh sách TOP500, do Prometeus GmbH duy trì, là danh sách các siêu máy tính thông thường được sử dụng cho cái gọi là điện toán hiệu suất cao.
Feldman cho biết những máy đó không thể so sánh được vì chúng hoạt động với cái được gọi là độ chính xác 64 bit, trong đó mỗi toán hạng, giá trị mà máy tính xử lý, được biểu diễn cho máy tính bằng 64 bit. Hệ thống Cerebras biểu thị dữ liệu ở dạng đơn giản hơn gọi là "FP-16", chỉ sử dụng mười sáu bit cho mỗi hệ thống.
Trong các máy cấp độ chính xác 64 bit, Frontier, siêu máy tính tại Phòng thí nghiệm quốc gia Oak Ridge của Bộ Năng lượng Hoa Kỳ, là siêu máy tính mạnh nhất thế giới, chạy ở tốc độ 1,19 exa-flop. Nhưng nó không thể được so sánh trực tiếp với CG-1 ở 2 exa-flop, Feldman nói.

Chắc chắn, khả năng tính toán tuyệt đối của CG-1 không giống như nhiều máy tính trên hành tinh mà người ta có thể nghĩ tới. Feldman đề xuất: “Hãy nghĩ về một máy tính duy nhất có sức mạnh tính toán hơn nửa triệu chiếc MacBook của Apple cùng hoạt động để giải quyết một vấn đề duy nhất trong thời gian thực.
Máy Condor Galaxy không thực sự ở Abu Dhabi, mà được lắp đặt tại các cơ sở của Colovore có trụ sở tại Santa Clara, California, một nhà cung cấp dịch vụ lưu trữ cạnh tranh trên thị trường dịch vụ đám mây với những thứ như Equinix. Cerebras trước đó đã công bố vào tháng 11 về sự hợp tác với Colovore cho một siêu máy tính mô-đun có tên 'Andromeda' để tăng tốc các mô hình ngôn ngữ lớn.
Cerebras vừa xây dựng một hệ thống máy tính khổng lồ với 27 triệu 'lõi'
Cerebras Systems
Stats of the CG-1 in phase 1
Cerebras vừa xây dựng một hệ thống máy tính khổng lồ với 27 triệu 'lõi'

Cerebras vừa xây dựng một hệ thống máy tính khổng lồ với 27 triệu 'lõi'
Cerebras Systems
Stats of the CG-1 in phase 2
Feldman cho biết, là một phần của mối quan hệ hợp tác kéo dài nhiều năm, Condor Galaxy sẽ mở rộng quy mô thông qua phiên bản CG-9. Giai đoạn 2 của quan hệ đối tác, dự kiến vào quý 4 năm nay, sẽ tăng gấp đôi dấu ấn của CG-1 lên 64 CS-2, với tổng số 54 triệu lõi tính toán, 82 terabyte bộ nhớ và 388 teraflop băng thông. Máy đó sẽ tăng gấp đôi thông lượng lên 4 exa-flop tính toán.Tổng hợp tất cả lại với nhau, trong giai đoạn 4 của quan hệ đối tác, sẽ được giao vào nửa cuối năm 2024, Cerebras sẽ kết hợp cái mà nó gọi là "chòm sao" gồm chín hệ thống được kết nối với nhau, mỗi hệ thống chạy ở 4 exa-flop, với tổng số 36 exa-flops công suất, tại các địa điểm trên khắp thế giới, để tạo ra thứ được gọi là "Siêu máy tính AI được kết nối với nhau lớn nhất trên thế giới."
"Đây là chiếc máy đầu tiên trong số bốn máy exa-flop mà chúng tôi đang chế tạo cho G42 ở Hoa Kỳ," Feldman giải thích, "Và sau đó chúng tôi sẽ chế tạo thêm sáu máy nữa trên khắp thế giới, với tổng số chín máy bốn exa được kết nối với nhau. máy -flop tạo ra 36 exa-flop."Chiếc máy này là lần đầu tiên Cerebras không chỉ xây dựng một hệ thống máy tính theo cụm mà còn vận hành nó cho khách hàng. Kết quả là sự hợp tác mang lại cho Cerebras nhiều con đường để đạt được doanh thu.
Feldman cho biết, mối quan hệ đối tác sẽ mở rộng quy mô lên hàng trăm triệu đô la khi bán hàng trực tiếp cho G42 của Cerebras, khi nó chuyển qua các giai đoạn khác nhau của mối quan hệ đối tác.
"Hợp đồng này không chỉ lớn hơn hợp đồng mà tất cả các công ty mới thành lập khác đã bán, cộng lại, trong suốt thời gian tồn tại của họ, mà nó còn dự định tăng không chỉ vượt qua con số hàng trăm triệu [đô la] hiện tại, mà còn gấp hai hoặc ba lần con số đó," ông nói, ám chỉ các công ty khởi nghiệp AI cạnh tranh bao gồm Samba Nova Systems và Graphcore.
Ngoài ra, "Cùng nhau, chúng tôi bán lại dung lượng dư thừa thông qua đám mây của mình", nghĩa là cho phép các khách hàng khác của Cerebras thuê dung lượng trong CG-1 khi G42 không sử dụng. Ông nói: "Hiển nhiên là sự hợp tác này mang lại cho đám mây của chúng tôi một quy mô hoàn toàn mới, để giờ đây chúng tôi có cơ hội theo đuổi các siêu máy tính AI chuyên dụng như một dịch vụ."
Điều đó có nghĩa là bất cứ ai muốn năng lực tính toán AI của đám mây sẽ có thể "nhảy lên một trong những siêu máy tính lớn nhất thế giới trong một ngày, một tuần, một tháng nếu bạn muốn."
Tham vọng về AI dường như cũng lớn như cỗ máy. "Trong 60 ngày tới, chúng tôi sẽ công bố một số mô hình rất, rất thú vị đã được đào tạo trên CG-1," Feldman nói.
Feldman lưu ý rằng G42 là một tập đoàn toàn cầu với khoảng 22.000 nhân viên, ở 25 quốc gia và có 9 công ty điều hành dưới sự bảo trợ của nó. Công ty con G42 Cloud của công ty vận hành đám mây khu vực lớn nhất ở Trung Đông.
Talal Alkaissi, Giám đốc điều hành của G42 Cloud, cho biết: “Tầm nhìn chung của G42 và Cerebras là Condor Galaxy sẽ được sử dụng để giải quyết những thách thức cấp bách nhất của xã hội về chăm sóc sức khỏe, năng lượng, hành động khí hậu, v.v.
Một liên doanh giữa G42 và công ty đầu tư Mubadala Investments của Abu Dhabi. Co., M42, là một trong những công cụ giải trình tự bộ gen lớn nhất trên thế giới.
Feldman của G42 lưu ý: “Họ là những người tiên phong trong việc sử dụng AI và các ứng dụng chăm sóc sức khỏe trên khắp châu Âu và Trung Đông. Công ty đã sản xuất 300 ấn phẩm AI trong 3 năm qua.
"Họ [G42] muốn một người có kinh nghiệm xây dựng các siêu máy tính AI rất lớn, có kinh nghiệm phát triển và triển khai các mô hình AI lớn, đồng thời có kinh nghiệm thao tác và quản lý các tập dữ liệu rất lớn," Feldman nói, "Và đó là tất cả những gì chúng tôi , chúng tôi đã thực sự mài giũa trong chín tháng qua."
Feldman nhấn mạnh, các máy CG-1 sẽ có thể mở rộng quy mô sang các mô hình mạng thần kinh ngày càng lớn hơn mà không phải chịu thêm nhiều lần lượng mã cần thiết.
Feldman cho biết: “Một trong những yếu tố quan trọng của công nghệ là nó cho phép những khách hàng như G42 và khách hàng của họ, đại loại là, nhanh chóng thu được lợi ích từ máy móc của chúng tôi.
Trong một slide thuyết trình, ông nhấn mạnh cách một mạng thần kinh 1 tỷ tham số như GPT của OpenAI, có thể được đặt trên một chip GPU Nvidia duy nhất với 1.200 dòng mã. Feldman cho biết, để mở rộng mạng thần kinh thành mô hình 40 tỷ tham số, chạy trên 28.415 GPU Nvidia, số lượng mã cần thiết để triển khai bóng bay lên tới gần 30.000 dòng.
Tuy nhiên, đối với hệ thống CS-2, một mô hình 100 tỷ tham số có thể chạy với cùng 1.200 dòng mã.
Cerebras vừa xây dựng một hệ thống máy tính khổng lồ với 27 triệu 'lõi'
Cerebras tuyên bố nó có thể mở rộng quy mô thành các mô hình mạng thần kinh ngày càng lớn hơn với cùng một lượng mã so với sự bùng nổ mã cần thiết để kết hợp các GPU của Nvidia lại với nhau.
Hệ thống não bộ
Feldman giải thích: “Nếu bạn muốn đặt tham số 40 tỷ hoặc một trăm tỷ hoặc tham số 500 tỷ vào mô hình, bạn sử dụng chính xác 1.200 dòng mã. "Đó thực sự là một điểm khác biệt cốt lõi, đó là bạn không phải làm điều này," viết thêm mã, ông nói.
Đối với Feldman, quy mô của sáng tạo mới nhất không chỉ đại diện cho sự lớn lao mà còn là nỗ lực để có kết quả khác biệt về chất lượng bằng cách mở rộng quy mô từ con chip lớn nhất đến các hệ thống cụm lớn nhất.“Bạn biết đấy, khi chúng tôi thành lập công ty, bạn nghĩ rằng mình có thể giúp thay đổi thế giới bằng cách tạo ra những chiếc máy tính tuyệt vời,” Feldman phản ánh. "Và trong suốt bảy năm qua, chúng tôi đã tạo ra những chiếc máy tính ngày càng lớn hơn, và một số máy tính lớn nhất.
"Bây giờ chúng tôi đang trên con đường xây dựng, loại lớn ngoài sức tưởng tượng, và điều đó thật tuyệt vời, khi đi bộ qua trung tâm dữ liệu và thấy hết giá này đến giá khác của thiết bị của bạn kêu vo vo."
Tham khảo bài viết gốc tại đây
 


Đăng nhập một lần thảo luận tẹt ga
Thành viên mới đăng
Top