Đêm qua, phòng thí nghiệm nghiên cứu trí tuệ nhân tạo Google DeepMind đã phát hành ba công cụ AI chính AlphaZero, MuZero, AlphaDev, những công cụ này có thể cải thiện việc sử dụng tài nguyên trung tâm dữ liệu, nâng cao hiệu quả nén video, khám phá các thuật toán nhanh hơn, từ đó tối ưu hóa toàn bộ máy tính của bạn hệ sinh thái.
Hôm qua, tiến trình liên quan của AlphaDev đã được công bố trên tạp chí học thuật quốc tế hàng đầu Nature. AlphaDev, phiên bản chuyên biệt của AlphaZero, cũng đã phát hiện ra các thuật toán mới có thể cải thiện 70% hiệu quả sắp xếp của các chuỗi phần tử ngắn.
Giờ đây, thuật toán sắp xếp mới của AlphaDev đã được phát hành cho thư viện C++. Theo blog của Google DeepMind, đây là thay đổi đầu tiên đối với thuật toán của thư viện sắp xếp trong hơn một thập kỷ và lần đầu tiên một thuật toán được thiết kế với học tăng cường đã được thêm vào thư viện. Thuật toán băm cũng đã được phát hành cho thư viện mã nguồn mở Abseil.
Liên kết mã nguồn mở của thư viện C++: https://reviews.llvm.org/D118029
Google DeepMind đang phát triển các công cụ AI có hiểu biết rộng về thế giới nhằm tối ưu hóa hệ sinh thái điện toán để việc xây dựng các hệ thống trí tuệ nhân tạo tổng quát và mạnh mẽ hơn.
Các nhà nghiên cứu cũng đang mở rộng khả năng của AlphaZero và MuZero, các mô hình AI của Google dựa trên học tăng cường, để giúp tối ưu hóa quá trình nén video trong trung tâm dữ liệu, giảm 19% số lượng phần cứng sử dụng không đúng mức trong trung tâm dữ liệu và không làm giảm chất lượng video.
Những công cụ này hiện đang cho phép tăng hiệu quả trên toàn hệ sinh thái điện toán, nhưng những kết quả này cũng cho thấy tiềm năng biến đổi của các công cụ trí tuệ nhân tạo tổng quát hơn trong tương lai.
1. AlphaDev: Hiệu suất sắp xếp tăng 70%, hiệu suất truy xuất tăng 30%, hàng triệu lập trình viên đã áp dụng
Trước đây, Google DeepMind đã phát triển hệ thống AI AlphaZero để chơi cờ vây, nay các nhà nghiên cứu đã ứng dụng hệ thống này vào việc xây dựng thuật toán sắp xếp để tạo ra AlphaDev, kết quả cho thấy thuật toán do AlphaDev tạo ra có thể chuyển đổi sang ngôn ngữ lập trình chuẩn C++. , sắp xếp dữ liệu nhanh gấp ba lần so với phiên bản do con người tạo ra.
Daniel Mankowitz, nhà khoa học máy tính của Google DeepMind, người đứng đầu nhóm nghiên cứu, cho biết: "Chúng tôi hơi bị sốc. Lúc đầu, chúng tôi không tin vào điều đó".
AlphaDev có thể được sử dụng cho các thuật toán sắp xếp và băm nhanh hơn, được sử dụng hàng nghìn tỷ lần mỗi ngày để sắp xếp, lưu trữ và truy xuất dữ liệu.
1. Thuật toán cờ tìm, hiệu suất sắp xếp phần tử ngắn tăng 70%
Các thuật toán xếp hạng ảnh hưởng đến cách tất cả các thiết bị kỹ thuật số xử lý và hiển thị thông tin, bao gồm cả việc trình bày một số kết quả tìm kiếm trực tuyến, xếp hạng các bài đăng trên mạng xã hội và một số đề xuất của người dùng.
AlphaDev đã phát triển một thuật toán có thể cải thiện hiệu quả sắp xếp và so với thuật toán do con người thiết kế trong thư viện C++, thuật toán này có thể tăng hiệu quả sắp xếp của các chuỗi phần tử ngắn lên 70% và tăng hiệu quả sắp xếp của các chuỗi lên hơn 250.000 nguyên tố khoảng 1,7% %. Điều này cũng cho phép thuật toán của AlphaDev nhanh chóng sắp xếp kết quả khi người dùng gửi truy vấn tìm kiếm, để tìm câu trả lời có liên quan cao đến tìm kiếm của người dùng nhanh hơn.
Thời gian đầu, các nhà nghiên cứu áp dụng AlphaDev vào công việc sắp xếp các số theo kích thước, lúc đầu họ chỉ yêu cầu nó sắp xếp 3, 4, 5 số một lần, điều này rất quan trọng để sau này sắp xếp được nhiều số hơn.
AlphaDev hoạt động theo cách tương tự như AlphaZero, kết hợp sự cân nhắc và trực giác của phiên bản máy tính để chọn nước đi trong trò chơi cờ bàn. AlphaDev không chọn các hành động, nó chọn các hướng dẫn để thêm vào một quy trình.
AlphaDev khám phá các thuật toán nhanh hơn bằng cách bắt đầu lại từ đầu thay vì cải tiến các thuật toán hiện có và nó chú ý đến các hướng dẫn lắp ráp của máy tính. Các hướng dẫn lắp ráp được sử dụng để tạo mã nhị phân cho máy tính thực hiện các thao tác và các nhà nghiên cứu của Google DeepMind tin rằng có rất nhiều điều có thể được cải thiện ở cấp độ thấp hơn này.
Khi xây dựng một thuật toán, AlphaDev kiểm tra xem nó có đúng không bằng cách so sánh đầu ra của thuật toán với kết quả mong đợi. Đối với một thuật toán sắp xếp, điều này có nghĩa là các số không theo thứ tự sẽ xuất hiện và các số được sắp xếp chính xác sẽ xuất hiện. Các nhà nghiên cứu sẽ thưởng cho AlphaDev vì đã sắp xếp đúng thứ tự các con số, cũng như tốc độ và hiệu quả của việc sắp xếp.
2. Lưu trữ dữ liệu tiết kiệm gần 70% thời gian và thuật toán là mã nguồn mở
Nhóm Google DeepMind cũng đã áp dụng AlphaDev cho các thuật toán không sắp xếp. Phiên bản thuật toán được sử dụng để chuyển đổi dữ liệu được lưu trữ ở định dạng cụ thể thành byte mất ít thời gian hơn 67% so với phiên bản tiêu chuẩn. Thuật toán tiêu chuẩn mất ít thời gian hơn 30%.
Các thuật toán thông tin băm thường được sử dụng để lưu trữ và truy xuất trong cơ sở dữ liệu. Các thuật toán băm thường sử dụng một từ khóa để tạo ra một hàm băm duy nhất tương ứng và hàm băm này sẽ tương ứng với giá trị dữ liệu cần truy xuất. Ví dụ: nếu nhập từ khóa tên người dùng "Jane Doe" thì sẽ tạo ra "số đơn hàng" tương ứng để truy xuất. 164335-87".
Một kịch bản tương tự là một thủ thư sử dụng hệ thống phân loại để tìm nhanh một cuốn sách cụ thể và máy tính có thể nhanh chóng hiểu nó đang tìm gì và tìm ở đâu với sự trợ giúp của thuật toán băm.
Nhập từ khóa để lấy giá trị dữ liệu tương ứng
Khi áp dụng cho thuật toán băm trong khoảng 9-16 byte trong trung tâm dữ liệu, thuật toán của AlphaDev có thể tăng hiệu quả truy xuất lên 30%.
Vào tháng 1 năm ngoái, các nhà nghiên cứu của Google DeepMind đã phát hành thuật toán sắp xếp dựa trên học máy trong thư viện chuẩn C++ của dự án LLVM và phát hành thuật toán băm trong thư viện Abseil.Hiện tại, có điện toán đám mây, mua sắm trực tuyến, quản lý chuỗi cung ứng , v.v. Hàng triệu nhà phát triển và công ty trong toàn ngành đang áp dụng các thuật toán này.
2. AlphaZero: Tối ưu hóa tài nguyên trung tâm dữ liệu và tăng 19% mức sử dụng phần cứng
Trung tâm dữ liệu cần quản lý mọi thứ, từ phục vụ kết quả tìm kiếm đến xử lý bộ dữ liệu. Hệ thống quản lý cụm quy mô lớn của Google Borg quản lý hàng tỷ tác vụ của Google , đồng thời hệ thống này cũng phân phối khối lượng công việc để tối ưu hóa cơ sở hạ tầng bên trong trung tâm dữ liệu, xử lý các dịch vụ được người dùng sử dụng như tìm kiếm Google và quản lý xử lý hàng loạt.
Quá trình phân chia khối lượng công việc cũng giống như Borg chơi xếp hình vậy, làm sao để đặt được nhiều khối vuông nhất có thể trong một không gian hạn chế và tận dụng triệt để các vị trí còn trống.
So sánh phân bổ khối lượng công việc với trò chơi Tetris
Trước đây, Borg cần sử dụng các quy tắc được mã hóa thủ công để lên lịch tác vụ và tối ưu hóa khối lượng công việc. Nhưng khi phải đối mặt với quy mô lớn như hàng tỷ nhiệm vụ, các quy tắc được mã hóa thủ công này không thể tính đến sự đa dạng của việc thay đổi phân phối khối lượng công việc, vì vậy chúng được thiết kế để trở thành "một kích thước phù hợp với tất cả", nghĩa là chọn một giá trị trung gian.
Trong trường hợp này, AlphaZero rất hữu ích. Thuật toán mà nó xây dựng có thể tự động tạo các quy tắc tùy chỉnh tối ưu riêng lẻ. Các quy tắc này giúp Borg hiệu quả hơn khi phân phối khối lượng công việc và có thể tìm thấy các quy tắc phù hợp cho các nhiệm vụ khác nhau.
Trong quá trình thử nghiệm, các nhà nghiên cứu phát hiện ra rằng AlphaZero cũng nhận ra các mẫu trong các tác vụ đến trung tâm dữ liệu, cũng như dự đoán cách tốt nhất để quản lý năng lực và đưa ra quyết định với kết quả lâu dài tốt nhất.
Khi AlphaZero được áp dụng cho Borg, các thử nghiệm của các nhà nghiên cứu đã chỉ ra rằng phương pháp này có thể giảm tới 19% lượng phần cứng không được sử dụng đúng mức, tối ưu hóa việc sử dụng tài nguyên trong các trung tâm dữ liệu của Google.
Còn tiếp
3. MuZero: mã hóa nhóm hình ảnh video, tốc độ bit nén giảm 4%
Truyền phát video chiếm một phần đáng kể lưu lượng truy cập Internet, do đó, việc nâng cao hiệu quả phân phối video sẽ có tác động rất lớn đến hàng triệu người xem video mỗi ngày.
Năm ngoái, Google DeepMind đã hợp tác với trang video YouTube để nén và truyền tải video thông qua MuZero, kết quả cho thấy công cụ này có thể giảm 4% tốc độ bit mà không ảnh hưởng đến chất lượng video.
Trước đó, các nhà nghiên cứu đã áp dụng MuZero để tối ưu hóa quá trình nén từng khung hình riêng lẻ trong video và giờ đây họ đang mở rộng nó để xác định cách các khung hình được nhóm và tham chiếu trong quá trình mã hóa.
Ban đầu, MuZero xác định các khung GOP (nhóm ảnh) sẽ được nén, sau đó nhóm chúng theo sự giống nhau về hình ảnh của chúng. MuZero sẽ nén khung hình chính của một trong các nhóm ảnh, sau đó tham chiếu khung hình chính để nén các khung hình khác.Trong quá trình này, thuật toán sẽ sử dụng tìm kiếm khối để tìm khu vực có ít thay đổi nhất trong ảnh, sao cho hiệu ứng nén Tốt hơn vẫn có thể đảm bảo chất lượng video.
Còn tiếp về MuZero
Hôm qua, tiến trình liên quan của AlphaDev đã được công bố trên tạp chí học thuật quốc tế hàng đầu Nature. AlphaDev, phiên bản chuyên biệt của AlphaZero, cũng đã phát hiện ra các thuật toán mới có thể cải thiện 70% hiệu quả sắp xếp của các chuỗi phần tử ngắn.
Giờ đây, thuật toán sắp xếp mới của AlphaDev đã được phát hành cho thư viện C++. Theo blog của Google DeepMind, đây là thay đổi đầu tiên đối với thuật toán của thư viện sắp xếp trong hơn một thập kỷ và lần đầu tiên một thuật toán được thiết kế với học tăng cường đã được thêm vào thư viện. Thuật toán băm cũng đã được phát hành cho thư viện mã nguồn mở Abseil.
Liên kết mã nguồn mở của thư viện C++: https://reviews.llvm.org/D118029
Google DeepMind đang phát triển các công cụ AI có hiểu biết rộng về thế giới nhằm tối ưu hóa hệ sinh thái điện toán để việc xây dựng các hệ thống trí tuệ nhân tạo tổng quát và mạnh mẽ hơn.
Các nhà nghiên cứu cũng đang mở rộng khả năng của AlphaZero và MuZero, các mô hình AI của Google dựa trên học tăng cường, để giúp tối ưu hóa quá trình nén video trong trung tâm dữ liệu, giảm 19% số lượng phần cứng sử dụng không đúng mức trong trung tâm dữ liệu và không làm giảm chất lượng video.
Những công cụ này hiện đang cho phép tăng hiệu quả trên toàn hệ sinh thái điện toán, nhưng những kết quả này cũng cho thấy tiềm năng biến đổi của các công cụ trí tuệ nhân tạo tổng quát hơn trong tương lai.
1. AlphaDev: Hiệu suất sắp xếp tăng 70%, hiệu suất truy xuất tăng 30%, hàng triệu lập trình viên đã áp dụng
Trước đây, Google DeepMind đã phát triển hệ thống AI AlphaZero để chơi cờ vây, nay các nhà nghiên cứu đã ứng dụng hệ thống này vào việc xây dựng thuật toán sắp xếp để tạo ra AlphaDev, kết quả cho thấy thuật toán do AlphaDev tạo ra có thể chuyển đổi sang ngôn ngữ lập trình chuẩn C++. , sắp xếp dữ liệu nhanh gấp ba lần so với phiên bản do con người tạo ra.
Daniel Mankowitz, nhà khoa học máy tính của Google DeepMind, người đứng đầu nhóm nghiên cứu, cho biết: "Chúng tôi hơi bị sốc. Lúc đầu, chúng tôi không tin vào điều đó".
AlphaDev có thể được sử dụng cho các thuật toán sắp xếp và băm nhanh hơn, được sử dụng hàng nghìn tỷ lần mỗi ngày để sắp xếp, lưu trữ và truy xuất dữ liệu.
1. Thuật toán cờ tìm, hiệu suất sắp xếp phần tử ngắn tăng 70%
Các thuật toán xếp hạng ảnh hưởng đến cách tất cả các thiết bị kỹ thuật số xử lý và hiển thị thông tin, bao gồm cả việc trình bày một số kết quả tìm kiếm trực tuyến, xếp hạng các bài đăng trên mạng xã hội và một số đề xuất của người dùng.
AlphaDev đã phát triển một thuật toán có thể cải thiện hiệu quả sắp xếp và so với thuật toán do con người thiết kế trong thư viện C++, thuật toán này có thể tăng hiệu quả sắp xếp của các chuỗi phần tử ngắn lên 70% và tăng hiệu quả sắp xếp của các chuỗi lên hơn 250.000 nguyên tố khoảng 1,7% %. Điều này cũng cho phép thuật toán của AlphaDev nhanh chóng sắp xếp kết quả khi người dùng gửi truy vấn tìm kiếm, để tìm câu trả lời có liên quan cao đến tìm kiếm của người dùng nhanh hơn.
Thời gian đầu, các nhà nghiên cứu áp dụng AlphaDev vào công việc sắp xếp các số theo kích thước, lúc đầu họ chỉ yêu cầu nó sắp xếp 3, 4, 5 số một lần, điều này rất quan trọng để sau này sắp xếp được nhiều số hơn.
AlphaDev hoạt động theo cách tương tự như AlphaZero, kết hợp sự cân nhắc và trực giác của phiên bản máy tính để chọn nước đi trong trò chơi cờ bàn. AlphaDev không chọn các hành động, nó chọn các hướng dẫn để thêm vào một quy trình.
AlphaDev khám phá các thuật toán nhanh hơn bằng cách bắt đầu lại từ đầu thay vì cải tiến các thuật toán hiện có và nó chú ý đến các hướng dẫn lắp ráp của máy tính. Các hướng dẫn lắp ráp được sử dụng để tạo mã nhị phân cho máy tính thực hiện các thao tác và các nhà nghiên cứu của Google DeepMind tin rằng có rất nhiều điều có thể được cải thiện ở cấp độ thấp hơn này.
Khi xây dựng một thuật toán, AlphaDev kiểm tra xem nó có đúng không bằng cách so sánh đầu ra của thuật toán với kết quả mong đợi. Đối với một thuật toán sắp xếp, điều này có nghĩa là các số không theo thứ tự sẽ xuất hiện và các số được sắp xếp chính xác sẽ xuất hiện. Các nhà nghiên cứu sẽ thưởng cho AlphaDev vì đã sắp xếp đúng thứ tự các con số, cũng như tốc độ và hiệu quả của việc sắp xếp.
2. Lưu trữ dữ liệu tiết kiệm gần 70% thời gian và thuật toán là mã nguồn mở
Nhóm Google DeepMind cũng đã áp dụng AlphaDev cho các thuật toán không sắp xếp. Phiên bản thuật toán được sử dụng để chuyển đổi dữ liệu được lưu trữ ở định dạng cụ thể thành byte mất ít thời gian hơn 67% so với phiên bản tiêu chuẩn. Thuật toán tiêu chuẩn mất ít thời gian hơn 30%.
Các thuật toán thông tin băm thường được sử dụng để lưu trữ và truy xuất trong cơ sở dữ liệu. Các thuật toán băm thường sử dụng một từ khóa để tạo ra một hàm băm duy nhất tương ứng và hàm băm này sẽ tương ứng với giá trị dữ liệu cần truy xuất. Ví dụ: nếu nhập từ khóa tên người dùng "Jane Doe" thì sẽ tạo ra "số đơn hàng" tương ứng để truy xuất. 164335-87".
Một kịch bản tương tự là một thủ thư sử dụng hệ thống phân loại để tìm nhanh một cuốn sách cụ thể và máy tính có thể nhanh chóng hiểu nó đang tìm gì và tìm ở đâu với sự trợ giúp của thuật toán băm.
Khi áp dụng cho thuật toán băm trong khoảng 9-16 byte trong trung tâm dữ liệu, thuật toán của AlphaDev có thể tăng hiệu quả truy xuất lên 30%.
Vào tháng 1 năm ngoái, các nhà nghiên cứu của Google DeepMind đã phát hành thuật toán sắp xếp dựa trên học máy trong thư viện chuẩn C++ của dự án LLVM và phát hành thuật toán băm trong thư viện Abseil.Hiện tại, có điện toán đám mây, mua sắm trực tuyến, quản lý chuỗi cung ứng , v.v. Hàng triệu nhà phát triển và công ty trong toàn ngành đang áp dụng các thuật toán này.
2. AlphaZero: Tối ưu hóa tài nguyên trung tâm dữ liệu và tăng 19% mức sử dụng phần cứng
Trung tâm dữ liệu cần quản lý mọi thứ, từ phục vụ kết quả tìm kiếm đến xử lý bộ dữ liệu. Hệ thống quản lý cụm quy mô lớn của Google Borg quản lý hàng tỷ tác vụ của Google , đồng thời hệ thống này cũng phân phối khối lượng công việc để tối ưu hóa cơ sở hạ tầng bên trong trung tâm dữ liệu, xử lý các dịch vụ được người dùng sử dụng như tìm kiếm Google và quản lý xử lý hàng loạt.
Quá trình phân chia khối lượng công việc cũng giống như Borg chơi xếp hình vậy, làm sao để đặt được nhiều khối vuông nhất có thể trong một không gian hạn chế và tận dụng triệt để các vị trí còn trống.
Trước đây, Borg cần sử dụng các quy tắc được mã hóa thủ công để lên lịch tác vụ và tối ưu hóa khối lượng công việc. Nhưng khi phải đối mặt với quy mô lớn như hàng tỷ nhiệm vụ, các quy tắc được mã hóa thủ công này không thể tính đến sự đa dạng của việc thay đổi phân phối khối lượng công việc, vì vậy chúng được thiết kế để trở thành "một kích thước phù hợp với tất cả", nghĩa là chọn một giá trị trung gian.
Trong trường hợp này, AlphaZero rất hữu ích. Thuật toán mà nó xây dựng có thể tự động tạo các quy tắc tùy chỉnh tối ưu riêng lẻ. Các quy tắc này giúp Borg hiệu quả hơn khi phân phối khối lượng công việc và có thể tìm thấy các quy tắc phù hợp cho các nhiệm vụ khác nhau.
Trong quá trình thử nghiệm, các nhà nghiên cứu phát hiện ra rằng AlphaZero cũng nhận ra các mẫu trong các tác vụ đến trung tâm dữ liệu, cũng như dự đoán cách tốt nhất để quản lý năng lực và đưa ra quyết định với kết quả lâu dài tốt nhất.
Khi AlphaZero được áp dụng cho Borg, các thử nghiệm của các nhà nghiên cứu đã chỉ ra rằng phương pháp này có thể giảm tới 19% lượng phần cứng không được sử dụng đúng mức, tối ưu hóa việc sử dụng tài nguyên trong các trung tâm dữ liệu của Google.
Còn tiếp
3. MuZero: mã hóa nhóm hình ảnh video, tốc độ bit nén giảm 4%
Truyền phát video chiếm một phần đáng kể lưu lượng truy cập Internet, do đó, việc nâng cao hiệu quả phân phối video sẽ có tác động rất lớn đến hàng triệu người xem video mỗi ngày.
Năm ngoái, Google DeepMind đã hợp tác với trang video YouTube để nén và truyền tải video thông qua MuZero, kết quả cho thấy công cụ này có thể giảm 4% tốc độ bit mà không ảnh hưởng đến chất lượng video.
Trước đó, các nhà nghiên cứu đã áp dụng MuZero để tối ưu hóa quá trình nén từng khung hình riêng lẻ trong video và giờ đây họ đang mở rộng nó để xác định cách các khung hình được nhóm và tham chiếu trong quá trình mã hóa.
Ban đầu, MuZero xác định các khung GOP (nhóm ảnh) sẽ được nén, sau đó nhóm chúng theo sự giống nhau về hình ảnh của chúng. MuZero sẽ nén khung hình chính của một trong các nhóm ảnh, sau đó tham chiếu khung hình chính để nén các khung hình khác.Trong quá trình này, thuật toán sẽ sử dụng tìm kiếm khối để tìm khu vực có ít thay đổi nhất trong ảnh, sao cho hiệu ứng nén Tốt hơn vẫn có thể đảm bảo chất lượng video.
