Thoại Viết Hoàng
Writer
Nhà sản xuất bộ xử lý đồ họa Nvidia đã gia nhập danh sách ngắn hiếm hoi gồm các công ty trị giá hơn 1 nghìn tỷ USD vào đầu năm nay nhờ một phần không nhỏ vào sự bùng nổ của sự quan tâm và phát triển các ứng dụng AI và học máy (ML) tổng hợp ở Thung lũng Silicon.
Xét cho cùng, GPU của Nvidia là phần cứng được ưu tiên - và trong một số trường hợp là cần thiết - để đào tạo các mô hình AI nền tảng lớn như GPT đình đám của OpenAI, đến mức gần đây tình trạng thiếu GPU Nvidia là tin đồn hàng đầu ở Thung lũng.
Tuy nhiên, giờ đây, một công ty khác, SiMa.ai, đang giới thiệu một sản phẩm mới mà họ cho biết sẽ tiếp tục giúp hãng đánh bại hiệu suất chip của Nvidia dành cho ML trong một danh mục quan trọng, đang phát triển nhanh chóng: thiết bị biên.
Krishna Rangasaeee, người sáng lập và Giám đốc điều hành của San Jose, SiMa.ai có trụ sở tại California, cho biết trong một cuộc phỏng vấn cuộc gọi điện video độc quyền với VentureBeat: “Chúng tôi là công ty đầu tiên vượt trội hơn Nvidia về cả hiệu suất và sức mạnh ở hạng mục biên”. trích dẫn điểm chuẩn MLPerf tương ứng của hai công ty.
Sản phẩm mới có tên là Palette Edgematic và là nền tảng phần mềm kéo và thả không cần mã để triển khai các mô hình học máy một cách nhanh chóng, đáng tin cậy bởi những người không chuyên trên các thiết bị biên ngoài hiện trường, sử dụng phần mềm Palette hiện có của SiMa.ai trên chip silicon MLSoC độc quyền của riêng mình (được sản xuất theo thông số kỹ thuật của nhà cung cấp hàng đầu Đài Loan Semiconductor, TMSC).
Palette Edgematic khiến nó “có thể truy cập được đối với bất kỳ ai không có nền tảng ML để có thể triển khai các hệ thống rất phức tạp,” Rangasaayee.
Cạnh chảy máu
Thiết bị biên là các mảng cảm biến và hệ thống máy tính giám sát được triển khai tại hiện trường trên các thiết bị công nghiệp nặng, nhà máy dầu khí, tấm pin mặt trời và tua bin gió, nhà máy sản xuất, thậm chí cả phần cứng quân sự như máy bay không người lái, để cho phép chúng hiểu được môi trường và điều kiện của chúng, phát hiện và cảnh báo mọi người về nhu cầu bảo trì trước khi chúng gây ra thời gian ngừng hoạt động, đồng thời cải thiện thời gian hoạt động, hiệu suất và tiết kiệm chi phí.
Do sự cần thiết của các điều kiện khó khăn về mặt vật lý mà chúng hoạt động, máy tính trên các thiết bị này theo truyền thống quá đơn giản và phần cứng bị hạn chế để chạy các quy trình tiêu tốn nhiều tài nguyên cần thiết cho các ứng dụng học máy.
Có, một số quy trình xử lý có thể được chuyển sang đám mây, nhưng không phải tất cả — và trên thực tế, đối với các hoạt động và thiết bị quan trọng như trong lĩnh vực năng lượng và quân sự, sức mạnh xử lý tại chỗ là yếu tố then chốt.
“Vấn đề cốt lõi mà chúng tôi quan sát thấy những gì chúng tôi muốn làm là chúng tôi đã thấy quy mô AI và ML trên đám mây. Chúng tôi cũng đã thấy AI và ML có quy mô tốt trên nền tảng di động. Nhưng tất cả những gì tôi gọi là phần rìa nhúng, tôi nghĩ phần giữa thực sự là thế giới vật chất, thế giới công nghiệp thực sự bị bỏ lại phía sau,” Rangasayee nói.
Để đạt được các hoạt động ML hiệu suất cao trên các thiết bị biên, Rangasayee và các đồng nghiệp của ông tại SiMa.ai phải làm nhiều việc hơn là chỉ thiết kế phần mềm và phần cứng tuyệt vời. Họ cũng phải làm cho nó hoạt động hiệu quả, lưu ý đến yêu cầu về năng lượng thấp của nhiều khách hàng tiềm năng và môi trường họ đang làm việc.
Rangasaeee giải thích: “Luận điểm của chúng tôi vẫn giữ nguyên: bạn cần hiệu suất của đám mây với hiệu suất năng lượng của biên”. “Bạn cần thực sự mang đến sự dễ sử dụng đẳng cấp thế giới.”
Chinh phục gã khổng lồ
Mặc dù Rangasasayee và các đồng nghiệp của anh ấy không có gì ngoài sự tôn trọng đối với Nvidia và những gì nó đã đạt được (Rangasayee gọi phần mềm CUDA của Nvidia là “hiện tượng”) và tin rằng hai công ty có thể cùng tồn tại phục vụ các phân khúc thị trường khác nhau, nhưng không thể phủ nhận rằng họ muốn có khách hàng tiềm năng của mình. để chuyển từ phần cứng và phần mềm Nvidia sang SiMa.ai.
Rangasaee lưu ý: “Nếu bạn đang sử dụng thẻ NVIDIA PCI Express, bạn có thể đổi thẻ đó ra”. “Bạn có thể cắm nó vào và về cơ bản là bạn đã sẵn sàng và hoạt động. Vì vậy, khả năng chuyển đổi khá dễ dàng và đặc biệt là phần mềm rất dễ sử dụng. Nó thực sự khiến chúng tôi trở thành một giải pháp thay thế khả thi tốt cho mọi người.”
Trên thực tế, Rangasaeee tin rằng nhiều người làm việc với các thiết bị biên chỉ đơn giản mặc định sử dụng chip và phần mềm Nvidia vì cho đến gần đây, không có giải pháp thay thế khả thi về mặt thương mại, giá cả phải chăng với hiệu suất tương đương.
Rangasaeee lập luận: “Mặc dù Nvidia không phải là sự lựa chọn phù hợp cho vùng biên, nhưng cho đến nay, họ vẫn được coi là điều đó vì sức mạnh phần mềm mà họ có”. “Và họ chưa thực sự có sự cạnh tranh khả thi.”
Các trường hợp sử dụng trong thế giới thực
Cuối cùng, người sáng lập và Giám đốc điều hành nghĩ rằng tính dễ sử dụng và hiệu suất mà Palette Edgematic của SiMa.ai đạt được sẽ có lợi cho trường hợp sử dụng cụ thể này — và đã có hiệu quả với một số khách hàng.
Rangasayee đã cho nhà báo của VentureBeat và tác giả của bài viết này xem bản demo các cảnh quay bằng máy bay không người lái quân sự được ghi lại và phân tích nhanh chóng bằng cách sử dụng một ứng dụng được tạo bằng Palette Edgematic, tăng tốc video được quay từ 3 khung hình mỗi giây lên đến 60 khung hình mỗi giây nhờ SiMa Sự kết hợp phần cứng và phần mềm của .ai.
Anh ấy cũng cho thấy cách người dùng Palette Edgematic có thể dễ dàng kéo và thả - và điều chỉnh, nếu họ muốn - các mô-đun và ứng dụng mã ML đầy đủ trên thiết bị biên của họ từ thư viện đáng tin cậy gồm các mô hình AI nguồn mở.
Rangasaeee cũng cho thấy cách các nhà phát triển xe tự hành có thể sử dụng Palette Edgematic để chỉ cần kéo và thả mã ML cần thiết nhằm tạo đường truyền dữ liệu từ cảm biến của xe đến máy tính trên xe để xử lý nhanh chóng.
“Bạn chọn các mô hình ML của mình, bạn kéo và thả, bạn xây dựng hệ thống thị giác máy tính của mình và nói 'này, đây là công cụ nhận thức của tôi. Đây là công cụ SLAM của tôi. Đây là phân đoạn ngữ nghĩa của tôi.’ Và bạn nhấp vào một nút, tất cả đều chạy trên một thiết bị. Và trong vài phút, bạn sẽ lấy lại được dữ liệu và thế là xong. Bây giờ, việc này thường sẽ mất chín tháng.”
Rangasayee cho biết rằng bằng cách sử dụng Palette Edgematic, khách hàng có thể giảm số lượng nhà phát triển mà họ làm việc trong loại dự án chuyên sâu trước đây từ 75 người xuống còn khoảng hai người và đạt được kết quả tương tự, nhanh hơn, sử dụng ít tài nguyên hơn nhiều.
Không có gì ngạc nhiên khi một trong những khẩu hiệu yêu thích của anh ấy là “từ tháng đến phút”.
SiMa.ai và Palette Edgematic sẽ đi đến đâu?
SiMa.ai coi thông báo về Palette Edgematic chỉ là bước khởi đầu trong sứ mệnh giúp việc triển khai ML ở vùng biên trở nên dễ dàng và đáng tin cậy đối với những người dùng không có kỹ thuật.Rangasaeee cho biết: “Hàng quý, chúng tôi tiếp tục bổ sung thêm nhiều mô hình ML, nhiều thư viện quy trình thị giác máy tính hơn và tiếp tục làm cho tính năng này ngày càng dễ tiếp cận và mạnh mẽ hơn”. “Đó là cuộc hành trình phía trước của chúng ta.”
Ông ví Palette Edgematic giống như việc giới thiệu iPhone của Apple so với việc sử dụng BlackBerry hay Nokia, vốn kém trực quan hơn nhiều, một sự so sánh phù hợp trong cùng ngày diễn ra sự kiện sản phẩm của Apple.
Rangasaeee nói: “Mọi học sinh trung học đều có thể tạo ra các đường dẫn thị giác máy tính phức tạp”. “Chúng tôi đang bắt đầu với thị giác máy tính. Chúng tôi có tham vọng lớn hơn cho công ty ngoài không gian đó.”
Tham khảo bài viết gốc tại đây:
Tuy nhiên, giờ đây, một công ty khác, SiMa.ai, đang giới thiệu một sản phẩm mới mà họ cho biết sẽ tiếp tục giúp hãng đánh bại hiệu suất chip của Nvidia dành cho ML trong một danh mục quan trọng, đang phát triển nhanh chóng: thiết bị biên.
Krishna Rangasaeee, người sáng lập và Giám đốc điều hành của San Jose, SiMa.ai có trụ sở tại California, cho biết trong một cuộc phỏng vấn cuộc gọi điện video độc quyền với VentureBeat: “Chúng tôi là công ty đầu tiên vượt trội hơn Nvidia về cả hiệu suất và sức mạnh ở hạng mục biên”. trích dẫn điểm chuẩn MLPerf tương ứng của hai công ty.
Sản phẩm mới có tên là Palette Edgematic và là nền tảng phần mềm kéo và thả không cần mã để triển khai các mô hình học máy một cách nhanh chóng, đáng tin cậy bởi những người không chuyên trên các thiết bị biên ngoài hiện trường, sử dụng phần mềm Palette hiện có của SiMa.ai trên chip silicon MLSoC độc quyền của riêng mình (được sản xuất theo thông số kỹ thuật của nhà cung cấp hàng đầu Đài Loan Semiconductor, TMSC).
Palette Edgematic khiến nó “có thể truy cập được đối với bất kỳ ai không có nền tảng ML để có thể triển khai các hệ thống rất phức tạp,” Rangasaayee.
Cạnh chảy máu
Thiết bị biên là các mảng cảm biến và hệ thống máy tính giám sát được triển khai tại hiện trường trên các thiết bị công nghiệp nặng, nhà máy dầu khí, tấm pin mặt trời và tua bin gió, nhà máy sản xuất, thậm chí cả phần cứng quân sự như máy bay không người lái, để cho phép chúng hiểu được môi trường và điều kiện của chúng, phát hiện và cảnh báo mọi người về nhu cầu bảo trì trước khi chúng gây ra thời gian ngừng hoạt động, đồng thời cải thiện thời gian hoạt động, hiệu suất và tiết kiệm chi phí.
Do sự cần thiết của các điều kiện khó khăn về mặt vật lý mà chúng hoạt động, máy tính trên các thiết bị này theo truyền thống quá đơn giản và phần cứng bị hạn chế để chạy các quy trình tiêu tốn nhiều tài nguyên cần thiết cho các ứng dụng học máy.
Có, một số quy trình xử lý có thể được chuyển sang đám mây, nhưng không phải tất cả — và trên thực tế, đối với các hoạt động và thiết bị quan trọng như trong lĩnh vực năng lượng và quân sự, sức mạnh xử lý tại chỗ là yếu tố then chốt.
“Vấn đề cốt lõi mà chúng tôi quan sát thấy những gì chúng tôi muốn làm là chúng tôi đã thấy quy mô AI và ML trên đám mây. Chúng tôi cũng đã thấy AI và ML có quy mô tốt trên nền tảng di động. Nhưng tất cả những gì tôi gọi là phần rìa nhúng, tôi nghĩ phần giữa thực sự là thế giới vật chất, thế giới công nghiệp thực sự bị bỏ lại phía sau,” Rangasayee nói.
Để đạt được các hoạt động ML hiệu suất cao trên các thiết bị biên, Rangasayee và các đồng nghiệp của ông tại SiMa.ai phải làm nhiều việc hơn là chỉ thiết kế phần mềm và phần cứng tuyệt vời. Họ cũng phải làm cho nó hoạt động hiệu quả, lưu ý đến yêu cầu về năng lượng thấp của nhiều khách hàng tiềm năng và môi trường họ đang làm việc.
Rangasaeee giải thích: “Luận điểm của chúng tôi vẫn giữ nguyên: bạn cần hiệu suất của đám mây với hiệu suất năng lượng của biên”. “Bạn cần thực sự mang đến sự dễ sử dụng đẳng cấp thế giới.”
Chinh phục gã khổng lồ
Mặc dù Rangasasayee và các đồng nghiệp của anh ấy không có gì ngoài sự tôn trọng đối với Nvidia và những gì nó đã đạt được (Rangasayee gọi phần mềm CUDA của Nvidia là “hiện tượng”) và tin rằng hai công ty có thể cùng tồn tại phục vụ các phân khúc thị trường khác nhau, nhưng không thể phủ nhận rằng họ muốn có khách hàng tiềm năng của mình. để chuyển từ phần cứng và phần mềm Nvidia sang SiMa.ai.
Rangasaee lưu ý: “Nếu bạn đang sử dụng thẻ NVIDIA PCI Express, bạn có thể đổi thẻ đó ra”. “Bạn có thể cắm nó vào và về cơ bản là bạn đã sẵn sàng và hoạt động. Vì vậy, khả năng chuyển đổi khá dễ dàng và đặc biệt là phần mềm rất dễ sử dụng. Nó thực sự khiến chúng tôi trở thành một giải pháp thay thế khả thi tốt cho mọi người.”
Trên thực tế, Rangasaeee tin rằng nhiều người làm việc với các thiết bị biên chỉ đơn giản mặc định sử dụng chip và phần mềm Nvidia vì cho đến gần đây, không có giải pháp thay thế khả thi về mặt thương mại, giá cả phải chăng với hiệu suất tương đương.
Rangasaeee lập luận: “Mặc dù Nvidia không phải là sự lựa chọn phù hợp cho vùng biên, nhưng cho đến nay, họ vẫn được coi là điều đó vì sức mạnh phần mềm mà họ có”. “Và họ chưa thực sự có sự cạnh tranh khả thi.”
Các trường hợp sử dụng trong thế giới thực
Cuối cùng, người sáng lập và Giám đốc điều hành nghĩ rằng tính dễ sử dụng và hiệu suất mà Palette Edgematic của SiMa.ai đạt được sẽ có lợi cho trường hợp sử dụng cụ thể này — và đã có hiệu quả với một số khách hàng.
Rangasayee đã cho nhà báo của VentureBeat và tác giả của bài viết này xem bản demo các cảnh quay bằng máy bay không người lái quân sự được ghi lại và phân tích nhanh chóng bằng cách sử dụng một ứng dụng được tạo bằng Palette Edgematic, tăng tốc video được quay từ 3 khung hình mỗi giây lên đến 60 khung hình mỗi giây nhờ SiMa Sự kết hợp phần cứng và phần mềm của .ai.
Anh ấy cũng cho thấy cách người dùng Palette Edgematic có thể dễ dàng kéo và thả - và điều chỉnh, nếu họ muốn - các mô-đun và ứng dụng mã ML đầy đủ trên thiết bị biên của họ từ thư viện đáng tin cậy gồm các mô hình AI nguồn mở.
Rangasaeee cũng cho thấy cách các nhà phát triển xe tự hành có thể sử dụng Palette Edgematic để chỉ cần kéo và thả mã ML cần thiết nhằm tạo đường truyền dữ liệu từ cảm biến của xe đến máy tính trên xe để xử lý nhanh chóng.
“Bạn chọn các mô hình ML của mình, bạn kéo và thả, bạn xây dựng hệ thống thị giác máy tính của mình và nói 'này, đây là công cụ nhận thức của tôi. Đây là công cụ SLAM của tôi. Đây là phân đoạn ngữ nghĩa của tôi.’ Và bạn nhấp vào một nút, tất cả đều chạy trên một thiết bị. Và trong vài phút, bạn sẽ lấy lại được dữ liệu và thế là xong. Bây giờ, việc này thường sẽ mất chín tháng.”
Rangasayee cho biết rằng bằng cách sử dụng Palette Edgematic, khách hàng có thể giảm số lượng nhà phát triển mà họ làm việc trong loại dự án chuyên sâu trước đây từ 75 người xuống còn khoảng hai người và đạt được kết quả tương tự, nhanh hơn, sử dụng ít tài nguyên hơn nhiều.
Không có gì ngạc nhiên khi một trong những khẩu hiệu yêu thích của anh ấy là “từ tháng đến phút”.
SiMa.ai và Palette Edgematic sẽ đi đến đâu?
SiMa.ai coi thông báo về Palette Edgematic chỉ là bước khởi đầu trong sứ mệnh giúp việc triển khai ML ở vùng biên trở nên dễ dàng và đáng tin cậy đối với những người dùng không có kỹ thuật.Rangasaeee cho biết: “Hàng quý, chúng tôi tiếp tục bổ sung thêm nhiều mô hình ML, nhiều thư viện quy trình thị giác máy tính hơn và tiếp tục làm cho tính năng này ngày càng dễ tiếp cận và mạnh mẽ hơn”. “Đó là cuộc hành trình phía trước của chúng ta.”
Ông ví Palette Edgematic giống như việc giới thiệu iPhone của Apple so với việc sử dụng BlackBerry hay Nokia, vốn kém trực quan hơn nhiều, một sự so sánh phù hợp trong cùng ngày diễn ra sự kiện sản phẩm của Apple.
Rangasaeee nói: “Mọi học sinh trung học đều có thể tạo ra các đường dẫn thị giác máy tính phức tạp”. “Chúng tôi đang bắt đầu với thị giác máy tính. Chúng tôi có tham vọng lớn hơn cho công ty ngoài không gian đó.”
Tham khảo bài viết gốc tại đây:
