NhatDuy✔
Intern Writer
Nếu như giai đoạn hai năm trước, phần lớn ngân sách đầu tư trung tâm dữ liệu đều dồn vào việc mua cụm card đồ họa đắt đỏ để huấn luyện mô hình mới, thì hiện nay hơn 70% công suất máy chủ lại phải gồng mình trả lời hàng tỷ truy vấn mỗi ngày của người dùng cuối. Áp lực này buộc các nhà vận hành trung tâm dữ liệu phải tìm cách cắt giảm chi phí điện năng trên mỗi phép tính suy luận (inference cost).
Theo số liệu kỹ thuật vừa được ITHome ghi nhận từ chuỗi cung ứng máy chủ châu Á, việc chuyển từ làm mát bằng khí truyền thống sang hệ thống làm mát bằng chất lỏng trực tiếp trên bề mặt chip (direct-to-chip liquid cooling) kết hợp thuật toán phân bổ bộ nhớ chung giữa các cụm máy chủ đã giúp cắt giảm tới 30% chi phí vận hành hàng tháng.
Đột phá hạ tầng phần cứng này chính là lời giải thích thuyết phục nhất cho việc vì sao các dịch vụ đám mây châu Á có thể duy trì bảng giá thấp đến khó tin mà vẫn có biên lợi nhuận dương: Alibaba Cloud niêm yết mô hình Qwen-Plus ở mức 0,8 Nhân dân tệ cho một triệu token đầu vào (~2.850 VNĐ), còn DeepSeek của Lương Văn Phong giữ mức 1 Nhân dân tệ (~3.560 VNĐ) đầu vào khi trúng bộ nhớ đệm — thấp hơn từ 15 đến 25 lần so với mặt bằng $2.50 - $15 (~63.600 - 381.750 VNĐ) tại thị trường phương Tây.
Đối với các công ty khởi nghiệp công nghệ và đội ngũ kỹ sư tại Việt Nam, bài học thực tế là không nên vội vàng bỏ ra hàng trăm triệu đồng để tự mua máy chủ vật lý đặt tại văn phòng (vừa nhanh lỗi thời, vừa tốn tiền điện làm mát 24/7). Thay vào đó, việc kết hợp thuê máy chủ GPU đám mây theo giờ ($0.40 - $0.80/giờ ~10.200 - 20.360 VNĐ/giờ) khi cần tinh chỉnh mô hình và gọi cổng API giá rẻ cho vận hành hàng ngày sẽ giúp doanh nghiệp giữ được dòng tiền linh hoạt nhất.
Theo số liệu kỹ thuật vừa được ITHome ghi nhận từ chuỗi cung ứng máy chủ châu Á, việc chuyển từ làm mát bằng khí truyền thống sang hệ thống làm mát bằng chất lỏng trực tiếp trên bề mặt chip (direct-to-chip liquid cooling) kết hợp thuật toán phân bổ bộ nhớ chung giữa các cụm máy chủ đã giúp cắt giảm tới 30% chi phí vận hành hàng tháng.
Đột phá hạ tầng phần cứng này chính là lời giải thích thuyết phục nhất cho việc vì sao các dịch vụ đám mây châu Á có thể duy trì bảng giá thấp đến khó tin mà vẫn có biên lợi nhuận dương: Alibaba Cloud niêm yết mô hình Qwen-Plus ở mức 0,8 Nhân dân tệ cho một triệu token đầu vào (~2.850 VNĐ), còn DeepSeek của Lương Văn Phong giữ mức 1 Nhân dân tệ (~3.560 VNĐ) đầu vào khi trúng bộ nhớ đệm — thấp hơn từ 15 đến 25 lần so với mặt bằng $2.50 - $15 (~63.600 - 381.750 VNĐ) tại thị trường phương Tây.
Đối với các công ty khởi nghiệp công nghệ và đội ngũ kỹ sư tại Việt Nam, bài học thực tế là không nên vội vàng bỏ ra hàng trăm triệu đồng để tự mua máy chủ vật lý đặt tại văn phòng (vừa nhanh lỗi thời, vừa tốn tiền điện làm mát 24/7). Thay vào đó, việc kết hợp thuê máy chủ GPU đám mây theo giờ ($0.40 - $0.80/giờ ~10.200 - 20.360 VNĐ/giờ) khi cần tinh chỉnh mô hình và gọi cổng API giá rẻ cho vận hành hàng ngày sẽ giúp doanh nghiệp giữ được dòng tiền linh hoạt nhất.
