Theo Reuters, trong một báo cáo khoa học được Google công bố ngày 4/4, hãng đã mô tả về về siêu máy tính được dùng để huấn luyện mạng thần kinh nhân tạo, được cho là hoạt động nhanh và hiệu quả hơn so với hệ thống tương tự sử dụng chip A100 của Nvidia.
Siêu máy tính của Google được trang bị chip Tensor Processing Unit (TPU) thế hệ thứ tư do Google thiết kế. Tensor v4, ra mắt từ 2021, hiện góp mặt trong hơn 90% công việc đào tạo AI của Google.
Hãng đã kết nối 4.096 chip thông qua công tắc quang học tự phát triển. Công tắc quang học là chìa khóa giúp các công ty chế tạo bộ xử lý cho siêu máy tính AI. Các mô hình ngôn ngữ lớn như Bard hay ChatGPT đều có dung lượng quá lớn để lưu trữ trên một chip, thay vào đó được chia vào hàng nghìn chip hoạt động cùng nhau trong hàng tuần để huấn luyện mô hình.
Sundar Pichai, CEO Google, giới thiệu Tensor v4 năm 2021
Google đã dùng siêu máy tính của mình huấn luyện PaLM, mô hình ngôn ngữ lớn được đánh giá tốt nhất hiện nay. Google cho biết hệ thống có thể dễ dàng cấu hình lại kết nối giữa các chip một cách nhanh chóng, giúp giảm sự cố và điều chỉnh tăng hiệu suất của mô hình máy học.
Dù mới công bố thông tin, thực tế Google đã sử dụng siêu máy tính từ năm 2020 tại trung tâm dữ liệu ở Hạt Mayes, Oklahoma. Startup Midjourney cũng đang dùng hệ thống này để huấn luyện AI tạo hình ảnh từ văn bản.
Theo Google, so với hệ thống tương đương sử dụng chip xử lý A100 của Nvidia, siêu máy tính của hãng nhanh hơn 1,7 lần và tiết kiệm năng lượng hơn 1,9 lần. A100 và Tensor v4. Google không so sánh với chip H100 cao cấp của Nvidia do mới ra mắt năm ngoái và sản xuất trên công nghệ mới hơn. Hãng cũng đang phát triển chip Tensor thế hệ mới cạnh tranh với H100.
Nvidia từ chối bình luận về thông tin của Google. A100, ra mắt năm 2020, có giá 10.000 USD và được coi là một trong những thành phần thiết yếu nhất của ngành công nghiệp AI. A100 đang được sử dụng trong mô hình học máy đứng sau ChatGPT, Bing AI và Stable Diffusion, nhờ khả năng tiến hành đồng thời hàng loạt tính toán đơn giản, đóng vai trò quan trọng với việc huấn luyện và sử dụng mạng thần kinh nhân tạo.
Nguồn: VNExpess
Email:
Mã xác nhận: