Câu trả lời đơn giản, GPU giúp tăng tốc tốc độ xử lý lên gấp rất rất nhiều lần so với việc sử dụng CPU.

Câu trả lời chi tiết, GPU (viết tắt của từ Graphics Processing Unit) hay còn gọi là bộ xử lý đồ họa ra đời từ rất sớm vào những năm 1980 dưới dạng các chip đồ họa, thuật ngữ GPU được biết đến rộng rãi khi Nvidia ra mắt sản phẩm đầu tiên của mình. Mục đích của GPU trước khi Deep Learning xuất hiện chủ yếu là để hỗ trợ CPU trong việc đảm nhiệm nhiệm vụ tái tạo hình ảnh, làm tươi và vẽ lại khung hình cho các thiết bị hiển thị lên màn hình.

Để làm được chuyện đó GPU có cấu tạo rất khác biệt so với CPU:

• Trong khi CPU có rất ít core (khoảng từ 4 đến 12 cores) thì GPU có đến cả ngàn cores, nếu so sánh 1 - 1, mặc dù mỗi 1 core của GPU yếu hơn rất nhiều so với CPU nhưng đổi lại chúng có số lượng lớn hơn gấp nhiều lần. Yếu ở đây có nghĩa là mặc dù core của CPU ít hơn nhưng mỗi core của CPU có khả năng tính toán những biểu thức rất phức tạp, core của GPU nhiều hơn nhưng mỗi core của nó chỉ dùng cho các phép tính đơn giản.

• Băng thông của GPU lớn hơn nhiều so với CPU.

Sở dĩ GPU có cấu tạo như vậy với mục đích có thể xử lý song song đồ họa và làm tươi khung hình một cách nhanh chóng. Song song ở đây có nghĩa là các công việc được thực hiện cùng 1 lúc thay vì xếp hàng chờ.

Deep Learning chỉ nổi lên đình đám vào năm 2014 bởi lý do duy nhất đó là thời đại dữ liệu bùng nổ và bộ xử lý máy tính đã đủ mạnh.

Bởi vì khi thực hiện training (học) dữ liệu, mô hình Deep Learning thực hiện hàng triệu đến hàng trăm triệu các phép toán tích chập, tích vô hướng, ... trên ma trận và thật may mắn, các phép toán này đều có thể chạy song song được.

Giả sử CPU chỉ có 4 người làm việc mà phải phục vụ 100 triệu người thì chắc chắn trong thời gian phục vụ người này, người kia phải chờ, nói cách khác là tốc độ thực thi rất rất chậm, GPU có khoảng 65.000 người làm việc thì công việc sẽ nhanh hơn rất nhiều.

Lưu ý:

GPU chỉ thật sự phát huy sức mạnh tính toán song song của nó để có thể che độ trễ khi dữ liệu tính toán thật sự lớn, đối với những dữ liệu nhỏ, CPU thậm chí có thể tính nhanh hơn nhiều so với GPU nhờ vào các core mạnh mẽ của nó. Cho nên, việc kết hợp giữa CPU và GPU trong huấn luyện mạng Deep Learning là lựa chọn hoàn hảo, không phải chỉ có một mình GPU mới thích hợp cho Deep Learning.