GPU如何加速神經網路訓練？

了解硬體和軟體方面的GPU如何加快培訓速度。深入了解CUDA的塊乘法。

參考資料
[1] 為什麼GPU在深度學習中表現良好：https：//www.quora.com/Why-are-GPUs-well-suited-to-deep-learning
[2] GPU上的矩陣數學：http：//www.ijcee.org/vol9/949-E1621.pdf
[3] GPU不一定比CPU快：https：//www.quora.com/Why-are-GPUs-more-powerful-than-CPUs
[4] 差異代碼：https://medium.com/analytics-vidhya/using-pytorch-and-cuda-for-large-computation-in-google-colabs-f1c026c17673
[5] GPU內存架構：https://medium.com/@ashanpriyadarshana/cuda-gpu-memory-architecture-8c3ac644bd64
[6] 塊矩陣乘法：https://www.researchgate.net/publication/221391920_Parallel_Processing_of_Matrix_Multiplication_in_a_CPU_and_GPU_Heterogeneous_Environment
[7] 使用CUDA的矩陣乘法：https://www.fz-juelich.de/SharedDocs/Downloads/IAS/JSC/EN/slides/cuda/05-cuda-mm.pdf?__blob=publicationFile。