GPU如何加速神经网络训练？

了解硬件和软件方面的GPU如何加快培训速度。深入了解CUDA的块乘法。

参考资料
[1] 为什么GPU在深度学习中表现良好：https：//www.quora.com/Why-are-GPUs-well-suited-to-deep-learning
[2] GPU上的矩阵数学：http：//www.ijcee.org/vol9/949-E1621.pdf
[3] GPU不一定比CPU快：https：//www.quora.com/Why-are-GPUs-more-powerful-than-CPUs
[4] 差异代码：https://medium.com/analytics-vidhya/using-pytorch-and-cuda-for-large-computation-in-google-colabs-f1c026c17673
[5] GPU内存架构：https://medium.com/@ashanpriyadarshana/cuda-gpu-memory-architecture-8c3ac644bd64
[6] 块矩阵乘法：https://www.researchgate.net/publication/221391920_Parallel_Processing_of_Matrix_Multiplication_in_a_CPU_and_GPU_Heterogeneous_Environment
[7] 使用CUDA的矩阵乘法：https://www.fz-juelich.de/SharedDocs/Downloads/IAS/JSC/EN/slides/cuda/05-cuda-mm.pdf?__blob=publicationFile。