什么是CUDNN

NVIDIA cuDNN是一個深度神經(jīng)網(wǎng)絡的GPU加速庫，它性能、易用性和低內存開銷。NVIDIA cuDNN可以與更高級別的機器學習框架集成，如谷歌的Tensorflow和加州大學伯克利分校流行的Caffe軟件。簡單的插件設計使開發(fā)人員能夠專注于設計和實現(xiàn)神經(jīng)網(wǎng)絡模型，而不是簡單地優(yōu)化性能，同時在GPU上實現(xiàn)現(xiàn)代高性能并行計算。

適用于所有常見卷積的Tensor Core加速，包括2D，3D，分組，深度可分離以及使用NHWC和NCHW輸入和輸出進行擴張

針對計算機視覺和語音模型的優(yōu)化內核，包括ResNet，ResNext，SSD，MaskRCNN，Unet，VNet，BERT，GPT-2，Tacotron2和WaveGlow

支持FP32，F(xiàn)P16和TF32浮點格式以及INT8和UINT8整數(shù)格式

4d張量的任意維排序，跨距和子區(qū)域意味著可以輕松集成到任何神經(jīng)網(wǎng)絡實現(xiàn)中

加速任何CNN架構上的融合操作

cuDNN在Windows和Linux上受數(shù)據(jù)中心和移動GPU中的Ampere，Turing，Volta，Pascal，Maxwell和Kepler GPU體系結構支持。

cuDNN是一個基于CUDA的深度學習GPU加速庫，通過它可以在GPU上完成深度學習的計算。它相當于一個工作的工具，例如，它是一把扳手。但CUDA這個工作臺，在買來的時候并沒有附帶扳手。要在CUDA上運行一個深度神經(jīng)網(wǎng)絡，你必須安裝cuDNN，就像你要擰一個螺母，就必須把扳手買回來。這將使GPU能夠在深度神經(jīng)網(wǎng)絡上工作，與CPU相比，工作速度要快得多。