持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第21天,github.com/znxlwm/pyto…
git clone https://github.com/MLWhiz/data_science_blogs
cd data_science_blogs/amp/pytorch-apex-experiment/
python run_benchmark.py
python make_plot.py --GPU 'RTX' --method 'FP32' 'FP16' 'amp' --batch 128 256 512 1024 2048
这会在home目录中生成下面的图:
在这里,我使用不同的精度和批大小设置训练了同一个模型的多个实例。我们可以看到,从FP32到amp,内存需求减少,而精度保持大致相同。时间也会减少,但不会减少那么多。这可能是由于数据集或模型太简单。
根据NVIDIA给出的基准测试,AMP比标准的FP32快3倍左右,如下图所示。
在单精度和自动混合精度两种精度下,加速比为固定周期训练的时间比。
英文原文:towardsdatascience.com/faster-and-…