AlexNet是一种深度卷积神经网络，由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton于2012年提出。它是在ImageNet Large Scale Visual Recognition Challenge竞赛中取得突破性成果的模型，标志着深度学习在计算机视觉领域的崭露头角。
以下是AlexNet的一些主要特点和贡献：
-
深度架构：AlexNet是第一个引入多个卷积层和池化层的深度神经网络，共有8层变换层（5个卷积层和3个全连接层）。
-
ReLU激活函数：AlexNet采用了修正线性单元（Rectified Linear Unit，ReLU）作为激活函数，这对于训练深层神经网络具有重要意义，因为它能够有效地缓解梯度消失问题。
-
局部响应归一化（Local Response Normalization）：AlexNet引入了一种局部响应归一化层，目的是增强神经元的抑制效果，提高模型的泛化能力。
-
Dropout：为了减轻过拟合问题，AlexNet在全连接层引入了Dropout技术，即在训练过程中随机丢弃一些神经元，以促使网络更具鲁棒性。
-
数据增强：AlexNet在训练阶段采用了数据增强策略，如随机裁剪、水平翻转等。
-
并行计算：AlexNet在训练时利用了两块GPU进行并行计算，这在当时是一种创新，有助于加快训练速度。
-
在ImageNet竞赛中的成绩：AlexNet在2012年的ILSVRC竞赛中取得了惊人的成绩，将前一年获胜模型的错误率从25%降低到了约16%。
AlexNet的成功标志着深度学习在计算机视觉领域的复兴，其架构和训练技巧为后续更深层次的神经网络提供了基础和启发，也为深度学习的广泛应用奠定了基础。
本次训练采用炼丹侠平台A100服务器，对比了GPU版本的训练代码和CPU版本的训练代码，成功复现了AlexNet训练MNIST数据集，AlexNet训练完整代码如下：
GPU版本：
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms
from torchvision.datasets import MNIST
from torch.utils.data import DataLoader
# 定义简化版的AlexNet模型
class AlexNet(nn.Module):
def __init__(self, num_classes=10):
super(AlexNet, self).__init__()
self.features = nn.Sequential(
nn.Conv2d(1, 64, kernel_size=11, stride=4, padding=2),
nn.ReLU(inplace=True),
nn.MaxPool2d(kernel_size=3, stride=2),
nn.Conv2d(64, 192, kernel_size=5, padding=2),
nn.ReLU(inplace=True),
nn.MaxPool2d(kernel_size=3, stride=2),
)
self.classifier = nn.Sequential(
nn.Linear(192 * 5 * 5, 256),
nn.ReLU(inplace=True),
nn.Dropout(),
nn.Linear(256, 128),
nn.ReLU(inplace=True),
nn.Dropout(),
nn.Linear(128, num_classes),
)
def forward(self, x):
x = self.features(x)
x = torch.flatten(x, 1)
x = self.classifier(x)
return x
# 数据预处理和加载器
transform = transforms.Compose([
transforms.Resize((224, 224)),
transforms.ToTensor(),
])
train_dataset = MNIST(root='./data', train=True, transform=transform, download=True)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
# 初始化模型、损失函数和优化器，并将它们移动到GPU上
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = AlexNet(num_classes=10).to(device)
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
# 训练模型
num_epochs = 10
for epoch in range(num_epochs):
running_loss = 0.0
for inputs, labels in train_loader:
inputs, labels = inputs.to(device), labels.to(device)
optimizer.zero_grad()
outputs = model(inputs)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()
running_loss += loss.item()
print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {running_loss / len(train_loader):.4f}')
print('Finished Training')
CPU版本：
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms
from torchvision.datasets import MNIST
from torch.utils.data import DataLoader
# 定义简化版的AlexNet模型
class AlexNet(nn.Module):
def __init__(self, num_classes=10):
super(AlexNet, self).__init__()
self.features = nn.Sequential(
nn.Conv2d(1, 64, kernel_size=11, stride=4, padding=2),
nn.ReLU(inplace=True),
nn.MaxPool2d(kernel_size=3, stride=2),
nn.Conv2d(64, 192, kernel_size=5, padding=2),
nn.ReLU(inplace=True),
nn.MaxPool2d(kernel_size=3, stride=2),
)
self.classifier = nn.Sequential(
nn.Linear(192 * 5 * 5, 256),
nn.ReLU(inplace=True),
nn.Dropout(),
nn.Linear(256, 128),
nn.ReLU(inplace=True),
nn.Dropout(),
nn.Linear(128, num_classes),
)
def forward(self, x):
x = self.features(x)
x = torch.flatten(x, 1)
x = self.classifier(x)
return x
# 定义数据预处理和加载器
transform = transforms.Compose([
transforms.Resize((224, 224)),
transforms.ToTensor(),
])
train_dataset = MNIST(root='./data', train=True, transform=transform, download=True)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
# 初始化模型、损失函数和优化器
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = AlexNet(num_classes=10).to(device)
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
# 训练模型
num_epochs = 10
for epoch in range(num_epochs):
running_loss = 0.0
for inputs, labels in train_loader:
inputs, labels = inputs.to(device), labels.to(device)
optimizer.zero_grad()
outputs = model(inputs)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()
running_loss += loss.item()
print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {running_loss / len(train_loader):.4f}')
print('Finished Training')
训练过程如下：
(www.bilibili.com/video/BV1Rp…)
总结：
在本次实验中，尝试了在不同硬件条件下同时训练AlexNet网络，分别使用了GPU和CPU。具体而言，使用了一台装备有A100 GPU的服务器，以及一台配备了一般性能的CPU的云服务器。
- GPU版本：
在A100服务器上，将AlexNet网络配置在GPU上进行训练。由于A100是一款高性能的GPU，具有大量的CUDA核心和高速显存，它能够高效地进行深度神经网络的训练。这使得模型在训练过程中能够迅速地处理大量计算任务，从而缩短了训练时间。同时，A100的并行计算能力和优化算法使得模型收敛更快，加速了训练的整个过程。因此，GPU版本的AlexNet在性能和速度方面表现出色。
- CPU版本：
在一般性能的CPU上，同样进行了AlexNet网络的训练。然而，由于CPU在处理并行计算时相对较弱，以及缺乏GPU的高速显存，模型训练的速度相对较慢。尤其是对于深度神经网络，CPU的训练时间会明显延长。虽然CPU版本的训练过程可能更加适合小规模的数据集和模型，但在大规模的图像分类任务中，它可能表现不佳。
GPU版本在性能和速度方面具备明显优势，而CPU版本在大规模任务中可能受限于计算能力和训练时间。
