使用PyTorch实现声音分类任务及数据集准备

声音分类是指将声音信号分为不同的类别，例如音乐、语音、环境噪声或动物鸣叫等。在实际应用中，声音分类可以帮助我们识别环境噪声、区分不同的语音信号、诊断听力障碍等。本文将介绍如何使用 PyTorch 实现声音分类任务。

准备数据集

首先需要准备一个声音数据集，并将其划分为训练集、验证集和测试集。在这个例子中，我们将使用 UrbanSound8K 数据集，该数据集包含 10 个音频类别（空气条件器、汽车喇叭、儿童游戏、狗吠声、引擎声、枪声、钢琴曲、自行车铃声、街道音景和人声）。每个声音文件具有 4 秒的持续时间，并以 WAV 文件格式存储。

下载 UrbanSound8K 数据集并解压缩后，可以看到以下目录结构：

UrbanSound8K/
├── metadata
│   ├── UrbanSound8K.csv
└── audio
    ├── fold1
    ├── fold2
    ├── ...
    └── fold10

其中 UrbanSound8K.csv 文件包含了每个音频文件的元数据信息，如文件名、标签、采样率等。每个音频文件保存在相应的 fold 文件夹中。我们可以使用 Pandas 库来读取 UrbanSound8K.csv 文件并将其转换为 DataFrame 对象：

import pandas as pd

# 读取 metedata/UrbanSound8K.csv 文件
metadata = pd.read_csv('UrbanSound8K/metadata/UrbanSound8K.csv')

# 查看前几行数据
print(metadata.head())

输出结果如下：

       slice_file_name    fsID      start        end  salience  fold  classID             class
0    100032-3-0-0.wav  100032   0.000000   4.000000         1     5        3          dog_bark
1  100263-2-0-117.wav  100263  58.500000  62.500000         2     5        2  children_playing
2  100263-2-0-121.wav  100263  60.500000  64.500000         2     5        2  children_playing
3  100263-2-0-126.wav  100263  63.000000  67.000000         2     5        2  children_playing
4  100263-2-0-137.wav  100263  68.500000  72.500000         2     5        2  children_playing

其中 slice_file_name 表示音频文件名，classID 表示标签，fold 表示该样本所属的数据集（1-8 表示训练集，9 表示验证集，10 表示测试集）。

接下来，我们可以使用 librosa 库来加载音频文件并将其转换为 Mel-Spectrogram 图像。Mel-Spectrogram 是一种基于梅尔频率刻度的声谱图表示形式，它将音频信号分解为在时间和频率上同时变化的小短时滑动窗口。这里我们定义了一个函数 load_audio_file 来完成读取音频文件和转换为 Mel-Spectrogram 图像的过程：

import librosa
import numpy as np

# 定义参数
n_mels = 128
frame_length = 2048
hop_length = 512

def load_audio_file(file_path):
    # 读取音频文件
    signal, sr = librosa.load(file_path, sr=None)

    # 转换为 Mel-Spectrogram 图像
    mel_spectrogram = librosa.feature.melspectrogram(signal, sr=sr, n_fft=frame_length, hop_length=hop_length, n_mels=n_mels)
    log_mel_spectrogram = librosa.amplitude_to_db(mel_spectrogram, ref=np.max)
    image = np.expand_dims(log_mel_spectrogram, axis=-1)
    return image

加载和预处理数据

接下来，我们需要使用 PyTorch 的 DataLoader 加载数据，并在加载时完成数据预处理工作，例如将声音文件转换为 Mel-Spectrogram 图像以便于神经网络处理。我们还需要定义数据增强操作来扩充训练集。

首先，我们需要创建一个自定义的 PyTorch 数据集。在这个例子中，我们将创建一个 UrbanSoundDataset 类来加载 UrbanSound8K 数据集，并将每个音频文件转换为 Mel-Spectrogram 图像：

import torch
from torch.utils.data import Dataset

class UrbanSoundDataset(Dataset):
    def __init__(self, metadata, root_path):
        self.metadata = metadata
        self.root_path = root_path
    
    def __len__(self):
        return len(self.metadata)
    
    def __getitem__(self, idx):
        # 获取文件路径和标签
        file_path = self.root_path + '/fold' + str(self.metadata.iloc[idx]['fold']) + '/' + self.metadata.iloc[idx]['slice_file_name']
        label = self.metadata.iloc[idx]['classID']

        # 加载音频文件并转换为 Mel-Spectrogram 图像
        image = load_audio_file(file_path)

        # 将图像和标签转换为 Tensor，并返回
        image = torch.from_numpy(image).float()
        label = torch.tensor(label).long()
        return image, label

接下来，我们需要定义数据增强操作。在训练过程中，可以使用随机裁剪、随机水平翻转等方法来扩充训练集并提高模型的泛化能力。以下是一个简单的数据增强函数
这并不是一个具体的问题，而是一个代码段。以下是一个简单的PyTorch数据增强函数的示例代码：

import torch.nn.functional as F

def data_augmentation(images):
    # 随机裁剪
    images = F.pad(images, (4, 4, 4, 4), mode='reflect')
    images = F.random_crop(images, size=(32, 32))

    # 随机水平翻转
    if torch.rand(1) > 0.5:
        images = torch.flip(images, dims=[3])

    return images

这个函数包括随机裁剪和随机水平翻转两种数据增强方法。它接受一批图像作为输入，并返回经过数据增强后的图像批量。