本文代碼基于PyTorch 1.0版本,，需要用到以下包

1 基礎(chǔ)配置

1-1 檢查PyTorch版本

torch.__version__               # PyTorch versiontorch.version.cuda              # Corresponding CUDA versiontorch.backends.cudnn.version()  # Corresponding cuDNN versiontorch.cuda.get_device_name(0)   # GPU type
1
2
3
4

1-2 更新PyTorch

PyTorch將被安裝在anaconda3/lib/python3.7/site-packages/torch/目錄下,。

1-3 固定隨機(jī)種子

torch.manual_seed(0)torch.cuda.manual_seed_all(0)
1
2

1-4 指定程序運(yùn)行在特定GPU卡上

在命令行指定環(huán)境變量

或在代碼中指定

os.environ['CUDA_VISIBLE_DEVICES'] = '0,1'
1

1-5 判斷是否有CUDA支持

1-6 設(shè)置為cuDNN benchmark模式

Benchmark模式會(huì)提升計(jì)算速度，但是由于計(jì)算中有隨機(jī)性,，每次網(wǎng)絡(luò)前饋結(jié)果略有差異,。

torch.backends.cudnn.benchmark = True
1

如果想要避免這種結(jié)果波動(dòng),，設(shè)置

1-7 清除GPU存儲(chǔ)

有時(shí)Control-C中止運(yùn)行后GPU存儲(chǔ)沒有及時(shí)釋放，需要手動(dòng)清空,。在PyTorch內(nèi)部可以

torch.cuda.empty_cache()
1

或在命令行可以先使用ps找到程序的PID,，再使用kill結(jié)束該進(jìn)程

或者直接重置沒有被清空的GPU

nvidia-smi --gpu-reset -i [gpu_id]
1

2 張量處理

2-1 張量基本信息

2-2 數(shù)據(jù)類型轉(zhuǎn)換

Set default tensor type. Float in PyTorch is much faster than double.

torch.set_default_tensor_type(torch.FloatTensor)
1

Type convertions.

2-3 torch.Tensor與np.ndarray轉(zhuǎn)換

torch.Tensor -> np.ndarray.

ndarray = tensor.cpu().numpy()
1

np.ndarray -> torch.Tensor.

2-4 torch.Tensor與PIL.Image轉(zhuǎn)換

PyTorch中的張量默認(rèn)采用N×D×H×W的順序，并且數(shù)據(jù)范圍在[0, 1],，需要進(jìn)行轉(zhuǎn)置和規(guī)范化,。

torch.Tensor -> PIL.Image.

image = PIL.Image.fromarray(torch.clamp(tensor * 255, min=0, max=255).byte().permute(1, 2, 0).cpu().numpy())image = torchvision.transforms.functional.to_pil_image(tensor)  # Equivalently way
1
2

PIL.Image -> torch.Tensor.

2-5 np.ndarray與PIL.Image轉(zhuǎn)換

np.ndarray -> PIL.Image.

image = PIL.Image.fromarray(ndarray.astypde(np.uint8))
1

PIL.Image -> np.ndarray.

2-6 從只包含一個(gè)元素的張量中提取值

這在訓(xùn)練時(shí)統(tǒng)計(jì)loss的變化過程中特別有用。否則這將累積計(jì)算圖,，使GPU存儲(chǔ)占用量越來越大,。

value = tensor.item()
1

2-7 張量形變

張量形變常常需要用于將卷積層特征輸入全連接層的情形。相比torch.view,，torch.reshape可以自動(dòng)處理輸入張量不連續(xù)的情況,。

2-8 打亂順序

tensor = tensor[torch.randperm(tensor.size(0))]  # Shuffle the first dimension
1

2-9 水平翻轉(zhuǎn)

PyTorch不支持tensor[::-1]這樣的負(fù)步長操作，水平翻轉(zhuǎn)可以用張量索引實(shí)現(xiàn),。
Assume tensor has shape N*D*H*W.

2-10 復(fù)制張量

有三種復(fù)制的方式,，對(duì)應(yīng)不同的需求。

2-11 拼接張量

注意torch.cat和torch.stack的區(qū)別在于torch.cat沿著給定的維度拼接,，而torch.stack會(huì)新增一維,。例如當(dāng)參數(shù)是3個(gè)10×5的張量，torch.cat的結(jié)果是30×5的張量,，而torch.stack的結(jié)果是3×10×5的張量,。

tensor = torch.cat(list_of_tensors, dim=0)tensor = torch.stack(list_of_tensors, dim=0)
1
2

2-12 將整數(shù)標(biāo)記轉(zhuǎn)換成獨(dú)熱（one-hot）編碼

PyTorch中的標(biāo)記默認(rèn)從0開始。

2-13 得到非零/零元素

torch.nonzero(tensor)               # Index of non-zero elementstorch.nonzero(tensor == 0)          # Index of zero elementstorch.nonzero(tensor).size(0)       # Number of non-zero elementstorch.nonzero(tensor == 0).size(0)  # Number of zero elements
1
2
3
4

2-14 張量擴(kuò)展

Expand tensor of shape 64*512 to shape 64*512*7*7.

2-15 矩陣乘法

Matrix multiplication: (m*n) * (n*p) -> (m*p).

result = torch.mm(tensor1, tensor2)
1

Batch matrix multiplication: (b*m*n) * (b*n*p) -> (b*m*p).

Element-wise multiplication.

result = tensor1 * tensor2
1

2-16 計(jì)算兩組數(shù)據(jù)之間的兩兩歐式距離

X1 is of shape m*d.

X2 is of shape n*d.

X2 = torch.unsqueeze(X2, dim=0).expand(m, n, d)
1

dist is of shape m*n, where dist[i][j] = sqrt(|X1[i, :] - X[j, :]|^2)

3 模型定義

3-1 卷積層

最常用的卷積層配置是

conv = torch.nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=True)conv = torch.nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=1, padding=0, bias=True)
1
2

如果卷積層配置比較復(fù)雜,，不方便計(jì)算輸出大小時(shí),，可以利用如下可視化工具輔助
鏈接：https://ezyang./convolution-visualizer/index.html

3-2 GAP（Global average pooling）層

3-3 雙線性匯合（bilinear pooling）

X = torch.reshape(N, D, H * W)                        # Assume X has shape N*D*H*WX = torch.bmm(X, torch.transpose(X, 1, 2)) / (H * W)  # Bilinear poolingassert X.size() == (N, D, D)X = torch.reshape(X, (N, D * D))X = torch.sign(X) * torch.sqrt(torch.abs(X) + 1e-5)   # Signed-sqrt normalizationX = torch.nn.functional.normalize(X)                  # L2 normalization
1
2
3
4
5
6

3-4 多卡同步BN（Batch normalization）

當(dāng)使用torch.nn.DataParallel將代碼運(yùn)行在多張GPU卡上時(shí)，PyTorch的BN層默認(rèn)操作是各卡上數(shù)據(jù)獨(dú)立地計(jì)算均值和標(biāo)準(zhǔn)差,，同步BN使用所有卡上的數(shù)據(jù)一起計(jì)算BN層的均值和標(biāo)準(zhǔn)差,，緩解了當(dāng)批量大?。╞atch size）比較小時(shí)對(duì)均值和標(biāo)準(zhǔn)差估計(jì)不準(zhǔn)的情況，是在目標(biāo)檢測(cè)等任務(wù)中一個(gè)有效的提升性能的技巧,。

鏈接：https://github.com/vacancy/Synchronized-BatchNorm-PyTorch

3-5 類似BN滑動(dòng)平均

如果要實(shí)現(xiàn)類似BN滑動(dòng)平均的操作,，在forward函數(shù)中要使用原地（inplace）操作給滑動(dòng)平均賦值。

3-6 計(jì)算模型整體參數(shù)量

num_parameters = sum(torch.numel(parameter) for parameter in model.parameters())
1

類似Keras的model.summary()輸出模型信息
鏈接：https://github.com/sksq96/pytorch-summary

3-7 模型權(quán)值初始化

注意model.modules()和model.children()的區(qū)別：model.modules()會(huì)迭代地遍歷模型的所有子層,，而model.children()只會(huì)遍歷模型下的一層,。

3-8 部分層使用預(yù)訓(xùn)練模型

注意如果保存的模型是torch.nn.DataParallel，則當(dāng)前的模型也需要是torch.nn.DataParallel,。torch.nn.DataParallel(model).module == model。

model.load_state_dict(torch.load('model,pth'), strict=False)
1

3-9 將在GPU保存的模型加載到CPU

4 數(shù)據(jù)準(zhǔn)備,、特征提取與微調(diào)

4-1 得到視頻數(shù)據(jù)基本信息

import cv2video = cv2.VideoCapture(mp4_path)height = int(video.get(cv2.CAP_PROP_FRAME_HEIGHT))width = int(video.get(cv2.CAP_PROP_FRAME_WIDTH))num_frames = int(video.get(cv2.CAP_PROP_FRAME_COUNT))fps = int(video.get(cv2.CAP_PROP_FPS))video.release()
1
2
3
4
5
6
7

4-2 TSN每段（segment）采樣一幀視頻

4-3 提取ImageNet預(yù)訓(xùn)練模型某層的卷積特征

VGG-16 relu5-3 feature.

model = torchvision.models.vgg16(pretrained=True).features[:-1]
1

VGG-16 pool5 feature.

VGG-16 fc7 feature.

model = torchvision.models.vgg16(pretrained=True)model.classifier = torch.nn.Sequential(*list(model.classifier.children())[:-3])
1
2

ResNet GAP feature.

4-4 提取ImageNet預(yù)訓(xùn)練模型多層的卷積特征

class FeatureExtractor(torch.nn.Module):    '''Helper class to extract several convolution features from the given    pre-trained model.    Attributes:        _model, torch.nn.Module.        _layers_to_extract, list<str> or set<str>    Example:        >>> model = torchvision.models.resnet152(pretrained=True)        >>> model = torch.nn.Sequential(collections.OrderedDict(                list(model.named_children())[:-1]))        >>> conv_representation = FeatureExtractor(                pretrained_model=model,                layers_to_extract={'layer1', 'layer2', 'layer3', 'layer4'})(image)    '''    def __init__(self, pretrained_model, layers_to_extract):        torch.nn.Module.__init__(self)        self._model = pretrained_model        self._model.eval()        self._layers_to_extract = set(layers_to_extract)        def forward(self, x):        with torch.no_grad():            conv_representation = []            for name, layer in self._model.named_children():                x = layer(x)                if name in self._layers_to_extract:                    conv_representation.append(x)            return conv_representation
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

4-5 其他預(yù)訓(xùn)練模型

鏈接：https://github.com/Cadene/pretrained-models.pytorch

4-6 微調(diào)全連接層

4-7 以較大學(xué)習(xí)率微調(diào)全連接層,，較小學(xué)習(xí)率微調(diào)卷積層

model = torchvision.models.resnet18(pretrained=True)finetuned_parameters = list(map(id, model.fc.parameters()))conv_parameters = (p for p in model.parameters() if id(p) not in finetuned_parameters)parameters = [{'params': conv_parameters, 'lr': 1e-3},               {'params': model.fc.parameters()}]optimizer = torch.optim.SGD(parameters, lr=1e-2, momentum=0.9, weight_decay=1e-4)
1
2
3
4
5
6

5 模型訓(xùn)練

5-1 常用訓(xùn)練和驗(yàn)證數(shù)據(jù)預(yù)處理

其中ToTensor操作會(huì)將PIL.Image或形狀為H×W×D，數(shù)值范圍為[0, 255]的np.ndarray轉(zhuǎn)換為形狀為D×H×W,，數(shù)值范圍為[0.0, 1.0]的torch.Tensor,。

5-2 訓(xùn)練基本代碼框架

for t in epoch(80):    for images, labels in tqdm.tqdm(train_loader, desc='Epoch %3d' % (t + 1)):        images, labels = images.cuda(), labels.cuda()        scores = model(images)        loss = loss_function(scores, labels)        optimizer.zero_grad()        loss.backward()        optimizer.step()
1
2
3
4
5
6
7
8

5-3 標(biāo)記平滑（label smoothing）

5-4 Mixup

beta_distribution = torch.distributions.beta.Beta(alpha, alpha)for images, labels in train_loader:    images, labels = images.cuda(), labels.cuda()    # Mixup images.    lambda_ = beta_distribution.sample([]).item()    index = torch.randperm(images.size(0)).cuda()    mixed_images = lambda_ * images + (1 - lambda_) * images[index, :]    # Mixup loss.        scores = model(mixed_images)    loss = (lambda_ * loss_function(scores, labels)             + (1 - lambda_) * loss_function(scores, labels[index]))    optimizer.zero_grad()    loss.backward()    optimizer.step()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

5-5 L1正則化

5-6 不對(duì)偏置項(xiàng)進(jìn)行L2正則化/權(quán)值衰減（weight decay）

bias_list = (param for name, param in model.named_parameters() if name[-4:] == 'bias')others_list = (param for name, param in model.named_parameters() if name[-4:] != 'bias')parameters = [{'parameters': bias_list, 'weight_decay': 0},                              {'parameters': others_list}]optimizer = torch.optim.SGD(parameters, lr=1e-2, momentum=0.9, weight_decay=1e-4)
1
2
3
4
5

5-7 梯度裁剪（gradient clipping）

5-8 計(jì)算Softmax輸出的準(zhǔn)確率

score = model(images)prediction = torch.argmax(score, dim=1)num_correct = torch.sum(prediction == labels).item()accuruacy = num_correct / labels.size(0)
1
2
3
4

5-9 可視化模型前饋的計(jì)算圖

鏈接：https://github.com/szagoruyko/pytorchviz

5-10 可視化學(xué)習(xí)曲線

有 Facebook 自己開發(fā)的 Visdom 和 Tensorboard 兩個(gè)選擇。
https://github.com/facebookresearch/visdom
https://github.com/lanpa/tensorboardX

5-11 得到當(dāng)前學(xué)習(xí)率

If there is one global learning rate (which is the common case).

lr = next(iter(optimizer.param_groups))['lr']
1

If there are multiple learning rates for different layers.

5-12 學(xué)習(xí)率衰減

Reduce learning rate when validation accuarcy plateau.

scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='max', patience=5, verbose=True)for t in range(0, 80):    train(...); val(...)    scheduler.step(val_acc)
1
2
3
4

Cosine annealing learning rate.

Reduce learning rate by 10 at given epochs.

scheduler = torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones=[50, 70], gamma=0.1)for t in range(0, 80):    scheduler.step()        train(...); val(...)
1
2
3
4

Learning rate warmup by 10 epochs.

5-13 保存與加載斷點(diǎn)

注意為了能夠恢復(fù)訓(xùn)練,，我們需要同時(shí)保存模型和優(yōu)化器的狀態(tài),，以及當(dāng)前的訓(xùn)練輪數(shù)。
Save checkpoint.

is_best = current_acc > best_accbest_acc = max(best_acc, current_acc)checkpoint = {    'best_acc': best_acc,        'epoch': t + 1,    'model': model.state_dict(),    'optimizer': optimizer.state_dict(),}model_path = os.path.join('model', 'checkpoint.pth.tar')torch.save(checkpoint, model_path)if is_best:    shutil.copy('checkpoint.pth.tar', model_path)
1
2
3
4
5
6
7
8
9
10
11
12

Load checkpoint.

5-14 計(jì)算準(zhǔn)確率,、查準(zhǔn)率（precision）,、查全率（recall）

# data['label'] and data['prediction'] are groundtruth label and prediction # for each image, respectively.accuracy = np.mean(data['label'] == data['prediction']) * 100# Compute recision and recall for each class.for c in range(len(num_classes)):    tp = np.dot((data['label'] == c).astype(int),                (data['prediction'] == c).astype(int))    tp_fp = np.sum(data['prediction'] == c)    tp_fn = np.sum(data['label'] == c)    precision = tp / tp_fp * 100    recall = tp / tp_fn * 100
1
2
3
4
5
6
7
8
9
10
11
12

6 PyTorch其他注意事項(xiàng)

6-1 模型定義

• 建議有參數(shù)的層和匯合（pooling）層使用torch.nn模塊定義，激活函數(shù)直接使用torch.nn.functional,。torch.nn模塊和torch.nn.functional的區(qū)別在于,，torch.nn模塊在計(jì)算時(shí)底層調(diào)用了torch.nn.functional，但torch.nn模塊包括該層參數(shù),，還可以應(yīng)對(duì)訓(xùn)練和測(cè)試兩種網(wǎng)絡(luò)狀態(tài),。使用torch.nn.functional時(shí)要注意網(wǎng)絡(luò)狀態(tài)，如
  def forward(self, x):
  …
  x = torch.nn.functional.dropout(x, p=0.5, training=self.training)
• model(x)前用model.train()和model.eval()切換網(wǎng)絡(luò)狀態(tài),。
• 不需要計(jì)算梯度的代碼塊用with torch.no_grad()包含起來,。model.eval()和torch.no_grad()的區(qū)別在于，model.eval()是將網(wǎng)絡(luò)切換為測(cè)試狀態(tài),，例如BN和隨機(jī)失活（dropout）在訓(xùn)練和測(cè)試階段使用不同的計(jì)算方法,。torch.no_grad()是關(guān)閉PyTorch張量的自動(dòng)求導(dǎo)機(jī)制，以減少存儲(chǔ)使用和加速計(jì)算,，得到的結(jié)果無法進(jìn)行l(wèi)oss.backward(),。
• torch.nn.CrossEntropyLoss的輸入不需要經(jīng)過Softmax。torch.nn.CrossEntropyLoss等價(jià)于torch.nn.functional.log_softmax + torch.nn.NLLLoss,。
• loss.backward()前用optimizer.zero_grad()清除累積梯度,。optimizer.zero_grad()和model.zero_grad()效果一樣,。

6-2 PyTorch性能與調(diào)試

• torch.utils.data.DataLoader中盡量設(shè)置pin_memory=True，對(duì)特別小的數(shù)據(jù)集如MNIST設(shè)置pin_memory=False反而更快一些,。num_workers的設(shè)置需要在實(shí)驗(yàn)中找到最快的取值,。

• 用del及時(shí)刪除不用的中間變量，節(jié)約GPU存儲(chǔ),。

• 使用inplace操作可節(jié)約GPU存儲(chǔ),，如

  x = torch.nn.functional.relu(x, inplace=True)

• 減少CPU和GPU之間的數(shù)據(jù)傳輸。例如如果你想知道一個(gè)epoch中每個(gè)mini-batch的loss和準(zhǔn)確率,，先將它們累積在GPU中等一個(gè)epoch結(jié)束之后一起傳輸回CPU會(huì)比每個(gè)mini-batch都進(jìn)行一次GPU到CPU的傳輸更快,。

• 使用半精度浮點(diǎn)數(shù)half()會(huì)有一定的速度提升，具體效率依賴于GPU型號(hào),。需要小心數(shù)值精度過低帶來的穩(wěn)定性問題,。

• 時(shí)常使用assert tensor.size() == (N, D, H, W)作為調(diào)試手段，確保張量維度和你設(shè)想中一致,。

• 除了標(biāo)記y外,，盡量少使用一維張量，使用n*1的二維張量代替,，可以避免一些意想不到的一維張量計(jì)算結(jié)果,。

• 統(tǒng)計(jì)代碼各部分耗時(shí)

  with torch.autograd.profiler.profile(enabled=True, use_cuda=False) as profile:
  …
  print(profile)

或者在命令行運(yùn)行

本文轉(zhuǎn)載自：PyTorch Cookbook（常用代碼段整理合集）https://zhuanlan.zhihu.com/p/59205847