Давайте не будем слишком усложнять и пойдем быстро… Это простое начало для PyTorch :D
Рабочие процессы машинного обучения включают:
- данные
- создание моделей
- оптимизация параметров модели
- сохранение обученных моделей
1. Данные
два примитива для работы с данными:
- torch.utils.data.DataLoader
- torch.utils.data.Набор данных
import torch from torch import nn from torch.utils.data import DataLoader from torchvision import datasets from torchvision.transforms import ToTensor
Набор данных TorchVision (данные реального мира, такие как CIFAR, COCO › FashionMNIST):
- torchvision.datasets(2 аргумента:
transform
иtarget_transform
)
# Download training data from open datasets. training_data = datasets.FashionMNIST( root="data", train=True, download=True, transform=ToTensor(), ) # Download test data from open datasets. test_data = datasets.FashionMNIST( root="data", train=False, download=True, transform=ToTensor(), )
Мы передаем
Dataset
в качестве аргументаDataLoader
. Это оборачивает итерируемый объект в наш набор данных и поддерживает автоматическую пакетную обработку, выборку, перемешивание и многопроцессорную загрузку данных.
Каждый элемент в итерации загрузчика данных вернет пакет из 64 функций и меток:
batch_size = 64 # Create data loaders. train_dataloader = DataLoader(training_data, batch_size=batch_size) test_dataloader = DataLoader(test_data, batch_size=batch_size) for X, y in test_dataloader: print(f"Shape of X [N, C, H, W]: {X.shape}") print(f"Shape of y: {y.shape} {y.dtype}") break
2. Создание моделей
Для определения NN мы создаем класс, наследуемый от nn.Module.
- __init__ : слои NN
- вперед: как данные будут проходить через NN
Для ускорения работы в нейронной сети мы переносим ее на GPU или MPS, если они доступны.
# Get cpu, gpu or mps device for training. device = ( "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu" ) print(f"Using {device} device") # Define model class NeuralNetwork(nn.Module): def __init__(self): super().__init__() self.flatten = nn.Flatten() self.linear_relu_stack = nn.Sequential( nn.Linear(28*28, 512), nn.ReLU(), nn.Linear(512, 512), nn.ReLU(), nn.Linear(512, 10) ) def forward(self, x): x = self.flatten(x) logits = self.linear_relu_stack(x) return logits model = NeuralNetwork().to(device) print(model)
3. Оптимизация параметров модели
Для обучения модели нам понадобится
loss_fn = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=1e-3)
В едином тренировочном цикле;
модель делает прогнозы в наборе обучающих данных (подается в нее партиями) и распространяет ошибку прогноза обратно, чтобы настроить параметры модели.
def train(dataloader, model, loss_fn, optimizer): size = len(dataloader.dataset) model.train() for batch, (X, y) in enumerate(dataloader): X, y = X.to(device), y.to(device) # Compute prediction error pred = model(X) loss = loss_fn(pred, y) # Backpropagation optimizer.zero_grad() loss.backward() optimizer.step() if batch % 100 == 0: loss, current = loss.item(), (batch + 1) * len(X) print(f"loss: {loss:>7f} [{current:>5d}/{size:>5d}]")
производительность модели по сравнению с тестовым набором данных:
def test(dataloader, model, loss_fn): size = len(dataloader.dataset) num_batches = len(dataloader) model.eval() test_loss, correct = 0, 0 with torch.no_grad(): for X, y in dataloader: X, y = X.to(device), y.to(device) pred = model(X) test_loss += loss_fn(pred, y).item() correct += (pred.argmax(1) == y).type(torch.float).sum().item() test_loss /= num_batches correct /= size print(f"Test Error: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \n")
Процесс обучения проводится в несколько итераций (эпох). В течение каждой эпохи модель изучает параметры, чтобы делать более точные прогнозы.
Мы печатаем точность и потери модели в каждую эпоху;
epochs = 5 for t in range(epochs): print(f"Epoch {t+1}\n-------------------------------") train(train_dataloader, model, loss_fn, optimizer) test(test_dataloader, model, loss_fn) print("Done!")
4. сохранение обученных моделей
Сохранение моделей
torch.save(model.state_dict(), "model.pth") print("Saved PyTorch Model State to model.pth")
Загрузка моделей
model = NeuralNetwork() model.load_state_dict(torch.load("model.pth"))
Теперь эту модель можно использовать для прогнозирования.
classes = [ "T-shirt/top", "Trouser", "Pullover", "Dress", "Coat", "Sandal", "Shirt", "Sneaker", "Bag", "Ankle boot", ] model.eval() x, y = test_data[0][0], test_data[0][1] with torch.no_grad(): pred = model(x) predicted, actual = classes[pred[0].argmax(0)], classes[y] print(f'Predicted: "{predicted}", Actual: "{actual}"')
Вот и все :)
Источник: pytorch.org