อย่าทำให้มันซับซ้อนเกินไปและดำเนินการอย่างรวดเร็ว… นี่เป็นการเริ่มต้นง่ายๆ สำหรับ PyTorch :D
เวิร์กโฟลว์ ML เกี่ยวข้องกับ:
- ข้อมูล
- การสร้างแบบจำลอง
- การเพิ่มประสิทธิภาพพารามิเตอร์โมเดล
- บันทึกโมเดลที่ได้รับการฝึก
1. ข้อมูล
สอง พื้นฐานในการทำงานกับข้อมูล:
- torch.utils.data.DataLoader
- torch.utils.data.ชุดข้อมูล
import torch from torch import nn from torch.utils.data import DataLoader from torchvision import datasets from torchvision.transforms import ToTensor
ชุดข้อมูล TorchVision(ข้อมูลการมองเห็นในโลกแห่งความเป็นจริง เช่น CIFAR, COCO › FashionMNIST):
- torchvision.datasets (2 args:
transform
และtarget_transform
)
# Download training data from open datasets. training_data = datasets.FashionMNIST( root="data", train=True, download=True, transform=ToTensor(), ) # Download test data from open datasets. test_data = datasets.FashionMNIST( root="data", train=False, download=True, transform=ToTensor(), )
เราส่ง
Dataset
เป็นอาร์กิวเมนต์ไปที่DataLoader
ซึ่งจะรวมการวนซ้ำบนชุดข้อมูลของเรา และรองรับการรวมกลุ่มอัตโนมัติ การสุ่มตัวอย่าง การสับเปลี่ยน และการโหลดข้อมูลแบบหลายกระบวนการ
แต่ละองค์ประกอบใน Dataloader ที่ทำซ้ำได้จะส่งคืนชุดคุณลักษณะและป้ายกำกับ 64 รายการ:
batch_size = 64 # Create data loaders. train_dataloader = DataLoader(training_data, batch_size=batch_size) test_dataloader = DataLoader(test_data, batch_size=batch_size) for X, y in test_dataloader: print(f"Shape of X [N, C, H, W]: {X.shape}") print(f"Shape of y: {y.shape} {y.dtype}") break
<แข็งแกร่ง>2. การสร้างแบบจำลอง
เพื่อกำหนด NN เราสร้างคลาสที่สืบทอดมาจาก nn.Module
- __init__ : เลเยอร์ของ NN
- ส่งต่อ : ข้อมูลจะผ่าน NN ได้อย่างไร
เพื่อเร่งการดำเนินการในโครงข่ายประสาทเทียม เราจะย้ายเครือข่ายดังกล่าวไปที่ GPU หรือ MPS หากมี
# Get cpu, gpu or mps device for training. device = ( "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu" ) print(f"Using {device} device") # Define model class NeuralNetwork(nn.Module): def __init__(self): super().__init__() self.flatten = nn.Flatten() self.linear_relu_stack = nn.Sequential( nn.Linear(28*28, 512), nn.ReLU(), nn.Linear(512, 512), nn.ReLU(), nn.Linear(512, 10) ) def forward(self, x): x = self.flatten(x) logits = self.linear_relu_stack(x) return logits model = NeuralNetwork().to(device) print(model)
<แข็งแกร่ง>3. การเพิ่มประสิทธิภาพพารามิเตอร์โมเดล
เราจำเป็นต้องมีการฝึกโมเดล
loss_fn = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=1e-3)
ในลูปการฝึกอบรมเดียว
โมเดลทำการคาดการณ์บนชุดข้อมูลการฝึกอบรม (ป้อนเข้าเป็นชุด) และเผยแพร่ข้อผิดพลาดการคาดการณ์กลับเพื่อปรับพารามิเตอร์ของโมเดล
def train(dataloader, model, loss_fn, optimizer): size = len(dataloader.dataset) model.train() for batch, (X, y) in enumerate(dataloader): X, y = X.to(device), y.to(device) # Compute prediction error pred = model(X) loss = loss_fn(pred, y) # Backpropagation optimizer.zero_grad() loss.backward() optimizer.step() if batch % 100 == 0: loss, current = loss.item(), (batch + 1) * len(X) print(f"loss: {loss:>7f} [{current:>5d}/{size:>5d}]")
ประสิทธิภาพของโมเดลเทียบกับชุดข้อมูลทดสอบ:
def test(dataloader, model, loss_fn): size = len(dataloader.dataset) num_batches = len(dataloader) model.eval() test_loss, correct = 0, 0 with torch.no_grad(): for X, y in dataloader: X, y = X.to(device), y.to(device) pred = model(X) test_loss += loss_fn(pred, y).item() correct += (pred.argmax(1) == y).type(torch.float).sum().item() test_loss /= num_batches correct /= size print(f"Test Error: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \n")
กระบวนการฝึกอบรมดำเนินการซ้ำหลายครั้ง (ยุค) ในแต่ละยุค โมเดลจะเรียนรู้พารามิเตอร์เพื่อให้สามารถคาดการณ์ได้ดีขึ้น
เราพิมพ์ความแม่นยำและการสูญเสียของแบบจำลองในแต่ละยุค
epochs = 5 for t in range(epochs): print(f"Epoch {t+1}\n-------------------------------") train(train_dataloader, model, loss_fn, optimizer) test(test_dataloader, model, loss_fn) print("Done!")
<แข็งแกร่ง>4. บันทึกโมเดลที่ผ่านการฝึกอบรมแล้ว
การบันทึกโมเดล
torch.save(model.state_dict(), "model.pth") print("Saved PyTorch Model State to model.pth")
กำลังโหลดโมเดล
model = NeuralNetwork() model.load_state_dict(torch.load("model.pth"))
ขณะนี้โมเดลนี้สามารถใช้เพื่อคาดการณ์ได้
classes = [ "T-shirt/top", "Trouser", "Pullover", "Dress", "Coat", "Sandal", "Shirt", "Sneaker", "Bag", "Ankle boot", ] model.eval() x, y = test_data[0][0], test_data[0][1] with torch.no_grad(): pred = model(x) predicted, actual = classes[pred[0].argmax(0)], classes[y] print(f'Predicted: "{predicted}", Actual: "{actual}"')
แค่นั้นแหละ :)
ที่มา: pytorch.org