Сверточные нейросети. Джейд Картер

и предобработка

      transform = transforms.Compose([

      transforms.ToTensor(),

      transforms.Normalize((0.5,), (0.5,))

      ])

      train_set = datasets.MNIST(root='./data', train=True, download=True, transform=transform)

      train_loader = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)

      # Определение архитектуры нейронной сети с ReLU в скрытых слоях

      class SimpleNN(nn.Module):

      def __init__(self):

      super(SimpleNN, self).__init__()

      self.fc1 = nn.Linear(28*28, 128)

      self.fc2 = nn.Linear(128, 64)

      self.fc3 = nn.Linear(64, 10)

      self.relu = nn.ReLU()

      def forward(self, x):

      x = torch.flatten(x, 1)

      x = self.relu(self.fc1(x))

      x = self.relu(self.fc2(x))

      x = self.fc3(x)

      return x

      # Создание экземпляра модели

      model = SimpleNN()

      # Обучение модели и применение ReLU в скрытых слоях

      ```

      В этом примере мы создаем нейронную сеть с тремя полносвязными слоями. После каждого полносвязного слоя мы применяем ReLU в качестве функции активации, чтобы добавить нелинейность и ускорить обучение модели. В итоге, мы используем ReLU для предотвращения затухания градиента и улучшения производительности нашей нейронной сети.

      2. Sigmoid: Sigmoid-функция сжимает выходные значения в диапазон от 0 до 1, что делает её полезной для задач бинарной классификации, где нужно получить вероятность принадлежности к одному из двух классов. Однако у неё есть проблема затухания градиента, особенно при глубоких сетях.

      Пример использования Sigmoid в нейронной сети для задачи бинарной классификации может быть следующим:

      Допустим, у нас есть набор данных, содержащий изображения лиц, и мы хотим определить, принадлежит ли каждое лицо к классу "улыбающееся" или "неулыбающееся". В этом случае мы можем использовать нейронную сеть с одним выходным нейроном и функцией активации Sigmoid для предсказания вероятности улыбки.

      ```python

      import torch

      import torch.nn as nn

      import torchvision.transforms as transforms

      import torchvision.datasets as datasets

      # Загрузка и предобработка данных

      transform = transforms.Compose([

      transforms.Resize((32, 32)),

      transforms.ToTensor(),

      transforms.Normalize((0.5,), (0.5,))

      ])

      train_set = datasets.ImageFolder(root='./data/train', transform=transform)

      train_loader = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)

      # Определение архитектуры нейронной сети с Sigmoid в выходном слое

      class SimpleNN(nn.Module):

      def __init__(self):

      super(SimpleNN, self).__init__()

      self.fc1 = nn.Linear(32*32*3, 128)

      self.fc2 = nn.Linear(128, 64)

      self.fc3 = nn.Linear(64, 1)

      self.sigmoid = nn.Sigmoid()

      def forward(self, x):

      x = torch.flatten(x, 1)

      x = torch.relu(self.fc1(x))

      x = torch.relu(self.fc2(x))

      x = self.fc3(x)

      x = self.sigmoid(x)

      return x

      # Создание экземпляра модели

      model = SimpleNN()

      # Обучение модели и применение Sigmoid в выходном слое

      ```

      В этом примере мы создаем нейронную сеть с тремя полносвязными слоями. После двух скрытых слоев мы применяем ReLU в качестве функции активации, а в выходном слое – Sigmoid. Это позволяет нам получить вероятность того, что каждое изображение принадлежит классу "улыбающееся" (значение близкое к 1) или "неулыбающееся" (значение близкое к 0). Однако важно помнить о проблеме затухания градиента при использовании Sigmoid, особенно в глубоких сетях, что может затруднить обучение модели.

      3. Tanh (гиперболический тангенс): Тангенс гиперболический функция также сжимает выходные значения, но в диапазон от -1 до 1. Это помогает ускорить обучение по сравнению с