做一建真题的网站2021年年度关键词
一、层和块
块可以描述单个层、多个层组成的组件或整个模型。
通过定义块，组装块，可以实现复杂的神经网络。
一个块可以由多个class组成。
其实就是 自己定义神经网络net，自己定义层的顺序和具体的init、 forward函数。
层和块的顺序由sequential处理。
eg：
class MLP( nn . Module): # 这里只要继承了就可以实例化为一个层
# 用模型参数声明层。这里，我们声明两个全连接的层
def __init__(self):
# 调用MLP的父类Module的构造函数来执行必要的参数初始化。 即hidden和out的参数会自动生成。
# 这样，在类实例化时也可以指定其他函数参数，例如模型参数params（稍后将介绍）
super().__init__()
self . hidden = nn.Linear( 20 , 256 ) # 隐藏层
self . out = nn.Linear( 256 , 10 ) # 输出层
# 定义模型的前向传播， 即如何根据输入X返回所需的模型输出
def forward(self, X):
# 注意，这里我们使用ReLU的函数版本，其在nn.functional模块中定义。
return self.out(F.relu(self.hidden(X)))
&
自己定义网络中的层
一般是在init里定义层，在forward里定义参数的传递 即输出的内容 。
# 手搓一个sequential类
class MySequential(nn.Module):
def __init__(self, *args):
super().__init__()
for idx, module in enumerate(args):
# 这里，module是Module子类的一个实例。我们把它保存在'Module'类的成员
# 变量_modules中。_module的类型是OrderedDict
# _modules的优点是，在模块的参数初始化过程中，系统会在里面查找需要初始化参数的子块。
self._modules[str(idx)] = module
def forward(self, X):
# OrderedDict保证了按照成员添加的顺序遍历它们
for block in self._modules.values():
X = block(X)
return X
net = MySequential (nn.Linear( 20, 256 ), nn.ReLU(), nn.Linear( 256 , 10 ))
&
为了更强的灵活性，我们想将自己定义的块加入模型中。
class FixedHiddenMLP(nn.Module):
def __init__(self):
super().__init__()
# 不计算梯度的随机权重参数。因此其在训练期间保持不变
self.rand_weight = torch.rand((20, 20), requires_grad=False) # 需要一个常数参数时
self.linear = nn.Linear(20, 20)
def forward(self, X):
X = self.linear(X)
# 使用创建的常量参数以及relu和mm函数
X = F.relu(torch.mm(X, self.rand_weight) + 1)
# 复用全连接层。这相当于两个全连接层共享参数
X = self.linear(X)
class NestMLP(nn.Module):
def __init__(self):
super().__init__()
self.net = nn.Sequential(nn.Linear(20, 64), nn.ReLU(),
nn.Linear(64, 32), nn.ReLU())
self.linear = nn.Linear(32, 16)
def forward(self, X):
return self.linear(self.net(X)) #骚操作
chimera = nn.Sequential(NestMLP(), nn.Linear(16, 20), FixedHiddenMLP())
二、保存模型参数
torch. save( net .state_dict(), 'mlp.params') #保存参数
clone = MLP()
clone.load_state_dict(torch.load('mlp.params')) #复用参数
clone.eval()