在分类问题中,最后的一层线性分类层,里面的每个向量相当于是各个类的中心,为了让不同类之间的类中心保持一致的范数,也就是都保证其为单位向量,我们可以在每次进行forward()之前进行一个分类层的参数标准化操作,这个操作不需要在优化器内进行,可以在forward()函数中进行,例子如下:
self.classifier.weight.data.copy_(F.normalize( self.classifier.weight.data ,dim=1))
这样就能保持每次进行分类计算的时候,分类中心都是标准化的。
这里要注意一下,在pytorch中,如果线性层的输入是2048维度的,输出是1000维度的,那么这个线性层的张量的尺寸是[1000,2048]维度的。