class EmbeddingDot: def __init__(self, W): self.embed = Embedding(W) self.params = self.embed.params self.grads = self.embed.grads self.cache = None def forward(self, h, idx): target_W = self.embed.forward(idx) # (N, H) = (指定した単語ID数, 内部の重みの次元) out = np.sum(target_W * h, axis=1) # (N, H) * (N, H) -> (N, H) -> (N, 1) self.cache = (h, target_W) return out def backward(self, dout): h, target_W = self.cache dout = dout.reshape(dout.shape[0], 1) # target_Wの勾配 dtarget_W = dout * h self.embed.backward(dtarget_W) # 下流に伝搬させる勾配 dh = dout * target_W return dh
def forward(self, xs): N, T = xs.shape V, D = self.W.shape out = np.empty((N, T, D), dtype='f') self.layers = [] for t in range(T): layer = Embedding(self.W) out[:, t, :] = layer.forward(xs[:, t]) self.layers.append(layer) return out
def forward(self, xs): N, T = xs.shape # バッチサイズ、T個の時系列データ _, D = self.W.shape # vocab_size, wordvec_size out = np.empty((N, T, D), dtype='f') self.layers = [] for t in range(T): layer = Embedding(self.W) out[:, t, :] = layer.forward(xs[:, t]) self.layers.append(layer) return out
def forward(self, xs): N, T = xs.shape # hoho_todo, 如何传xs参数?(xs没有了D维) || xs的每一行只是文字ID的序列,形状如:[[1, 3, 2], [45, 2, 3], ...] V, D = self.W.shape out = np.empty((N, T, D), dtype='f') self.layers = [] for t in range(T): layer = Embedding(self.W) out[:, t, :] = layer.forward(xs[:, t]) self.layers.append(layer) return out
class EmbeddingDot: def __init__(self, W): self.embed = Embedding(W) self.params = self.embed.params self.grads = self.embed.grads self.cache = None def forward(self, h, idx): target_W = self.embed.forward(idx) out = np.sum(target_W * h, axis=1) self.cache = (h, target_W) return out def backward(self, dout): h, target_W = self.cache dout = dout.reshape(dout.shape[0], 1) dtarget_W = dout * h self.embed.backward(dtarget_W) dh = dout * target_W return dh
class EmbeddingDot: def __init__(self, W): self.embed = Embedding(W) self.params = self.embed.params self.grads = self.embed.grads self.cache = None def forward(self, h, idx): target_W = self.embed.forward(idx) # Wを反転させてないため、複雑な形だが、内積をしたいだけ。 out = np.sum(target_W * h, axis=1) self.cache = (h, target_W) return out def backward(self, dout): h, target_W = self.cache # Wを反転させてなかったため、ここで辻褄合わせをしている。 dout = dout.reshape(dout.shape[0], 1) dtarget_W = dout * h self.embed.backward(dtarget_W) dh = dout * target_W return dh
class EmbeddingDot: # TODO 헷갈리지만 우선 넘어긴다. def __init__(self, W): self.embed = Embedding(W) self.params = self.embed.params self.grads = self.embed.grads self.cache = None # forward propagation 시 계산결과를 잠시 유지하기 위한 용도 def forward(self, h, idx): target_W = self.embed.forward(idx) out = np.sum(target_W * h, axis=1) # 내적 계산 self.cache = (h, target_W) return out def backward(self, dout): h, target_W = self.cache dout = dout.reshape(dout.shape[0], 1) dtarget_W = dout * h self.embed.backward(dtarget_W) # grads 계산 dh = dout * target_W return dh
class EmbeddingDot: def __init__(self, W): # 총 4개의 인스턴스 변수 self.embed = Embedding(W) # Embedding 계층 self.params = self.embed.params # 매개변수 저장 self.grads = self.embed.grads # 기울기 저장 self.cache = None # 순전파 시의 계산 결과를 잠시 유지하기 위해 사용되는 변수 # 순전파 메서드에서는 은닉층 뉴런과 단어 ID의 넘파이 배열(미니배치)을 받는다. def forward(self, h, idx): target_W = self.embed.forward(idx) # embedding 계층의 forward(idx)를 호출하여 idx에 해당하는 행 추출 out = np.sum(target_W * h, axis=1) # 내적 계산 이후 행마다 더하여 최종결과 out 반환 self.cache = (h, target_W) return out def backward(self, dout): h, target_W = self.cache dout = dout.reshape(dout.shape[0], 1) dtarget_W = dout * h self.embed.backward(dtarget_W) dh = dout * target_W return dh