def forward(self, input: Tensor) -> Tensor:
self.input = input # zachowaj zarówno wartość wejściową, jak i poprzedni
self.prev_hidden = self.hidden # stan ukryty, aby użyć ich w propagacji wstecznej.
a = [(dot(self.w[h], input) + # wagi wejściowe
dot(self.u[h], self.hidden) + # wagi stanu ukrytego
self.b[h]) # wartość progowa
for h in range(self.hidden_dim)]
self.hidden = tensor_apply(tanh, a) # Zastosuj tanh jako funkcję aktywacji
return self.hidden # i zwróć wynik.
def forward(self, input: Tensor) -> Tensor:
self.input = input # Save both input and previous
self.prev_hidden = self.hidden # hidden state to use in backprop.
a = [(dot(self.w[h], input) + # weights @ input
dot(self.u[h], self.hidden) + # weights @ hidden
self.b[h]) # bias
for h in range(self.hidden_dim)]
self.hidden = tensor_apply(tanh, a) # Apply tanh activation
return self.hidden # and return the result.
def forward(self, input: Tensor) -> Tensor:
self.input = input # Save both input and previous
self.prev_hidden = self.hidden # hidden state to use in backprop.
a = [
(
dot(self.w[h], input) + # weights @ input
dot(self.u[h], self.hidden) + # weights @ hidden
self.b[h]) # bias
for h in range(self.hidden_dim)
]
self.hidden = tensor_apply(tanh, a) # Apply tanh activation
return self.hidden # and return the result.