def init_theta_la( theta, src_embsize, trg_embsize, src_word_vectors, trg_word_vectors, _seed=None ):
if _seed != None:
ori_state = get_state()
seed(_seed)
src_offset = 4 * src_embsize * src_embsize + 3 * src_embsize + src_embsize * src_word_vectors._vectors.shape[1]
src_theta = theta[0:src_offset]
trg_theta = theta[src_offset:]
parameters = []
# Source side
parameters.append( src_theta )
# Wla n*n
parameters.append( init_W( src_embsize, src_embsize ) )
# bla n*1
parameters.append( zeros( src_embsize ) )
# Target side
parameters.append( trg_theta )
# Wla n*n
parameters.append( init_W( trg_embsize, trg_embsize ) )
# bla n*1
parameters.append( zeros( trg_embsize ) )
if _seed != None:
set_state(ori_state)
return concatenate(parameters)
def init_theta(embsize, _seed=None):
if _seed != None:
ori_state = get_state()
seed(_seed)
parameters = []
# Wi1
parameters.append(init_W(embsize, embsize))
# Wi2
parameters.append(init_W(embsize, embsize))
# bi
parameters.append(zeros(embsize))
# Wo1
parameters.append(init_W(embsize, embsize))
# Wo2
parameters.append(init_W(embsize, embsize))
# bo1
parameters.append(zeros(embsize))
# bo2
parameters.append(zeros(embsize))
if _seed != None:
set_state(ori_state)
return concatenate(parameters)
def init_theta( embsize, word_vectors, _seed = None ):
if _seed != None:
ori_state = get_state()
seed(_seed)
parameters = []
# Wi1 n*n
parameters.append(init_W(embsize, embsize))
# Wi2 n*n
parameters.append(init_W(embsize, embsize))
# bi n*1
parameters.append(zeros(embsize))
# Wo1 n*n
parameters.append(init_W(embsize, embsize))
# Wo2 n*n
parameters.append(init_W(embsize, embsize))
# bo1 n*1
parameters.append(zeros(embsize))
# bo2 n*1
parameters.append(zeros(embsize))
# L
parameters.append( word_vectors._vectors.reshape( embsize * len( word_vectors ) ) )
if _seed != None:
set_state(ori_state)
return concatenate(parameters)
def init_theta_la(theta, source_embsize, target_embsize, _seed=None):
if _seed != None:
ori_state = get_state()
seed(_seed)
source_offset = 4 * source_embsize * source_embsize + 3 * source_embsize
source_theta = theta[0:source_offset]
target_theta = theta[source_offset:]
parameters = []
# Source side
parameters.append(source_theta)
# Wla n*n
parameters.append(init_W(source_embsize, source_embsize))
# bla n*1
parameters.append(zeros(source_embsize))
# Target side
parameters.append(target_theta)
# Wla n*n
parameters.append(init_W(target_embsize, target_embsize))
# bla n*1
parameters.append(zeros(target_embsize))
if _seed != None:
set_state(ori_state)
return concatenate(parameters)
def init_theta(embsize, _seed=None):
if _seed != None:
ori_state = get_state()
seed(_seed)
parameters = []
# Wi1
parameters.append(init_W(embsize, embsize))
# Wi2
parameters.append(init_W(embsize, embsize))
# bi
parameters.append(zeros(embsize))
# Wo1
parameters.append(init_W(embsize, embsize))
# Wo2
parameters.append(init_W(embsize, embsize))
# bo1
parameters.append(zeros(embsize))
# bo2
parameters.append(zeros(embsize))
if _seed != None:
set_state(ori_state)
return concatenate(parameters)
def init_theta(embsize, num_of_domains=1, _seed=None):
if _seed != None:
ori_state = get_state()
seed(_seed)
parameters = []
# Wi1
parameters.append(init_W(embsize, embsize))
# Wi2
parameters.append(init_W(embsize, embsize))
# bi
parameters.append(zeros(embsize))
# Wo1
parameters.append(init_W(embsize, embsize))
# Wo2
parameters.append(init_W(embsize, embsize))
# bo1
parameters.append(zeros(embsize))
# bo2
parameters.append(zeros(embsize))
for i in range(0, num_of_domains):
parameters.append(init_W(1, embsize * 2))
parameters.append(init_W(1, embsize * 2))
parameters.append(zeros(1))
parameters.append(zeros(1))
if _seed != None:
set_state(ori_state)
return concatenate(parameters)
def init_theta(source_embsize, target_embsize, _seed=None):
if _seed != None:
ori_state = get_state()
seed(_seed)
parameters = []
# Source Side
# Wi1 n*n
parameters.append(init_W(source_embsize, source_embsize))
# Wi2 n*n
parameters.append(init_W(source_embsize, source_embsize))
# bi n*1
parameters.append(zeros(source_embsize))
# Wo1 n*n
parameters.append(init_W(source_embsize, source_embsize))
# Wo2 n*n
parameters.append(init_W(source_embsize, source_embsize))
# bo1 n*1
parameters.append(zeros(source_embsize))
# bo2 n*1
parameters.append(zeros(source_embsize))
# Target Side
# Wi1 n*n
parameters.append(init_W(target_embsize, target_embsize))
# Wi2 n*n
parameters.append(init_W(target_embsize, target_embsize))
# bi n*1
parameters.append(zeros(target_embsize))
# Wo1 n*n
parameters.append(init_W(target_embsize, target_embsize))
# Wo2 n*n
parameters.append(init_W(target_embsize, target_embsize))
# bo1 n*1
parameters.append(zeros(target_embsize))
# bo2 n*1
parameters.append(zeros(target_embsize))
if _seed != None:
set_state(ori_state)
return concatenate(parameters)