def load_input_embeddings_path(self, data):
self.input_embeddings_path = get_value_as_str_list(
data.get("input_embeddings_path", None))
self.input_embeddings_path = [
get_real_path(path, self.config_root_path)
for path in self.input_embeddings_path
]
pad_list(self.input_embeddings_path, self.input_features, None)
def load_input_embeddings_sizes(self, data):
self.input_embeddings_sizes = get_value_as_int_list(
data.get("input_embeddings_size", None))
pad_list(self.input_embeddings_sizes, self.data_config.input_features,
300)
self.reset_input_embeddings_sizes()
def set_input_resize(self, input_resize):
self.input_resize = get_value_as_int_list(input_resize)
pad_list(self.input_resize, self.data_config.input_features, None)
for i in range(len(self.input_resize)):
if self.input_resize[i] is not None and self.input_resize[i] <= 0:
self.input_resize[i] = None
def set_input_auto_model(self, auto_model, auto_path):
self.input_auto_model = get_value_as_str_list(auto_model)
self.input_auto_path = get_value_as_str_list(auto_path)
pad_list(self.input_auto_model, self.data_config.input_features, None)
pad_list(self.input_auto_path, self.data_config.input_features, None)
self.reset_input_embeddings_sizes()
def set_input_bert_model(self, bert_model):
self.input_bert_path = get_value_as_str_list(bert_model)
pad_list(self.input_bert_path, self.data_config.input_features, None)
self.reset_input_embeddings_sizes()
def set_input_elmo_path(self, elmo_path):
self.input_elmo_path = get_value_as_str_list(elmo_path)
pad_list(self.input_elmo_path, self.data_config.input_features, None)
self.reset_input_embeddings_sizes()
def set_input_embeddings_tokenize_model(self, tokenize_model):
self.input_embeddings_tokenize_model = get_value_as_str_list(
tokenize_model)
pad_list(self.input_embeddings_tokenize_model,
self.data_config.input_features, None)
def load_output_translation_clear_text_values(self, data):
self.output_translation_clear_text = get_value_as_bool_list(
data.get("output_translation_clear_text", None))
pad_list(self.output_translation_clear_text,
self.output_translation_features, False)
def load_input_clear_text_values(self, data):
self.input_clear_text = get_value_as_bool_list(
data.get("input_clear_text", None))
pad_list(self.input_clear_text, self.input_features, False)
