def create_config(train_mode: bool = True) -> Configuration: config = Configuration() config.add_argument("tf_manager", required=False, default=None) config.add_argument("batch_size", required=False, default=None, cond=lambda x: x is None or x > 0) config.add_argument("batching_scheme", required=False, default=None) config.add_argument("output") config.add_argument("postprocess", required=False, default=None) config.add_argument("runners") config.add_argument("runners_batch_size", required=False, default=None) if train_mode: config.add_argument("epochs", cond=lambda x: x >= 0) config.add_argument("trainer") config.add_argument("train_dataset") config.add_argument("val_dataset", required=False, default=[]) config.add_argument("evaluation") config.add_argument("test_datasets", required=False, default=[]) config.add_argument("logging_period", required=False, default=20) config.add_argument("validation_period", required=False, default=500) config.add_argument("visualize_embeddings", required=False, default=None) config.add_argument("val_preview_input_series", required=False, default=None) config.add_argument("val_preview_output_series", required=False, default=None) config.add_argument("val_preview_num_examples", required=False, default=15) config.add_argument("train_start_offset", required=False, default=0) config.add_argument("name", required=False, default="Neural Monkey Experiment") config.add_argument("random_seed", required=False, default=2574600) config.add_argument("initial_variables", required=False, default=None) config.add_argument("overwrite_output_dir", required=False, default=False) else: config.add_argument("evaluation", required=False, default=None) for argument in _TRAIN_ARGS: config.ignore_argument(argument) return config
def create_config(train_mode: bool = True) -> Configuration: config = Configuration() config.add_argument("tf_manager", required=False, default=None) config.add_argument("batch_size", required=False, default=None, cond=lambda x: x is None or x > 0) config.add_argument("output") config.add_argument("postprocess", required=False, default=None) config.add_argument("runners") config.add_argument("random_seed", required=False, default=2574600) if train_mode: config.add_argument("epochs", cond=lambda x: x >= 0) config.add_argument("trainer") config.add_argument("train_dataset") config.add_argument("val_dataset", required=False, default=[]) config.add_argument("evaluation") config.add_argument("test_datasets", required=False, default=[]) config.add_argument("logging_period", required=False, default=20) config.add_argument("validation_period", required=False, default=500) config.add_argument("visualize_embeddings", required=False, default=None) config.add_argument("val_preview_input_series", required=False, default=None) config.add_argument("val_preview_output_series", required=False, default=None) config.add_argument("val_preview_num_examples", required=False, default=15) config.add_argument("train_start_offset", required=False, default=0) config.add_argument("name", required=False, default="Neural Monkey Experiment") config.add_argument("initial_variables", required=False, default=None) config.add_argument("overwrite_output_dir", required=False, default=False) else: config.add_argument("evaluation", required=False, default=None) for argument in _TRAIN_ARGS: config.ignore_argument(argument) return config
from neuralmonkey.logging import log, log_print from neuralmonkey.config.configuration import Configuration from neuralmonkey.learning_utils import (evaluation, run_on_dataset, print_final_evaluation) CONFIG = Configuration() CONFIG.add_argument('tf_manager') CONFIG.add_argument('output') CONFIG.add_argument('postprocess') CONFIG.add_argument('evaluation') CONFIG.add_argument('runners') CONFIG.add_argument('batch_size') CONFIG.add_argument('threads', required=False, default=4) CONFIG.add_argument('runners_batch_size', required=False, default=None) # ignore arguments which are just for training CONFIG.ignore_argument('val_dataset') CONFIG.ignore_argument('trainer') CONFIG.ignore_argument('name') CONFIG.ignore_argument('train_dataset') CONFIG.ignore_argument('epochs') CONFIG.ignore_argument('test_datasets') CONFIG.ignore_argument('initial_variables') CONFIG.ignore_argument('validation_period') CONFIG.ignore_argument('val_preview_input_series') CONFIG.ignore_argument('val_preview_output_series') CONFIG.ignore_argument('val_preview_num_examples') CONFIG.ignore_argument('logging_period') CONFIG.ignore_argument('visualize_embeddings') CONFIG.ignore_argument('minimize') CONFIG.ignore_argument('random_seed') CONFIG.ignore_argument('save_n_best')
from neuralmonkey.logging import log, log_print from neuralmonkey.config.configuration import Configuration from neuralmonkey.learning_utils import (evaluation, run_on_dataset, print_final_evaluation) from neuralmonkey.tf_manager import TensorFlowManager CONFIG = Configuration() CONFIG.add_argument('tf_manager', TensorFlowManager) CONFIG.add_argument('output', str) CONFIG.add_argument('postprocess') CONFIG.add_argument('evaluation', list) CONFIG.add_argument('runners', list) CONFIG.add_argument('threads', int, required=False, default=4) CONFIG.add_argument('runners_batch_size', int, required=False, default=None) # ignore arguments which are just for training CONFIG.ignore_argument('val_dataset') CONFIG.ignore_argument('trainer') CONFIG.ignore_argument('name') CONFIG.ignore_argument('train_dataset') CONFIG.ignore_argument('epochs') CONFIG.ignore_argument('batch_size') CONFIG.ignore_argument('test_datasets') CONFIG.ignore_argument('initial_variables') CONFIG.ignore_argument('validation_period') CONFIG.ignore_argument('logging_period') CONFIG.ignore_argument('minimize') CONFIG.ignore_argument('random_seed') CONFIG.ignore_argument('save_n_best') CONFIG.ignore_argument('overwrite_output_dir')
from neuralmonkey.config.configuration import Configuration from neuralmonkey.checking import check_dataset_and_coders from neuralmonkey.learning_utils import initialize_tf, run_on_dataset, \ print_dataset_evaluation CONFIG = Configuration() CONFIG.add_argument('output', str) CONFIG.add_argument('encoders', list, cond=lambda l: len(l) > 0) CONFIG.add_argument('decoder') CONFIG.add_argument('postprocess') CONFIG.add_argument('evaluation', cond=list) CONFIG.add_argument('runner') CONFIG.add_argument('threads', int, required=False, default=4) # ignore arguments which are just for training CONFIG.ignore_argument('val_dataset') CONFIG.ignore_argument('trainer') CONFIG.ignore_argument('name') CONFIG.ignore_argument('train_dataset') CONFIG.ignore_argument('random_seed') CONFIG.ignore_argument('epochs') CONFIG.ignore_argument('batch_size') CONFIG.ignore_argument('tests_datasets') CONFIG.ignore_argument('initial_variables') CONFIG.ignore_argument('validation_period') CONFIG.ignore_argument('logging_period') CONFIG.ignore_argument('minimize') CONFIG.ignore_argument('save_n_best') CONFIG.ignore_argument('overwrite_output_dir')
from neuralmonkey.logging import log, log_print from neuralmonkey.config.configuration import Configuration from neuralmonkey.learning_utils import (evaluation, run_on_dataset, print_final_evaluation) CONFIG = Configuration() CONFIG.add_argument("tf_manager") CONFIG.add_argument("output") CONFIG.add_argument("postprocess") CONFIG.add_argument("evaluation") CONFIG.add_argument("runners") CONFIG.add_argument("batch_size") CONFIG.add_argument("threads", required=False, default=4) CONFIG.add_argument("runners_batch_size", required=False, default=None) # ignore arguments which are just for training CONFIG.ignore_argument("val_dataset") CONFIG.ignore_argument("trainer") CONFIG.ignore_argument("name") CONFIG.ignore_argument("train_dataset") CONFIG.ignore_argument("epochs") CONFIG.ignore_argument("test_datasets") CONFIG.ignore_argument("initial_variables") CONFIG.ignore_argument("validation_period") CONFIG.ignore_argument("val_preview_input_series") CONFIG.ignore_argument("val_preview_output_series") CONFIG.ignore_argument("val_preview_num_examples") CONFIG.ignore_argument("logging_period") CONFIG.ignore_argument("visualize_embeddings") CONFIG.ignore_argument("minimize") CONFIG.ignore_argument("random_seed") CONFIG.ignore_argument("save_n_best")