Esempio n. 1
0
def create_config(train_mode: bool = True) -> Configuration:
    config = Configuration()
    config.add_argument("tf_manager", required=False, default=None)
    config.add_argument("batch_size",
                        required=False,
                        default=None,
                        cond=lambda x: x is None or x > 0)
    config.add_argument("batching_scheme", required=False, default=None)
    config.add_argument("output")
    config.add_argument("postprocess", required=False, default=None)
    config.add_argument("runners")
    config.add_argument("runners_batch_size", required=False, default=None)

    if train_mode:
        config.add_argument("epochs", cond=lambda x: x >= 0)
        config.add_argument("trainer")
        config.add_argument("train_dataset")
        config.add_argument("val_dataset", required=False, default=[])
        config.add_argument("evaluation")
        config.add_argument("test_datasets", required=False, default=[])
        config.add_argument("logging_period", required=False, default=20)
        config.add_argument("validation_period", required=False, default=500)
        config.add_argument("visualize_embeddings",
                            required=False,
                            default=None)
        config.add_argument("val_preview_input_series",
                            required=False,
                            default=None)
        config.add_argument("val_preview_output_series",
                            required=False,
                            default=None)
        config.add_argument("val_preview_num_examples",
                            required=False,
                            default=15)
        config.add_argument("train_start_offset", required=False, default=0)
        config.add_argument("name",
                            required=False,
                            default="Neural Monkey Experiment")
        config.add_argument("random_seed", required=False, default=2574600)
        config.add_argument("initial_variables", required=False, default=None)
        config.add_argument("overwrite_output_dir",
                            required=False,
                            default=False)
    else:
        config.add_argument("evaluation", required=False, default=None)
        for argument in _TRAIN_ARGS:
            config.ignore_argument(argument)

    return config
Esempio n. 2
0
def create_config(train_mode: bool = True) -> Configuration:
    config = Configuration()
    config.add_argument("tf_manager", required=False, default=None)
    config.add_argument("batch_size", required=False, default=None,
                        cond=lambda x: x is None or x > 0)
    config.add_argument("output")
    config.add_argument("postprocess", required=False, default=None)
    config.add_argument("runners")
    config.add_argument("random_seed", required=False, default=2574600)

    if train_mode:
        config.add_argument("epochs", cond=lambda x: x >= 0)
        config.add_argument("trainer")
        config.add_argument("train_dataset")
        config.add_argument("val_dataset", required=False, default=[])
        config.add_argument("evaluation")
        config.add_argument("test_datasets", required=False, default=[])
        config.add_argument("logging_period", required=False, default=20)
        config.add_argument("validation_period", required=False, default=500)
        config.add_argument("visualize_embeddings", required=False,
                            default=None)
        config.add_argument("val_preview_input_series",
                            required=False, default=None)
        config.add_argument("val_preview_output_series",
                            required=False, default=None)
        config.add_argument("val_preview_num_examples",
                            required=False, default=15)
        config.add_argument("train_start_offset", required=False, default=0)
        config.add_argument("name", required=False,
                            default="Neural Monkey Experiment")
        config.add_argument("initial_variables", required=False, default=None)
        config.add_argument("overwrite_output_dir", required=False,
                            default=False)
    else:
        config.add_argument("evaluation", required=False, default=None)
        for argument in _TRAIN_ARGS:
            config.ignore_argument(argument)

    return config
Esempio n. 3
0
from neuralmonkey.logging import log, log_print
from neuralmonkey.config.configuration import Configuration
from neuralmonkey.learning_utils import (evaluation, run_on_dataset,
                                         print_final_evaluation)

CONFIG = Configuration()
CONFIG.add_argument('tf_manager')
CONFIG.add_argument('output')
CONFIG.add_argument('postprocess')
CONFIG.add_argument('evaluation')
CONFIG.add_argument('runners')
CONFIG.add_argument('batch_size')
CONFIG.add_argument('threads', required=False, default=4)
CONFIG.add_argument('runners_batch_size', required=False, default=None)
# ignore arguments which are just for training
CONFIG.ignore_argument('val_dataset')
CONFIG.ignore_argument('trainer')
CONFIG.ignore_argument('name')
CONFIG.ignore_argument('train_dataset')
CONFIG.ignore_argument('epochs')
CONFIG.ignore_argument('test_datasets')
CONFIG.ignore_argument('initial_variables')
CONFIG.ignore_argument('validation_period')
CONFIG.ignore_argument('val_preview_input_series')
CONFIG.ignore_argument('val_preview_output_series')
CONFIG.ignore_argument('val_preview_num_examples')
CONFIG.ignore_argument('logging_period')
CONFIG.ignore_argument('visualize_embeddings')
CONFIG.ignore_argument('minimize')
CONFIG.ignore_argument('random_seed')
CONFIG.ignore_argument('save_n_best')
Esempio n. 4
0
from neuralmonkey.logging import log, log_print
from neuralmonkey.config.configuration import Configuration
from neuralmonkey.learning_utils import (evaluation, run_on_dataset,
                                         print_final_evaluation)
from neuralmonkey.tf_manager import TensorFlowManager

CONFIG = Configuration()
CONFIG.add_argument('tf_manager', TensorFlowManager)
CONFIG.add_argument('output', str)
CONFIG.add_argument('postprocess')
CONFIG.add_argument('evaluation', list)
CONFIG.add_argument('runners', list)
CONFIG.add_argument('threads', int, required=False, default=4)
CONFIG.add_argument('runners_batch_size', int, required=False, default=None)
# ignore arguments which are just for training
CONFIG.ignore_argument('val_dataset')
CONFIG.ignore_argument('trainer')
CONFIG.ignore_argument('name')
CONFIG.ignore_argument('train_dataset')
CONFIG.ignore_argument('epochs')
CONFIG.ignore_argument('batch_size')
CONFIG.ignore_argument('test_datasets')
CONFIG.ignore_argument('initial_variables')
CONFIG.ignore_argument('validation_period')
CONFIG.ignore_argument('logging_period')
CONFIG.ignore_argument('minimize')
CONFIG.ignore_argument('random_seed')
CONFIG.ignore_argument('save_n_best')
CONFIG.ignore_argument('overwrite_output_dir')

Esempio n. 5
0
from neuralmonkey.config.configuration import Configuration
from neuralmonkey.checking import check_dataset_and_coders
from neuralmonkey.learning_utils import initialize_tf, run_on_dataset, \
    print_dataset_evaluation

CONFIG = Configuration()
CONFIG.add_argument('output', str)
CONFIG.add_argument('encoders', list, cond=lambda l: len(l) > 0)
CONFIG.add_argument('decoder')
CONFIG.add_argument('postprocess')
CONFIG.add_argument('evaluation', cond=list)
CONFIG.add_argument('runner')
CONFIG.add_argument('threads', int, required=False, default=4)

# ignore arguments which are just for training
CONFIG.ignore_argument('val_dataset')
CONFIG.ignore_argument('trainer')
CONFIG.ignore_argument('name')
CONFIG.ignore_argument('train_dataset')
CONFIG.ignore_argument('random_seed')
CONFIG.ignore_argument('epochs')
CONFIG.ignore_argument('batch_size')
CONFIG.ignore_argument('tests_datasets')
CONFIG.ignore_argument('initial_variables')
CONFIG.ignore_argument('validation_period')
CONFIG.ignore_argument('logging_period')
CONFIG.ignore_argument('minimize')
CONFIG.ignore_argument('save_n_best')
CONFIG.ignore_argument('overwrite_output_dir')

Esempio n. 6
0
from neuralmonkey.logging import log, log_print
from neuralmonkey.config.configuration import Configuration
from neuralmonkey.learning_utils import (evaluation, run_on_dataset,
                                         print_final_evaluation)

CONFIG = Configuration()
CONFIG.add_argument("tf_manager")
CONFIG.add_argument("output")
CONFIG.add_argument("postprocess")
CONFIG.add_argument("evaluation")
CONFIG.add_argument("runners")
CONFIG.add_argument("batch_size")
CONFIG.add_argument("threads", required=False, default=4)
CONFIG.add_argument("runners_batch_size", required=False, default=None)
# ignore arguments which are just for training
CONFIG.ignore_argument("val_dataset")
CONFIG.ignore_argument("trainer")
CONFIG.ignore_argument("name")
CONFIG.ignore_argument("train_dataset")
CONFIG.ignore_argument("epochs")
CONFIG.ignore_argument("test_datasets")
CONFIG.ignore_argument("initial_variables")
CONFIG.ignore_argument("validation_period")
CONFIG.ignore_argument("val_preview_input_series")
CONFIG.ignore_argument("val_preview_output_series")
CONFIG.ignore_argument("val_preview_num_examples")
CONFIG.ignore_argument("logging_period")
CONFIG.ignore_argument("visualize_embeddings")
CONFIG.ignore_argument("minimize")
CONFIG.ignore_argument("random_seed")
CONFIG.ignore_argument("save_n_best")