Python get_parser Exemples

Exemple #1

Fichier : test_binaries.py Projet : fyabc/fairseq

def preprocess_lm_data(data_dir):
    preprocess_parser = preprocess.get_parser()
    preprocess_args = preprocess_parser.parse_args([
        '--only-source',
        '--trainpref', os.path.join(data_dir, 'train.out'),
        '--validpref', os.path.join(data_dir, 'valid.out'),
        '--testpref', os.path.join(data_dir, 'test.out'),
        '--destdir', data_dir,
    ])
    preprocess.main(preprocess_args)

Exemple #2

Fichier : test_binaries.py Projet : SCUZPP/ENAS

def preprocess_lm_data(data_dir):
    preprocess_parser = preprocess.get_parser()
    preprocess_args = preprocess_parser.parse_args([
        '--only-source',
        '--trainpref', os.path.join(data_dir, 'train.out'),
        '--validpref', os.path.join(data_dir, 'valid.out'),
        '--testpref', os.path.join(data_dir, 'test.out'),
        '--destdir', data_dir,
    ])
    preprocess.main(preprocess_args)

Exemple #3

Fichier : test_binaries.py Projet : tabishsada/Machine-Translation

 def preprocess_data(self, data_dir):
     preprocess_parser = preprocess.get_parser()
     preprocess_args = preprocess_parser.parse_args([
         '--source-lang', 'in',
         '--target-lang', 'out',
         '--trainpref', os.path.join(data_dir, 'train'),
         '--validpref', os.path.join(data_dir, 'valid'),
         '--testpref', os.path.join(data_dir, 'test'),
         '--thresholdtgt', '0',
         '--thresholdsrc', '0',
         '--destdir', data_dir,
     ])
     preprocess.main(preprocess_args)

Exemple #4

Fichier : test_binaries.py Projet : fyabc/fairseq

def preprocess_translation_data(data_dir, extra_flags=None):
    preprocess_parser = preprocess.get_parser()
    preprocess_args = preprocess_parser.parse_args(
        [
            '--source-lang', 'in',
            '--target-lang', 'out',
            '--trainpref', os.path.join(data_dir, 'train'),
            '--validpref', os.path.join(data_dir, 'valid'),
            '--testpref', os.path.join(data_dir, 'test'),
            '--thresholdtgt', '0',
            '--thresholdsrc', '0',
            '--destdir', data_dir,
        ] + (extra_flags or []),
    )
    preprocess.main(preprocess_args)

Exemple #5

Fichier : test_binaries.py Projet : SCUZPP/ENAS

def preprocess_translation_data(data_dir, extra_flags=None):
    preprocess_parser = preprocess.get_parser()
    preprocess_args = preprocess_parser.parse_args(
        [
            '--source-lang', 'in',
            '--target-lang', 'out',
            '--trainpref', os.path.join(data_dir, 'train'),
            '--validpref', os.path.join(data_dir, 'valid'),
            '--testpref', os.path.join(data_dir, 'test'),
            '--thresholdtgt', '0',
            '--thresholdsrc', '0',
            '--destdir', data_dir,
        ] + (extra_flags or []),
    )
    preprocess.main(preprocess_args)