Python add_pipeline_args Exemples

Exemple #1

def parse_args(pipeline, config, argv=None):
    LOGGER.debug('argv=%s', argv)
    parser = argparse.ArgumentParser()
    add_pipeline_args(parser)
    add_batch_args(parser)
    add_num_workers_argument(parser)
    add_request_args_argument(parser)
    pipeline.add_arguments(parser, config, argv)

    args = parser.parse_args(argv)

    if args.debug:
        logging.getLogger().setLevel('DEBUG')

    process_batch_args(args)

    return args

Exemple #2

Fichier : beam_pipeline_runner.py Projet : zongorla/sciencebeam

def parse_args(pipeline, config, argv=None):
    parser = argparse.ArgumentParser()
    add_pipeline_args(parser)
    add_batch_args(parser)
    add_cloud_args(parser)
    pipeline.add_arguments(parser, config, argv)

    args = parser.parse_args(argv)

    if args.debug:
        logging.getLogger().setLevel('DEBUG')

    process_batch_args(args)
    process_cloud_args(args, args.output_path, name='sciencebeam-convert')

    get_logger().info('args: %s', args)

    return args

Exemple #3

def add_arguments(parser, config, argv=None):
    add_pipeline_args(parser)

    pipeline = get_pipeline_for_configuration_and_args(config, argv=argv)
    pipeline.add_arguments(parser, config, argv=argv)