Python getenvの例

コード例 #1

ファイル: spark_json_to_avro.py プロジェクト: HariSekhon/pytools

 def add_options(self):
     self.add_opt('-j', '--json', metavar='<file/dir>',
                  help='JSON input file/dir ($JSON)',
                  default=getenv('JSON'))
     self.add_opt('-a', '--avro-dir', metavar='<dir>',
                  help='Avro output dir ($AVRODIR)',
                  default=getenv('AVRODIR'))

コード例 #2

ファイル: spark_json_to_avro.py プロジェクト: bbhunt-2020/Canivete

 def add_options(self):
     self.add_opt('-j', '--json', metavar='<file/dir>',
                  help='JSON input file/dir ($JSON)',
                  default=getenv('JSON'))
     self.add_opt('-a', '--avro-dir', metavar='<dir>',
                  help='Avro output dir ($AVRODIR)',
                  default=getenv('AVRODIR'))

コード例 #3

ファイル: spark_json_to_parquet.py プロジェクト: HariSekhon/pytools

 def add_options(self):
     self.add_opt('-j', '--json', metavar='<file/dir>',
                  help='JSON input file/dir ($JSON)',
                  default=getenv('JSON'))
     self.add_opt('-p', '--parquet-dir', metavar='<dir>',
                  help='Parquet output dir ($PARQUETDIR)',
                  default=getenv('PARQUETDIR'))

コード例 #4

ファイル: spark_csv_to_parquet.py プロジェクト: ramraj-edagutti/pytools

 def add_options(self):
     self.verbose_default = 2
     self.timeout_default = 86400
     self.add_opt('-c',
                  '--csv',
                  metavar='<file/dir>',
                  help='CSV input file/dir ($CSV)',
                  default=getenv('CSV'))
     self.add_opt('-p',
                  '--parquet-dir',
                  metavar='<dir>',
                  help='Parquet output dir ($PARQUETDIR)',
                  default=getenv('PARQUETDIR'))
     self.add_opt(
         '-e',
         '--has-header',
         action='store_true',
         help=
         'CSV has header. Infers schema if --schema is not given in which case all '
         +
         "types are assumed to be 'string'. Must specify --schema to override this"
     )
     self.add_opt('-s', '--schema', metavar='name:type,name2:type2,...',
                  help="Schema for CSV. Types default to 'string'. Possible types are: %s" \
                  % ', '.join(sorted(self.types_mapping)))

コード例 #5

ファイル: spark_csv_to_parquet.py プロジェクト: young8/pytools

 def add_options(self):
     self.set_verbose_default(2)
     self.set_timeout_default(86400)
     self.parser.add_option(
         '-c',
         '--csv',
         metavar='<file/dir>',
         help='CSV input file/dir ($CSV)',
         default=getenv('CSV'))
     self.parser.add_option(
         '-p',
         '--parquet-dir',
         metavar='<dir>',
         help='Parquet output dir ($PARQUETDIR)',
         default=getenv('PARQUETDIR'))
     self.parser.add_option(
         '-e',
         '--has-header',
         action='store_true',
         help=
         'CSV has header. Infers schema if --schema is not given in which case all '
         +
         "types are assumed to be 'string'. Must specify --schema to override this"
     )
     self.parser.add_option('-s', '--schema', metavar='name:type,name2:type2,...',
                            help="Schema for CSV. Types default to 'string'. Possible types are: %s" \
                                 % ', '.join(sorted(self.types_mapping)))

コード例 #6

ファイル: spark_parquet_to_avro.py プロジェクト: HariSekhon/pytools

 def add_options(self):
     self.add_opt('-p', '--parquet', metavar='<file/dir>',
                  help='Parquet input file/dir ($PARQUET)',
                  default=getenv('PARQUET'))
     self.add_opt('-a', '--avro-dir', metavar='<dir>',
                  help='Avro output dir ($AVRODIR)',
                  default=getenv('AVRODIR'))

コード例 #7

 def add_options(self):
     self.add_opt('-j', '--json', metavar='<file/dir>',
                  help='JSON input file/dir ($JSON)',
                  default=getenv('JSON'))
     self.add_opt('-p', '--parquet-dir', metavar='<dir>',
                  help='Parquet output dir ($PARQUETDIR)',
                  default=getenv('PARQUETDIR'))

コード例 #8

ファイル: spark_json_to_avro.py プロジェクト: young8/pytools

 def add_options(self):
     self.set_verbose_default(2)
     self.set_timeout_default(86400)
     self.parser.add_option('-j', '--json', metavar='<file/dir>',
                            help='JSON input file/dir ($JSON)',
                            default=getenv('JSON'))
     self.parser.add_option('-a', '--avro-dir', metavar='<dir>',
                            help='Avro output dir ($AVRODIR)',
                            default=getenv('AVRODIR'))

コード例 #9

ファイル: spark_json_to_parquet.py プロジェクト: young8/pytools

 def add_options(self):
     self.set_verbose_default(2)
     self.set_timeout_default(86400)
     self.parser.add_option('-j', '--json', metavar='<file/dir>',
                            help='JSON input file/dir ($JSON)',
                            default=getenv('JSON'))
     self.parser.add_option('-p', '--parquet-dir', metavar='<dir>',
                            help='Parquet output dir ($PARQUETDIR)',
                            default=getenv('PARQUETDIR'))

コード例 #10

ファイル: spark_avro_to_parquet.py プロジェクト: young8/pytools

 def add_options(self):
     self.set_verbose_default(2)
     self.set_timeout_default(86400)
     self.parser.add_option('-a', '--avro', metavar='<file/dir>',
                            help='Avro input file/dir ($AVRO)',
                            default=getenv('AVRO'))
     self.parser.add_option('-p', '--parquet-dir', metavar='<dir>',
                            help='Parquet output dir ($PARQUETDIR)',
                            default=getenv('PARQUETDIR'))

コード例 #11

ファイル: spark_avro_to_parquet.py プロジェクト: ramraj-edagutti/pytools

 def add_options(self):
     self.verbose_default = 2
     self.timeout_default = 86400
     self.add_opt('-a', '--avro', metavar='<file/dir>',
                  help='Avro input file/dir ($AVRO)',
                  default=getenv('AVRO'))
     self.add_opt('-p', '--parquet-dir', metavar='<dir>',
                  help='Parquet output dir ($PARQUETDIR)',
                  default=getenv('PARQUETDIR'))

コード例 #12

 def add_options(self):
     self.add_opt('-p',
                  '--parquet',
                  metavar='<file/dir>',
                  help='Parquet input file/dir ($PARQUET)',
                  default=getenv('PARQUET'))
     self.add_opt('-a',
                  '--avro-dir',
                  metavar='<dir>',
                  help='Avro output dir ($AVRODIR)',
                  default=getenv('AVRODIR'))