Exemplos de hadoop_params em Python

Exemplo n.º 1

Arquivo: test_utils.py Projeto: xuande/pydoop

def get_bytes_per_checksum():
    params = pydoop.hadoop_params(_HADOOP_CONF_DIR, _HADOOP_HOME)
    return int(params.get('io.bytes.per.checksum',
                          params.get('dfs.bytes-per-checksum',
                                     _DEFAULT_BYTES_PER_CHECKSUM)))

Exemplo n.º 2

Arquivo: fs.py Projeto: tivvit/pydoop

def default_is_local(hadoop_conf=None, hadoop_home=None):
    params = pydoop.hadoop_params(hadoop_conf, hadoop_home)
    default_fs = params.get("fs.default.name", params.get("fs.defaultFS", ""))
    return default_fs.startswith("file:")

Exemplo n.º 3

Arquivo: fs.py Projeto: onlynone/pydoop

def default_is_local(hadoop_conf=None, hadoop_home=None):
    params = pydoop.hadoop_params(hadoop_conf, hadoop_home)
    default_fs = params.get('fs.default.name', params.get('fs.defaultFS', ''))
    return default_fs.startswith('file:')

Exemplo n.º 4

Arquivo: fs.py Projeto: ZEMUSHKA/pydoop

def default_is_local(hadoop_conf=None, hadoop_home=None):
  params = pydoop.hadoop_params(hadoop_conf, hadoop_home)
  default_fs = params.get('fs.default.name', params.get('fs.defaultFS', ''))
  return default_fs.startswith('file:')