Python hadoop_params示例

示例#1

文件： test_utils.py 项目： xuande/pydoop

def get_bytes_per_checksum():
    params = pydoop.hadoop_params(_HADOOP_CONF_DIR, _HADOOP_HOME)
    return int(params.get('io.bytes.per.checksum',
                          params.get('dfs.bytes-per-checksum',
                                     _DEFAULT_BYTES_PER_CHECKSUM)))

示例#2

文件： fs.py 项目： tivvit/pydoop

def default_is_local(hadoop_conf=None, hadoop_home=None):
    params = pydoop.hadoop_params(hadoop_conf, hadoop_home)
    default_fs = params.get("fs.default.name", params.get("fs.defaultFS", ""))
    return default_fs.startswith("file:")

示例#3

文件： fs.py 项目： onlynone/pydoop

def default_is_local(hadoop_conf=None, hadoop_home=None):
    params = pydoop.hadoop_params(hadoop_conf, hadoop_home)
    default_fs = params.get('fs.default.name', params.get('fs.defaultFS', ''))
    return default_fs.startswith('file:')

示例#4

文件： fs.py 项目： ZEMUSHKA/pydoop

def default_is_local(hadoop_conf=None, hadoop_home=None):
  params = pydoop.hadoop_params(hadoop_conf, hadoop_home)
  default_fs = params.get('fs.default.name', params.get('fs.defaultFS', ''))
  return default_fs.startswith('file:')