Ejemplos de send_coordinator en Python

Ejemplo n.º 1

Archivo: clean_hdfs.py Proyecto: vibster/compute-hadoop-java-python

def main():
    common.setup()
    if len(sys.argv) != 3 or sys.argv[1] != '-f':
        print 'USAGE: {0} -f hdfs_path'.format(common.script_name())
        print 'WARNING: This deletes hdfs_path from your cluster.'
        sys.exit(1)

    nix = sys.argv[2]
    common.send_coordinator('/job/clean', {'path': nix}, verify=True)

Ejemplo n.º 2

Archivo: clean_hdfs.py Proyecto: GoogleCloudPlatform/compute-hadoop-java-python

def main():
  common.setup()
  if len(sys.argv) != 3 or sys.argv[1] != '-f':
    print 'USAGE: {0} -f hdfs_path'.format(common.script_name())
    print 'WARNING: This deletes hdfs_path from your cluster.'
    sys.exit(1)

  nix = sys.argv[2]
  common.send_coordinator('/job/clean', {'path': nix}, verify=True)

Ejemplo n.º 3

Archivo: add_slaves.py Proyecto: GoogleCloudPlatform/compute-hadoop-java-python

def main():
  common.setup()

  if len(sys.argv) != 2:
    print 'USAGE: {0} num_slaves'.format(common.script_name())
    sys.exit(1)

  num_slaves = int(sys.argv[1])

  print 'Adding {0} slaves...'.format(num_slaves)
  common.send_coordinator('/hadoop/add_slaves', {'num_slaves': num_slaves})

Ejemplo n.º 4

Archivo: add_slaves.py Proyecto: vibster/compute-hadoop-java-python

def main():
    common.setup()

    if len(sys.argv) != 2:
        print 'USAGE: {0} num_slaves'.format(common.script_name())
        sys.exit(1)

    num_slaves = int(sys.argv[1])

    print 'Adding {0} slaves...'.format(num_slaves)
    common.send_coordinator('/hadoop/add_slaves', {'num_slaves': num_slaves})

Ejemplo n.º 5

Archivo: begin_hadoop.py Proyecto: vibster/compute-hadoop-java-python

def main():
    common.setup()

    if len(sys.argv) != 2:
        print 'USAGE: {0} num_slaves'.format(common.script_name())
        sys.exit(1)
    num_slaves = int(sys.argv[1])
    if num_slaves < cfg.needed_slaves:
        print('Hadoop needs at least {0} slaves for filesystem '
              'replication').format(cfg.needed_slaves)
        sys.exit(1)

    print 'Setting up Hadoop...'
    common.send_coordinator('/hadoop/launch', {'num_slaves': num_slaves})
    common.wait_for_hadoop()

Ejemplo n.º 6

Archivo: begin_hadoop.py Proyecto: GoogleCloudPlatform/compute-hadoop-java-python

def main():
  common.setup()

  if len(sys.argv) != 2:
    print 'USAGE: {0} num_slaves'.format(common.script_name())
    sys.exit(1)
  num_slaves = int(sys.argv[1])
  if num_slaves < cfg.needed_slaves:
    print ('Hadoop needs at least {0} slaves for filesystem '
           'replication').format(cfg.needed_slaves)
    sys.exit(1)

  print 'Setting up Hadoop...'
  common.send_coordinator('/hadoop/launch', {'num_slaves': num_slaves})
  common.wait_for_hadoop()

Ejemplo n.º 7

Archivo: status.py Proyecto: GoogleCloudPlatform/compute-hadoop-java-python

def main():
  try:
    common.setup()
    data = common.send_coordinator('/status/cluster', {})
    common.pprint_status(data)
  except TypeError:
    print 'The coordinator is not running, or you sent the wrong secret.'

Ejemplo n.º 8

def main():
    try:
        common.setup()
        data = common.send_coordinator('/status/cluster', {})
        common.pprint_status(data)
    except TypeError:
        print 'The coordinator is not running, or you sent the wrong secret.'