Ejemplo n.º 1
0
 def __init__(self, partition_num, cacheLimit=None):
     self.uuid = str(uuid_pkg.uuid4())
     self.partitioner = HashPartitioner(partition_num)
     self.data = LRUDict(cacheLimit)
     self.cacheLimit = cacheLimit
     self.updated = {}
     self.generation = 1
     self.register(self)
     self.is_local = True
Ejemplo n.º 2
0
 def defaultPartitioner(self, part=None):
     if part is None:
         part = self.ssc.sc.defaultParallelism
     return HashPartitioner(part)