Beispiel #1
0
def run_job_with_params(repo, job_params, doc):
    drop_derived_collections(repo)
    store_json(repo, 'nikolaj.params', job_params)
    startTime, _, endTime = geoagg.run()
    doc.update(geoagg.to_prov(startTime, endTime, job_params[0]))
    startTime, _, endTime = pagerank.run()
    doc.update(pagerank.to_prov(startTime, endTime, job_params[1]))
def run_job_with_params(repo, job_params, doc):
    drop_derived_collections(repo)
    store_json(repo, 'nikolaj.params', job_params)
    startTime, _, endTime = geoagg.run()
    doc.update(geoagg.to_prov(startTime, endTime, job_params[0]))
    startTime, _, endTime = pagerank.run()
    doc.update(pagerank.to_prov(startTime, endTime, job_params[1]))
def to_prov(repo):
    doc = prov.model.ProvDocument()
    doc.update(storeT.to_prov(None, None))
    doc.update(storeBus.to_prov(None, None))
    doc.update(combine_t_bus.to_prov(None, None))
    doc.update(geoagg.to_prov(None, None))
    doc.update(pagerank.to_prov(None, None))
    
    repo.record(doc.serialize()) # Record the provenance document.
    with open('plan.json','w') as plan:
        plan.write(json.dumps(json.loads(doc.serialize()), indent=4))
    print(doc.get_provn())
def to_prov(repo):
    doc = prov.model.ProvDocument()
    doc.update(storeT.to_prov(None, None))
    doc.update(storeBus.to_prov(None, None))
    doc.update(combine_t_bus.to_prov(None, None))
    doc.update(geoagg.to_prov(None, None))
    doc.update(pagerank.to_prov(None, None))

    repo.record(doc.serialize())  # Record the provenance document.
    with open('plan.json', 'w') as plan:
        plan.write(json.dumps(json.loads(doc.serialize()), indent=4))
    print(doc.get_provn())