def pack_dataset(dataset: Dataset):
data = {
"dataset_id": dataset.dataset_id,
"metadata": dataset.metadata,
"dataset_config": dataset.dataset_config
}
module_path = ModuleUtils.get_module_path(dataset.module)
module_zip_data = ZipUtils.get_compress_data(module_path,
dataset.dataset_id)
return json.dumps(data).encode("utf-8"), module_zip_data
def pack_job(job: Job):
data = {
"job_id": job.job_id,
"metadata": job.metadata.to_dict(),
"job_config": job.job_config.to_dict(),
"train_config": job.train_config.to_dict(),
"aggregate_config": job.aggregate_config.to_dict()
}
module_path = ModuleUtils.get_module_path(job.module)
module_zip_data = ZipUtils.get_compress_data(module_path, job.job_id)
return json.dumps(data).encode("utf-8"), module_zip_data
from gfl.utils import ZipUtils
if __name__ == "__main__":
data = ZipUtils.get_compress_data("__init__.py", "")
ZipUtils.extract_data(data, "t2")