s3_dst_info = {
's3_config': {
'aws_profile': args.profile,
'bucket_name': args.output_s3bucket,
'path_s3_dst': child_dir
}
}
cm.add_info(config_path, s3_dst_info)
logger.info('学習データのロード')
train_df = load_train_data(args.input_path)
logger.info('前処理・特徴量エンジニアリング')
pp = PreProcessor(config_path=config_path, mode='train', label='Survived')
train_dataset = pp.get_dataset(train_df)
pp.save_transformers(child_dir=child_dir,
transformers_name='sample_transformers.pkl.cmp')
logger.info('学習')
m = Model(config_path=config_path, mode='train')
m.init_model()
m.train_with_cv(train_dataset)
m.save_model(dst_dir=model_dir,
child_dir=child_dir,
model_name='sample_model.pkl.cmp')
logger.info('推論時に利用する各種ファイルをS3にUpload')
# S3のUpload対象にconfigと学習データも含めたいとき，以下の処理を行う
# 1. configと学習データの情報を更新
newinfo = {
'config_name': Path(config_path).name,
'input_name': Path(args.input_path).name
