def main(): parser = ArgumentParser() parser.add_argument("--arch", default='bert', type=str) parser.add_argument("--do_data", action='store_true') parser.add_argument("--do_train", action='store_true') parser.add_argument("--do_test", action='store_true') parser.add_argument("--save_best", action='store_true') parser.add_argument("--do_lower_case", action='store_true') parser.add_argument('--data_name', default='train', type=str) parser.add_argument("--epochs", default=4, type=int) parser.add_argument("--resume_path", default='', type=str) parser.add_argument("--mode", default='max', type=str) parser.add_argument("--monitor", default='valid_f1', type=str) parser.add_argument("--valid_size", default=0.2, type=float) parser.add_argument("--local_rank", type=int, default=-1) parser.add_argument("--sorted", default=1, type=int, help='1 : True 0:False ') parser.add_argument("--n_gpu", type=str, default='0', help='"0,1,.." or "0" or "" ') parser.add_argument('--gradient_accumulation_steps', type=int, default=1) parser.add_argument("--train_batch_size", default=8, type=int) parser.add_argument('--eval_batch_size', default=8, type=int) parser.add_argument("--train_max_seq_len", default=256, type=int) parser.add_argument("--eval_max_seq_len", default=256, type=int) parser.add_argument('--loss_scale', type=float, default=0) parser.add_argument("--warmup_proportion", default=0.1, type=int, ) parser.add_argument("--weight_decay", default=0.01, type=float) parser.add_argument("--adam_epsilon", default=1e-8, type=float) parser.add_argument("--grad_clip", default=1.0, type=float) parser.add_argument("--learning_rate", default=2e-5, type=float) parser.add_argument('--seed', type=int, default=42) parser.add_argument('--fp16', action='store_true') parser.add_argument('--fp16_opt_level', type=str, default='O1') args = parser.parse_args() config['checkpoint_dir'] = config['checkpoint_dir'] / args.arch config['checkpoint_dir'].mkdir(exist_ok=True) # Good practice: save your training arguments together with the trained model torch.save(args, config['checkpoint_dir'] / 'training_args.bin') seed_everything(args.seed) init_logger(log_file=config['log_dir'] / f"{args.arch}.log") logger.info("Training/evaluation parameters %s", args) if args.do_data: from pybert.io.task_data import TaskData processor = BertProcessor(vocab_path=config['bert_vocab_path'], do_lower_case=args.do_lower_case) label_list = processor.get_labels() label2id = {label: i for i, label in enumerate(label_list)} data = TaskData() targets, sentences = data.read_data(raw_data_path=config['raw_data_path'], preprocessor=None, is_train=True,label2id=label2id) data.train_val_split(X=sentences, y=targets, shuffle=True, stratify=targets, valid_size=args.valid_size, data_dir=config['data_dir'], data_name=args.data_name) if args.do_train: run_train(args) if args.do_test: run_test(args)
def main(): parser = ArgumentParser() parser.add_argument("--arch", default='bert', type=str) parser.add_argument("--do_data", action='store_true') parser.add_argument("--train", action='store_true') parser.add_argument("--test", action='store_true') parser.add_argument("--save_best", action='store_true') parser.add_argument("--do_lower_case", action='store_true') parser.add_argument('--data_name', default='job_dataset', type=str) parser.add_argument("--epochs", default=10, type=int) parser.add_argument("--resume_path", default='', type=str) parser.add_argument("--test_path", default='', type=str) parser.add_argument("--mode", default='min', type=str) parser.add_argument("--monitor", default='valid_loss', type=str) parser.add_argument("--valid_size", default=0.05, type=float) parser.add_argument("--local_rank", type=int, default=-1) parser.add_argument("--sorted", default=1, type=int, help='1 : True 0:False ') parser.add_argument("--n_gpu", type=str, default='0', help='"0,1,.." or "0" or "" ') parser.add_argument('--gradient_accumulation_steps', type=int, default=1) parser.add_argument("--train_batch_size", default=4, type=int) parser.add_argument('--eval_batch_size', default=4, type=int) parser.add_argument("--train_max_seq_len", default=256, type=int) parser.add_argument("--eval_max_seq_len", default=256, type=int) parser.add_argument('--loss_scale', type=float, default=0) parser.add_argument( "--warmup_proportion", default=0.1, type=int, ) parser.add_argument("--weight_decay", default=0.01, type=float) parser.add_argument("--adam_epsilon", default=1e-8, type=float) parser.add_argument("--grad_clip", default=1.0, type=float) parser.add_argument("--learning_rate", default=1.0e-4, type=float) parser.add_argument('--seed', type=int, default=42) parser.add_argument('--fp16', action='store_true') parser.add_argument('--fp16_opt_level', type=str, default='O1') parser.add_argument('--predict_labels', type=bool, default=False) parser.add_argument('--predict_idx', type=str, default="0", help=' "idx" or "start-end" or "all" ') args = parser.parse_args() config['checkpoint_dir'] = config['checkpoint_dir'] / args.arch config['checkpoint_dir'].mkdir(exist_ok=True) torch.save(args, config['checkpoint_dir'] / 'training_args.bin') seed_everything(args.seed) init_logger(log_file=config['log_dir'] / f"{args.arch}.log") logger.info("Training/evaluation parameters %s", args) if args.do_data: from pybert.io.task_data import TaskData data = TaskData() targets, sentences = data.read_data( raw_data_path=config['raw_data_path'], preprocessor=EnglishPreProcessor(), is_train=True) data.train_val_split(X=sentences, y=targets, shuffle=False, stratify=False, valid_size=args.valid_size, data_dir=config['data_dir'], data_name=args.data_name) if args.train: run_train(args) if args.test: run_test(args)
def main(): parser = ArgumentParser() parser.add_argument("--arch", default='bert', type=str) parser.add_argument("--do_data", action='store_true') parser.add_argument("--do_train", action='store_true') parser.add_argument("--do_test", action='store_true') parser.add_argument("--save_best", action='store_true') parser.add_argument("--do_lower_case", action='store_true') parser.add_argument('--data_name', default='kaggle', type=str) parser.add_argument("--mode", default='min', type=str) parser.add_argument("--monitor", default='valid_loss', type=str) parser.add_argument("--epochs", default=20, type=int) parser.add_argument("--resume_path", default='', type=str) parser.add_argument("--predict_checkpoints", type=int, default=0) parser.add_argument("--valid_size", default=0.2, type=float) parser.add_argument("--local_rank", type=int, default=-1) parser.add_argument("--sorted", default=1, type=int, help='1 : True 0:False ') parser.add_argument("--n_gpu", type=str, default='0', help='"0,1,.." or "0" or "" ') parser.add_argument('--gradient_accumulation_steps', type=int, default=1) parser.add_argument("--train_batch_size", default=8, type=int) parser.add_argument('--eval_batch_size', default=8, type=int) parser.add_argument("--train_max_seq_len", default=256, type=int) parser.add_argument("--eval_max_seq_len", default=256, type=int) parser.add_argument('--loss_scale', type=float, default=0) parser.add_argument("--warmup_proportion", default=0.1, type=float) parser.add_argument("--weight_decay", default=0.01, type=float) parser.add_argument("--adam_epsilon", default=1e-8, type=float) parser.add_argument("--grad_clip", default=1.0, type=float) parser.add_argument("--learning_rate", default=2e-5, type=float) parser.add_argument('--seed', type=int, default=42) parser.add_argument('--fp16', action='store_true') parser.add_argument('--fp16_opt_level', type=str, default='O1') args = parser.parse_args() init_logger( log_file=config['log_dir'] / f'{args.arch}-{time.strftime("%Y-%m-%d-%H:%M:%S", time.localtime())}.log' ) config['checkpoint_dir'] = config['checkpoint_dir'] / args.arch config['checkpoint_dir'].mkdir(exist_ok=True) # Good practice: save your training arguments together with the trained model torch.save(args, config['checkpoint_dir'] / 'training_args.bin') seed_everything(args.seed) logger.info("Training/evaluation parameters %s", args) args.save_best = False args.do_train = True args.resume_path = 'pybert/output/checkpoints/bert/checkpoint-epoch-3' args.do_lower_case = True if args.do_data: from pybert.io.task_data import TaskData data = TaskData() targets, sentences = data.read_data( raw_data_path=config['raw_data_path'], preprocessor=EnglishPreProcessor(), is_train=True) data.train_val_split(X=sentences, y=targets, shuffle=True, stratify=False, valid_size=args.valid_size, data_dir=config['data_dir'], data_name=args.data_name) if args.do_train: run_train(args) if args.do_test: run_test(args)
def main(): parser = ArgumentParser() parser.add_argument("--arch", default='bert', type=str) # 使用的预训练语言模型 parser.add_argument("--do_data", action='store_true') # 进行数据切分 parser.add_argument("--do_train", action='store_true') # 进行模型训练 parser.add_argument("--do_test", action='store_true') # 进行模型推断 parser.add_argument("--save_best", action='store_true') # 保留最好的模型 parser.add_argument("--do_lower_case", action='store_true') parser.add_argument('--data_name', default='ccks', type=str) # 数据集的名字 parser.add_argument("--mode", default='min', type=str) # 设置monitor关注的角度 parser.add_argument("--monitor", default='valid_loss', type=str) parser.add_argument("--task_type", default='base', type=str) parser.add_argument("--epochs", default=4, type=int) parser.add_argument("--resume_path", default='', type=str) # 恢复路径,从pretrained model中载入模型 parser.add_argument("--predict_checkpoints", type=int, default=0) parser.add_argument("--valid_size", default=0.2, type=float) # 验证集的大小 parser.add_argument("--local_rank", type=int, default=-1) parser.add_argument("--sorted", default=1, type=int, help='1 : True 0:False ') # 表示是否按照序列的长度排序 parser.add_argument("--n_gpu", type=str, default='0', help='"0,1,.." or "0" or "" ') parser.add_argument( '--gradient_accumulation_steps', type=int, default=1) # gradient_accumulation_steps的大小,用于解决内存小,无法使用大batch_size的问题 parser.add_argument("--train_batch_size", default=8, type=int) # 训练集batch_size parser.add_argument('--eval_batch_size', default=8, type=int) # 测试集batch_size parser.add_argument("--train_max_seq_len", default=256, type=int) # 训练集sequence的最大长度 parser.add_argument("--eval_max_seq_len", default=256, type=int) # 测试集sequence的最大长度 parser.add_argument('--loss_scale', type=float, default=0) # TODO: 理解loss scale的作用 parser.add_argument("--warmup_proportion", default=0.1, type=float) # 用于learning rate上的warmup proportion parser.add_argument("--weight_decay", default=0.01, type=float) # TODO: 理解weight decay的含义 parser.add_argument("--adam_epsilon", default=1e-8, type=float) # adam优化器的参数 parser.add_argument("--grad_clip", default=1.0, type=float) # TODO: 理解grad clip的含义 parser.add_argument("--learning_rate", default=2e-5, type=float) # 学习率 parser.add_argument('--seed', type=int, default=42) # 随机数种子 parser.add_argument('--fp16', action='store_true') # TODO: 理解fp16是什么 parser.add_argument('--fp16_opt_level', type=str, default='O1') args = parser.parse_args() # 初始化日志记录器logger config['log_dir'].mkdir(exist_ok=True) # 源代码没有写这句代码 init_logger( log_file=config['log_dir'] / f'{args.arch}-{time.strftime("%Y-%m-%d-%H:%M:%S", time.localtime())}.log' ) config['checkpoint_dir'] = config[ 'checkpoint_dir'] / args.arch / args.task_type # 重新调整输出的位置 config['checkpoint_dir'].mkdir(exist_ok=True) BASE_DIR = Path('pybert') config[ 'raw_data_path'] = BASE_DIR / f'dataset/train_{args.task_type}_sample.csv' config['test_path'] = BASE_DIR / f'dataset/test_{args.task_type}.csv' config['figure_dir'] = config['figure_dir'] / f'{args.task_type}' config['figure_dir'].mkdir(exist_ok=True) # 动态修改文件路径 # BASE_DIR = Path('pybert') # if args.task_type == 'trans': # config['raw_data_path'] = BASE_DIR / 'dataset/train_trans_sample.csv' # config['test_path'] = BASE_DIR / 'dataset/test_trans.csv' # config['figure_dir'] = config['figure_dir'] / f'{args.task_type}' # config['figure_dir'].mkdir(exist_ok=True) # elif args.task_type == 'base': # config['raw_data_path'] = BASE_DIR / 'dataset/train_base_sample.csv' # config['test_path'] = BASE_DIR / 'dataset/test_base.csv' # config['figure_dir'] = config['figure_dir'] / f'{args.task_type}' # config['figure_dir'].mkdir(exist_ok=True) # else: # raise ValueError(f"Invalid task_type {args.task_type}") # Good practice: save your training arguments together with the trained model torch.save(args, config['checkpoint_dir'] / 'training_args.bin') seed_everything(args.seed) # 一个方法设置所有的seed logger.info("Training/evaluation parameters %s", args) if args.do_data: from pybert.io.task_data import TaskData data = TaskData() ids, targets, sentences = data.read_data( raw_data_path=config['raw_data_path'], preprocessor=ChinesePreProcessor(), is_train=True) data.train_val_split(X=sentences, y=targets, shuffle=True, stratify=False, valid_size=args.valid_size, data_dir=config['data_dir'], data_name=args.data_name, task_type=args.task_type) # 增加了task_type参数 if args.do_train: run_train(args) if args.do_test: run_test(args)