def main():
parser = ArgumentParser()
parser.add_argument("--arch", default='bert', type=str)
parser.add_argument("--do_data", action='store_true')
parser.add_argument("--do_train", action='store_true')
parser.add_argument("--do_test", action='store_true')
parser.add_argument("--save_best", action='store_true')
parser.add_argument("--do_lower_case", action='store_true')
parser.add_argument('--data_name', default='train', type=str)
parser.add_argument("--epochs", default=4, type=int)
parser.add_argument("--resume_path", default='', type=str)
parser.add_argument("--mode", default='max', type=str)
parser.add_argument("--monitor", default='valid_f1', type=str)
parser.add_argument("--valid_size", default=0.2, type=float)
parser.add_argument("--local_rank", type=int, default=-1)
parser.add_argument("--sorted", default=1, type=int, help='1 : True 0:False ')
parser.add_argument("--n_gpu", type=str, default='0', help='"0,1,.." or "0" or "" ')
parser.add_argument('--gradient_accumulation_steps', type=int, default=1)
parser.add_argument("--train_batch_size", default=8, type=int)
parser.add_argument('--eval_batch_size', default=8, type=int)
parser.add_argument("--train_max_seq_len", default=256, type=int)
parser.add_argument("--eval_max_seq_len", default=256, type=int)
parser.add_argument('--loss_scale', type=float, default=0)
parser.add_argument("--warmup_proportion", default=0.1, type=int, )
parser.add_argument("--weight_decay", default=0.01, type=float)
parser.add_argument("--adam_epsilon", default=1e-8, type=float)
parser.add_argument("--grad_clip", default=1.0, type=float)
parser.add_argument("--learning_rate", default=2e-5, type=float)
parser.add_argument('--seed', type=int, default=42)
parser.add_argument('--fp16', action='store_true')
parser.add_argument('--fp16_opt_level', type=str, default='O1')
args = parser.parse_args()
config['checkpoint_dir'] = config['checkpoint_dir'] / args.arch
config['checkpoint_dir'].mkdir(exist_ok=True)
# Good practice: save your training arguments together with the trained model
torch.save(args, config['checkpoint_dir'] / 'training_args.bin')
seed_everything(args.seed)
init_logger(log_file=config['log_dir'] / f"{args.arch}.log")
logger.info("Training/evaluation parameters %s", args)
if args.do_data:
from pybert.io.task_data import TaskData
processor = BertProcessor(vocab_path=config['bert_vocab_path'], do_lower_case=args.do_lower_case)
label_list = processor.get_labels()
label2id = {label: i for i, label in enumerate(label_list)}
data = TaskData()
targets, sentences = data.read_data(raw_data_path=config['raw_data_path'],
preprocessor=None, is_train=True,label2id=label2id)
data.train_val_split(X=sentences, y=targets, shuffle=True, stratify=targets,
valid_size=args.valid_size, data_dir=config['data_dir'],
data_name=args.data_name)
if args.do_train:
run_train(args)
if args.do_test:
run_test(args)
def main():
parser = ArgumentParser()
parser.add_argument("--arch", default='bert', type=str)
parser.add_argument("--do_data", action='store_true')
parser.add_argument("--train", action='store_true')
parser.add_argument("--test", action='store_true')
parser.add_argument("--save_best", action='store_true')
parser.add_argument("--do_lower_case", action='store_true')
parser.add_argument('--data_name', default='job_dataset', type=str)
parser.add_argument("--epochs", default=10, type=int)
parser.add_argument("--resume_path", default='', type=str)
parser.add_argument("--test_path", default='', type=str)
parser.add_argument("--mode", default='min', type=str)
parser.add_argument("--monitor", default='valid_loss', type=str)
parser.add_argument("--valid_size", default=0.05, type=float)
parser.add_argument("--local_rank", type=int, default=-1)
parser.add_argument("--sorted",
default=1,
type=int,
help='1 : True 0:False ')
parser.add_argument("--n_gpu",
type=str,
default='0',
help='"0,1,.." or "0" or "" ')
parser.add_argument('--gradient_accumulation_steps', type=int, default=1)
parser.add_argument("--train_batch_size", default=4, type=int)
parser.add_argument('--eval_batch_size', default=4, type=int)
parser.add_argument("--train_max_seq_len", default=256, type=int)
parser.add_argument("--eval_max_seq_len", default=256, type=int)
parser.add_argument('--loss_scale', type=float, default=0)
parser.add_argument(
"--warmup_proportion",
default=0.1,
type=int,
)
parser.add_argument("--weight_decay", default=0.01, type=float)
parser.add_argument("--adam_epsilon", default=1e-8, type=float)
parser.add_argument("--grad_clip", default=1.0, type=float)
parser.add_argument("--learning_rate", default=1.0e-4, type=float)
parser.add_argument('--seed', type=int, default=42)
parser.add_argument('--fp16', action='store_true')
parser.add_argument('--fp16_opt_level', type=str, default='O1')
parser.add_argument('--predict_labels', type=bool, default=False)
parser.add_argument('--predict_idx',
type=str,
default="0",
help=' "idx" or "start-end" or "all" ')
args = parser.parse_args()
config['checkpoint_dir'] = config['checkpoint_dir'] / args.arch
config['checkpoint_dir'].mkdir(exist_ok=True)
torch.save(args, config['checkpoint_dir'] / 'training_args.bin')
seed_everything(args.seed)
init_logger(log_file=config['log_dir'] / f"{args.arch}.log")
logger.info("Training/evaluation parameters %s", args)
if args.do_data:
from pybert.io.task_data import TaskData
data = TaskData()
targets, sentences = data.read_data(
raw_data_path=config['raw_data_path'],
preprocessor=EnglishPreProcessor(),
is_train=True)
data.train_val_split(X=sentences,
y=targets,
shuffle=False,
stratify=False,
valid_size=args.valid_size,
data_dir=config['data_dir'],
data_name=args.data_name)
if args.train:
run_train(args)
if args.test:
run_test(args)
def main():
parser = ArgumentParser()
parser.add_argument("--arch", default='bert', type=str)
parser.add_argument("--do_data", action='store_true')
parser.add_argument("--do_train", action='store_true')
parser.add_argument("--do_test", action='store_true')
parser.add_argument("--save_best", action='store_true')
parser.add_argument("--do_lower_case", action='store_true')
parser.add_argument('--data_name', default='kaggle', type=str)
parser.add_argument("--mode", default='min', type=str)
parser.add_argument("--monitor", default='valid_loss', type=str)
parser.add_argument("--epochs", default=20, type=int)
parser.add_argument("--resume_path", default='', type=str)
parser.add_argument("--predict_checkpoints", type=int, default=0)
parser.add_argument("--valid_size", default=0.2, type=float)
parser.add_argument("--local_rank", type=int, default=-1)
parser.add_argument("--sorted",
default=1,
type=int,
help='1 : True 0:False ')
parser.add_argument("--n_gpu",
type=str,
default='0',
help='"0,1,.." or "0" or "" ')
parser.add_argument('--gradient_accumulation_steps', type=int, default=1)
parser.add_argument("--train_batch_size", default=8, type=int)
parser.add_argument('--eval_batch_size', default=8, type=int)
parser.add_argument("--train_max_seq_len", default=256, type=int)
parser.add_argument("--eval_max_seq_len", default=256, type=int)
parser.add_argument('--loss_scale', type=float, default=0)
parser.add_argument("--warmup_proportion", default=0.1, type=float)
parser.add_argument("--weight_decay", default=0.01, type=float)
parser.add_argument("--adam_epsilon", default=1e-8, type=float)
parser.add_argument("--grad_clip", default=1.0, type=float)
parser.add_argument("--learning_rate", default=2e-5, type=float)
parser.add_argument('--seed', type=int, default=42)
parser.add_argument('--fp16', action='store_true')
parser.add_argument('--fp16_opt_level', type=str, default='O1')
args = parser.parse_args()
init_logger(
log_file=config['log_dir'] /
f'{args.arch}-{time.strftime("%Y-%m-%d-%H:%M:%S", time.localtime())}.log'
)
config['checkpoint_dir'] = config['checkpoint_dir'] / args.arch
config['checkpoint_dir'].mkdir(exist_ok=True)
# Good practice: save your training arguments together with the trained model
torch.save(args, config['checkpoint_dir'] / 'training_args.bin')
seed_everything(args.seed)
logger.info("Training/evaluation parameters %s", args)
args.save_best = False
args.do_train = True
args.resume_path = 'pybert/output/checkpoints/bert/checkpoint-epoch-3'
args.do_lower_case = True
if args.do_data:
from pybert.io.task_data import TaskData
data = TaskData()
targets, sentences = data.read_data(
raw_data_path=config['raw_data_path'],
preprocessor=EnglishPreProcessor(),
is_train=True)
data.train_val_split(X=sentences,
y=targets,
shuffle=True,
stratify=False,
valid_size=args.valid_size,
data_dir=config['data_dir'],
data_name=args.data_name)
if args.do_train:
run_train(args)
if args.do_test:
run_test(args)
def main():
parser = ArgumentParser()
parser.add_argument("--arch", default='bert', type=str) # 使用的预训练语言模型
parser.add_argument("--do_data", action='store_true') # 进行数据切分
parser.add_argument("--do_train", action='store_true') # 进行模型训练
parser.add_argument("--do_test", action='store_true') # 进行模型推断
parser.add_argument("--save_best", action='store_true') # 保留最好的模型
parser.add_argument("--do_lower_case", action='store_true')
parser.add_argument('--data_name', default='ccks', type=str) # 数据集的名字
parser.add_argument("--mode", default='min', type=str) # 设置monitor关注的角度
parser.add_argument("--monitor", default='valid_loss', type=str)
parser.add_argument("--task_type", default='base', type=str)
parser.add_argument("--epochs", default=4, type=int)
parser.add_argument("--resume_path", default='',
type=str) # 恢复路径，从pretrained model中载入模型
parser.add_argument("--predict_checkpoints", type=int, default=0)
parser.add_argument("--valid_size", default=0.2, type=float) # 验证集的大小
parser.add_argument("--local_rank", type=int, default=-1)
parser.add_argument("--sorted",
default=1,
type=int,
help='1 : True 0:False ') # 表示是否按照序列的长度排序
parser.add_argument("--n_gpu",
type=str,
default='0',
help='"0,1,.." or "0" or "" ')
parser.add_argument(
'--gradient_accumulation_steps', type=int,
default=1) # gradient_accumulation_steps的大小，用于解决内存小，无法使用大batch_size的问题
parser.add_argument("--train_batch_size", default=8,
type=int) # 训练集batch_size
parser.add_argument('--eval_batch_size', default=8,
type=int) # 测试集batch_size
parser.add_argument("--train_max_seq_len", default=256,
type=int) # 训练集sequence的最大长度
parser.add_argument("--eval_max_seq_len", default=256,
type=int) # 测试集sequence的最大长度
parser.add_argument('--loss_scale', type=float,
default=0) # TODO: 理解loss scale的作用
parser.add_argument("--warmup_proportion", default=0.1,
type=float) # 用于learning rate上的warmup proportion
parser.add_argument("--weight_decay", default=0.01,
type=float) # TODO: 理解weight decay的含义
parser.add_argument("--adam_epsilon", default=1e-8,
type=float) # adam优化器的参数
parser.add_argument("--grad_clip", default=1.0,
type=float) # TODO: 理解grad clip的含义
parser.add_argument("--learning_rate", default=2e-5, type=float) # 学习率
parser.add_argument('--seed', type=int, default=42) # 随机数种子
parser.add_argument('--fp16', action='store_true') # TODO: 理解fp16是什么
parser.add_argument('--fp16_opt_level', type=str, default='O1')
args = parser.parse_args()
# 初始化日志记录器logger
config['log_dir'].mkdir(exist_ok=True) # 源代码没有写这句代码
init_logger(
log_file=config['log_dir'] /
f'{args.arch}-{time.strftime("%Y-%m-%d-%H:%M:%S", time.localtime())}.log'
)
config['checkpoint_dir'] = config[
'checkpoint_dir'] / args.arch / args.task_type # 重新调整输出的位置
config['checkpoint_dir'].mkdir(exist_ok=True)
BASE_DIR = Path('pybert')
config[
'raw_data_path'] = BASE_DIR / f'dataset/train_{args.task_type}_sample.csv'
config['test_path'] = BASE_DIR / f'dataset/test_{args.task_type}.csv'
config['figure_dir'] = config['figure_dir'] / f'{args.task_type}'
config['figure_dir'].mkdir(exist_ok=True)
# 动态修改文件路径
# BASE_DIR = Path('pybert')
# if args.task_type == 'trans':
# config['raw_data_path'] = BASE_DIR / 'dataset/train_trans_sample.csv'
# config['test_path'] = BASE_DIR / 'dataset/test_trans.csv'
# config['figure_dir'] = config['figure_dir'] / f'{args.task_type}'
# config['figure_dir'].mkdir(exist_ok=True)
# elif args.task_type == 'base':
# config['raw_data_path'] = BASE_DIR / 'dataset/train_base_sample.csv'
# config['test_path'] = BASE_DIR / 'dataset/test_base.csv'
# config['figure_dir'] = config['figure_dir'] / f'{args.task_type}'
# config['figure_dir'].mkdir(exist_ok=True)
# else:
# raise ValueError(f"Invalid task_type {args.task_type}")
# Good practice: save your training arguments together with the trained model
torch.save(args, config['checkpoint_dir'] / 'training_args.bin')
seed_everything(args.seed) # 一个方法设置所有的seed
logger.info("Training/evaluation parameters %s", args)
if args.do_data:
from pybert.io.task_data import TaskData
data = TaskData()
ids, targets, sentences = data.read_data(
raw_data_path=config['raw_data_path'],
preprocessor=ChinesePreProcessor(),
is_train=True)
data.train_val_split(X=sentences,
y=targets,
shuffle=True,
stratify=False,
valid_size=args.valid_size,
data_dir=config['data_dir'],
data_name=args.data_name,
task_type=args.task_type) # 增加了task_type参数
if args.do_train:
run_train(args)
if args.do_test:
run_test(args)