def test_maybe_sqr_output_transform(): estimator = lightgbm.LGBMRegressor(n_estimators=2, random_state=1, max_depth=1, reg_sqrt=True, objective="regression_l1") utils.get_regression_model_trainer()(estimator) assembler = assemblers.LightGBMModelAssembler(estimator) actual = assembler.assemble() raw_output = ast.IdExpr(ast.BinNumExpr( ast.IfExpr( ast.CompExpr(ast.FeatureRef(12), ast.NumVal(9.905), ast.CompOpType.GT), ast.NumVal(4.5658116817), ast.NumVal(4.6620790482)), ast.IfExpr( ast.CompExpr(ast.FeatureRef(12), ast.NumVal(9.77), ast.CompOpType.GT), ast.NumVal(-0.0340889740), ast.NumVal(0.0543687153)), ast.BinNumOpType.ADD), to_reuse=True) expected = ast.BinNumExpr(ast.AbsExpr(raw_output), raw_output, ast.BinNumOpType.MUL) assert utils.cmp_exprs(actual, expected)
def test_count_all_exprs_types(): expr = ast.BinVectorNumExpr( ast.BinVectorExpr( ast.VectorVal([ ast.AbsExpr(ast.NumVal(-2)), ast.ExpExpr(ast.NumVal(2)), ast.SqrtExpr(ast.NumVal(2)), ast.PowExpr(ast.NumVal(2), ast.NumVal(3)), ast.TanhExpr(ast.NumVal(1)), ast.BinNumExpr( ast.NumVal(0), ast.FeatureRef(0), ast.BinNumOpType.ADD) ]), ast.IdExpr( ast.VectorVal([ ast.NumVal(1), ast.NumVal(2), ast.NumVal(3), ast.NumVal(4), ast.NumVal(5), ast.FeatureRef(1) ])), ast.BinNumOpType.SUB), ast.IfExpr( ast.CompExpr(ast.NumVal(2), ast.NumVal(0), ast.CompOpType.GT), ast.NumVal(3), ast.NumVal(4), ), ast.BinNumOpType.MUL) assert ast.count_exprs(expr) == 31
def test_maybe_sqr_output_transform(): estimator = lgb.LGBMRegressor(n_estimators=2, random_state=1, max_depth=1, reg_sqrt=True, objective="regression_l1") utils.get_regression_model_trainer()(estimator) assembler = LightGBMModelAssembler(estimator) actual = assembler.assemble() raw_output = ast.IdExpr(ast.BinNumExpr( ast.IfExpr( ast.CompExpr(ast.FeatureRef(12), ast.NumVal(9.725), ast.CompOpType.GT), ast.NumVal(4.569350528717041), ast.NumVal(4.663526439666748)), ast.IfExpr( ast.CompExpr(ast.FeatureRef(12), ast.NumVal(11.655), ast.CompOpType.GT), ast.NumVal(-0.04462450027465819), ast.NumVal(0.033305134773254384)), ast.BinNumOpType.ADD), to_reuse=True) expected = ast.BinNumExpr(ast.AbsExpr(raw_output), raw_output, ast.BinNumOpType.MUL) assert utils.cmp_exprs(actual, expected)
def log1p(expr): # Use trick to compute log1p for small values more accurate # https://www.johndcook.com/blog/2012/07/25/trick-for-computing-log1x/ expr = ast.IdExpr(expr, to_reuse=True) expr1p = utils.add(ast.NumVal(1.0), expr, to_reuse=True) expr1pm1 = utils.sub(expr1p, ast.NumVal(1.0), to_reuse=True) return ast.IfExpr( utils.eq(expr1pm1, ast.NumVal(0.0)), expr, utils.div(utils.mul(expr, ast.LogExpr(expr1p)), expr1pm1))
def tanh(expr): expr = ast.IdExpr(expr, to_reuse=True) tanh_expr = utils.sub( ast.NumVal(1.0), utils.div( ast.NumVal(2.0), utils.add(ast.ExpExpr(utils.mul(ast.NumVal(2.0), expr)), ast.NumVal(1.0)))) return ast.IfExpr( utils.gt(expr, ast.NumVal(44.0)), # exp(2*x) <= 2^127 ast.NumVal(1.0), ast.IfExpr(utils.lt(expr, ast.NumVal(-44.0)), ast.NumVal(-1.0), tanh_expr))
def _maybe_sqr_transform(self, expr): if "sqrt" in self.objective_config_parts: expr = ast.IdExpr(expr, to_reuse=True) return utils.mul(ast.AbsExpr(expr), expr) else: return expr
def abs(expr): expr = ast.IdExpr(expr, to_reuse=True) return ast.IfExpr(utils.lt(expr, ast.NumVal(0)), utils.sub(ast.NumVal(0.0), expr), expr)
ast.SigmoidExpr(ast.NumVal(2)), ast.SqrtExpr(ast.NumVal(2)), ast.PowExpr(ast.NumVal(2), ast.NumVal(3)), ast.TanhExpr(ast.NumVal(1)), ast.BinNumExpr( ast.NumVal(0), ast.FeatureRef(0), ast.BinNumOpType.ADD) ]), ast.IdExpr( ast.SoftmaxExpr([ ast.NumVal(1), ast.NumVal(2), ast.NumVal(3), ast.NumVal(4), ast.NumVal(5), ast.NumVal(6), ast.NumVal(7), ast.NumVal(8), ast.NumVal(9), ast.FeatureRef(1) ])), ast.BinNumOpType.SUB), ast.IfExpr( ast.CompExpr(ast.NumVal(2), ast.NumVal(0), ast.CompOpType.GT), ast.NumVal(3), ast.NumVal(4), ), ast.BinNumOpType.MUL)
ast.AbsExpr(ast.NumVal(-2)), ast.ExpExpr(ast.NumVal(2)), ast.LogExpr(ast.NumVal(2)), ast.Log1pExpr(ast.NumVal(2)), ast.SqrtExpr(ast.NumVal(2)), ast.PowExpr(ast.NumVal(2), ast.NumVal(3)), ast.TanhExpr(ast.NumVal(1)), ast.BinNumExpr(ast.NumVal(0), ast.FeatureRef(0), ast.BinNumOpType.ADD) ]), ast.IdExpr( ast.VectorVal([ ast.NumVal(1), ast.NumVal(2), ast.NumVal(3), ast.NumVal(4), ast.NumVal(5), ast.NumVal(6), ast.NumVal(7), ast.FeatureRef(1) ])), ast.BinNumOpType.SUB), ast.IfExpr( ast.CompExpr(ast.NumVal(2), ast.NumVal(0), ast.CompOpType.GT), ast.NumVal(3), ast.NumVal(4), ), ast.BinNumOpType.MUL) def test_count_all_exprs_types(): assert ast.count_exprs(EXPR_WITH_ALL_EXPRS) == 37
ast.LogExpr(ast.NumVal(2)), ast.Log1pExpr(ast.NumVal(2)), ast.SqrtExpr(ast.NumVal(2)), ast.PowExpr(ast.NumVal(2), ast.NumVal(3)), ast.TanhExpr(ast.NumVal(1)), ast.BinNumExpr( ast.NumVal(0), ast.FeatureRef(0), ast.BinNumOpType.ADD) ]), ast.IdExpr( ast.VectorVal([ ast.NumVal(1), ast.NumVal(2), ast.NumVal(3), ast.NumVal(4), ast.NumVal(5), ast.NumVal(6), ast.NumVal(7), ast.NumVal(8), ast.FeatureRef(1) ])), ast.BinNumOpType.SUB), ast.IfExpr( ast.CompExpr(ast.NumVal(2), ast.NumVal(0), ast.CompOpType.GT), ast.NumVal(3), ast.NumVal(4), ), ast.BinNumOpType.MUL) def test_count_all_exprs_types():
def atan(expr): expr = ast.IdExpr(expr, to_reuse=True) expr_abs = ast.AbsExpr(expr, to_reuse=True) expr_reduced = ast.IdExpr(ast.IfExpr( utils.gt(expr_abs, ast.NumVal(2.4142135623730950488)), utils.div(ast.NumVal(1.0), expr_abs), ast.IfExpr( utils.gt(expr_abs, ast.NumVal(0.66)), utils.div(utils.sub(expr_abs, ast.NumVal(1.0)), utils.add(expr_abs, ast.NumVal(1.0))), expr_abs)), to_reuse=True) P0 = ast.NumVal(-8.750608600031904122785e-01) P1 = ast.NumVal(1.615753718733365076637e+01) P2 = ast.NumVal(7.500855792314704667340e+01) P3 = ast.NumVal(1.228866684490136173410e+02) P4 = ast.NumVal(6.485021904942025371773e+01) Q0 = ast.NumVal(2.485846490142306297962e+01) Q1 = ast.NumVal(1.650270098316988542046e+02) Q2 = ast.NumVal(4.328810604912902668951e+02) Q3 = ast.NumVal(4.853903996359136964868e+02) Q4 = ast.NumVal(1.945506571482613964425e+02) expr2 = utils.mul(expr_reduced, expr_reduced, to_reuse=True) z = utils.mul( expr2, utils.div( utils.sub( utils.mul( expr2, utils.sub( utils.mul( expr2, utils.sub( utils.mul(expr2, utils.sub(utils.mul(expr2, P0), P1)), P2)), P3)), P4), utils.add( Q4, utils.mul( expr2, utils.add( Q3, utils.mul( expr2, utils.add( Q2, utils.mul( expr2, utils.add( Q1, utils.mul(expr2, utils.add(Q0, expr2))))))))))) z = utils.add(utils.mul(expr_reduced, z), expr_reduced) ret = utils.mul( z, ast.IfExpr(utils.gt(expr_abs, ast.NumVal(2.4142135623730950488)), ast.NumVal(-1.0), ast.NumVal(1.0))) ret = utils.add( ret, ast.IfExpr( utils.lte(expr_abs, ast.NumVal(0.66)), ast.NumVal(0.0), ast.IfExpr(utils.gt(expr_abs, ast.NumVal(2.4142135623730950488)), ast.NumVal(1.570796326794896680463661649), ast.NumVal(0.7853981633974483402318308245)))) ret = utils.mul( ret, ast.IfExpr(utils.lt(expr, ast.NumVal(0.0)), ast.NumVal(-1.0), ast.NumVal(1.0))) return ret