def test_maybe_sqr_output_transform():
estimator = lightgbm.LGBMRegressor(n_estimators=2,
random_state=1,
max_depth=1,
reg_sqrt=True,
objective="regression_l1")
utils.get_regression_model_trainer()(estimator)
assembler = assemblers.LightGBMModelAssembler(estimator)
actual = assembler.assemble()
raw_output = ast.IdExpr(ast.BinNumExpr(
ast.IfExpr(
ast.CompExpr(ast.FeatureRef(12), ast.NumVal(9.905),
ast.CompOpType.GT), ast.NumVal(4.5658116817),
ast.NumVal(4.6620790482)),
ast.IfExpr(
ast.CompExpr(ast.FeatureRef(12), ast.NumVal(9.77),
ast.CompOpType.GT), ast.NumVal(-0.0340889740),
ast.NumVal(0.0543687153)), ast.BinNumOpType.ADD),
to_reuse=True)
expected = ast.BinNumExpr(ast.AbsExpr(raw_output), raw_output,
ast.BinNumOpType.MUL)
assert utils.cmp_exprs(actual, expected)
def test_count_all_exprs_types():
expr = ast.BinVectorNumExpr(
ast.BinVectorExpr(
ast.VectorVal([
ast.AbsExpr(ast.NumVal(-2)),
ast.ExpExpr(ast.NumVal(2)),
ast.SqrtExpr(ast.NumVal(2)),
ast.PowExpr(ast.NumVal(2), ast.NumVal(3)),
ast.TanhExpr(ast.NumVal(1)),
ast.BinNumExpr(
ast.NumVal(0),
ast.FeatureRef(0),
ast.BinNumOpType.ADD)
]),
ast.IdExpr(
ast.VectorVal([
ast.NumVal(1),
ast.NumVal(2),
ast.NumVal(3),
ast.NumVal(4),
ast.NumVal(5),
ast.FeatureRef(1)
])),
ast.BinNumOpType.SUB),
ast.IfExpr(
ast.CompExpr(ast.NumVal(2), ast.NumVal(0), ast.CompOpType.GT),
ast.NumVal(3),
ast.NumVal(4),
),
ast.BinNumOpType.MUL)
assert ast.count_exprs(expr) == 31
def test_maybe_sqr_output_transform():
estimator = lgb.LGBMRegressor(n_estimators=2,
random_state=1,
max_depth=1,
reg_sqrt=True,
objective="regression_l1")
utils.get_regression_model_trainer()(estimator)
assembler = LightGBMModelAssembler(estimator)
actual = assembler.assemble()
raw_output = ast.IdExpr(ast.BinNumExpr(
ast.IfExpr(
ast.CompExpr(ast.FeatureRef(12), ast.NumVal(9.725),
ast.CompOpType.GT), ast.NumVal(4.569350528717041),
ast.NumVal(4.663526439666748)),
ast.IfExpr(
ast.CompExpr(ast.FeatureRef(12), ast.NumVal(11.655),
ast.CompOpType.GT), ast.NumVal(-0.04462450027465819),
ast.NumVal(0.033305134773254384)), ast.BinNumOpType.ADD),
to_reuse=True)
expected = ast.BinNumExpr(ast.AbsExpr(raw_output), raw_output,
ast.BinNumOpType.MUL)
assert utils.cmp_exprs(actual, expected)
def log1p(expr):
# Use trick to compute log1p for small values more accurate
# https://www.johndcook.com/blog/2012/07/25/trick-for-computing-log1x/
expr = ast.IdExpr(expr, to_reuse=True)
expr1p = utils.add(ast.NumVal(1.0), expr, to_reuse=True)
expr1pm1 = utils.sub(expr1p, ast.NumVal(1.0), to_reuse=True)
return ast.IfExpr(
utils.eq(expr1pm1, ast.NumVal(0.0)), expr,
utils.div(utils.mul(expr, ast.LogExpr(expr1p)), expr1pm1))
def tanh(expr):
expr = ast.IdExpr(expr, to_reuse=True)
tanh_expr = utils.sub(
ast.NumVal(1.0),
utils.div(
ast.NumVal(2.0),
utils.add(ast.ExpExpr(utils.mul(ast.NumVal(2.0), expr)),
ast.NumVal(1.0))))
return ast.IfExpr(
utils.gt(expr, ast.NumVal(44.0)), # exp(2*x) <= 2^127
ast.NumVal(1.0),
ast.IfExpr(utils.lt(expr, ast.NumVal(-44.0)), ast.NumVal(-1.0),
tanh_expr))
def _maybe_sqr_transform(self, expr):
if "sqrt" in self.objective_config_parts:
expr = ast.IdExpr(expr, to_reuse=True)
return utils.mul(ast.AbsExpr(expr), expr)
else:
return expr
def abs(expr):
expr = ast.IdExpr(expr, to_reuse=True)
return ast.IfExpr(utils.lt(expr, ast.NumVal(0)),
utils.sub(ast.NumVal(0.0), expr), expr)
ast.SigmoidExpr(ast.NumVal(2)),
ast.SqrtExpr(ast.NumVal(2)),
ast.PowExpr(ast.NumVal(2), ast.NumVal(3)),
ast.TanhExpr(ast.NumVal(1)),
ast.BinNumExpr(
ast.NumVal(0),
ast.FeatureRef(0),
ast.BinNumOpType.ADD)
]),
ast.IdExpr(
ast.SoftmaxExpr([
ast.NumVal(1),
ast.NumVal(2),
ast.NumVal(3),
ast.NumVal(4),
ast.NumVal(5),
ast.NumVal(6),
ast.NumVal(7),
ast.NumVal(8),
ast.NumVal(9),
ast.FeatureRef(1)
])),
ast.BinNumOpType.SUB),
ast.IfExpr(
ast.CompExpr(ast.NumVal(2), ast.NumVal(0), ast.CompOpType.GT),
ast.NumVal(3),
ast.NumVal(4),
),
ast.BinNumOpType.MUL)
ast.AbsExpr(ast.NumVal(-2)),
ast.ExpExpr(ast.NumVal(2)),
ast.LogExpr(ast.NumVal(2)),
ast.Log1pExpr(ast.NumVal(2)),
ast.SqrtExpr(ast.NumVal(2)),
ast.PowExpr(ast.NumVal(2), ast.NumVal(3)),
ast.TanhExpr(ast.NumVal(1)),
ast.BinNumExpr(ast.NumVal(0), ast.FeatureRef(0),
ast.BinNumOpType.ADD)
]),
ast.IdExpr(
ast.VectorVal([
ast.NumVal(1),
ast.NumVal(2),
ast.NumVal(3),
ast.NumVal(4),
ast.NumVal(5),
ast.NumVal(6),
ast.NumVal(7),
ast.FeatureRef(1)
])), ast.BinNumOpType.SUB),
ast.IfExpr(
ast.CompExpr(ast.NumVal(2), ast.NumVal(0), ast.CompOpType.GT),
ast.NumVal(3),
ast.NumVal(4),
), ast.BinNumOpType.MUL)
def test_count_all_exprs_types():
assert ast.count_exprs(EXPR_WITH_ALL_EXPRS) == 37
ast.LogExpr(ast.NumVal(2)),
ast.Log1pExpr(ast.NumVal(2)),
ast.SqrtExpr(ast.NumVal(2)),
ast.PowExpr(ast.NumVal(2), ast.NumVal(3)),
ast.TanhExpr(ast.NumVal(1)),
ast.BinNumExpr(
ast.NumVal(0),
ast.FeatureRef(0),
ast.BinNumOpType.ADD)
]),
ast.IdExpr(
ast.VectorVal([
ast.NumVal(1),
ast.NumVal(2),
ast.NumVal(3),
ast.NumVal(4),
ast.NumVal(5),
ast.NumVal(6),
ast.NumVal(7),
ast.NumVal(8),
ast.FeatureRef(1)
])),
ast.BinNumOpType.SUB),
ast.IfExpr(
ast.CompExpr(ast.NumVal(2), ast.NumVal(0), ast.CompOpType.GT),
ast.NumVal(3),
ast.NumVal(4),
),
ast.BinNumOpType.MUL)
def test_count_all_exprs_types():
def atan(expr):
expr = ast.IdExpr(expr, to_reuse=True)
expr_abs = ast.AbsExpr(expr, to_reuse=True)
expr_reduced = ast.IdExpr(ast.IfExpr(
utils.gt(expr_abs, ast.NumVal(2.4142135623730950488)),
utils.div(ast.NumVal(1.0), expr_abs),
ast.IfExpr(
utils.gt(expr_abs, ast.NumVal(0.66)),
utils.div(utils.sub(expr_abs, ast.NumVal(1.0)),
utils.add(expr_abs, ast.NumVal(1.0))), expr_abs)),
to_reuse=True)
P0 = ast.NumVal(-8.750608600031904122785e-01)
P1 = ast.NumVal(1.615753718733365076637e+01)
P2 = ast.NumVal(7.500855792314704667340e+01)
P3 = ast.NumVal(1.228866684490136173410e+02)
P4 = ast.NumVal(6.485021904942025371773e+01)
Q0 = ast.NumVal(2.485846490142306297962e+01)
Q1 = ast.NumVal(1.650270098316988542046e+02)
Q2 = ast.NumVal(4.328810604912902668951e+02)
Q3 = ast.NumVal(4.853903996359136964868e+02)
Q4 = ast.NumVal(1.945506571482613964425e+02)
expr2 = utils.mul(expr_reduced, expr_reduced, to_reuse=True)
z = utils.mul(
expr2,
utils.div(
utils.sub(
utils.mul(
expr2,
utils.sub(
utils.mul(
expr2,
utils.sub(
utils.mul(expr2,
utils.sub(utils.mul(expr2, P0), P1)),
P2)), P3)), P4),
utils.add(
Q4,
utils.mul(
expr2,
utils.add(
Q3,
utils.mul(
expr2,
utils.add(
Q2,
utils.mul(
expr2,
utils.add(
Q1,
utils.mul(expr2,
utils.add(Q0,
expr2)))))))))))
z = utils.add(utils.mul(expr_reduced, z), expr_reduced)
ret = utils.mul(
z,
ast.IfExpr(utils.gt(expr_abs, ast.NumVal(2.4142135623730950488)),
ast.NumVal(-1.0), ast.NumVal(1.0)))
ret = utils.add(
ret,
ast.IfExpr(
utils.lte(expr_abs, ast.NumVal(0.66)), ast.NumVal(0.0),
ast.IfExpr(utils.gt(expr_abs, ast.NumVal(2.4142135623730950488)),
ast.NumVal(1.570796326794896680463661649),
ast.NumVal(0.7853981633974483402318308245))))
ret = utils.mul(
ret,
ast.IfExpr(utils.lt(expr, ast.NumVal(0.0)), ast.NumVal(-1.0),
ast.NumVal(1.0)))
return ret
