Skip to content

blueroutecn/fxdm

Repository files navigation

fxdm

工业优化模型构建的自建代码库

Requirements

scipy>=1.2.1 pandas>=0.20.3,<=0.23.4 scikit-learn>=0.20.3 sklearn_pandas>=1.8.0 sklearn2pmml>=0.44.0 lightgbm>=2.2.3 xgboost>=0.82 matplotlib>=3.0.3 seaborn>=0.9.0 bayesian-optimization>=1.0.1 tsfresh>=0.11.2 featuretools>=0.7.0 concurrent-utils>=0.2.0 missingno>=0.4.1 xlrd>=1.2.0

代码块构成

fx_utills 基础工具包

  • timecount函数 计算运行时间的装饰函数
  • is_monotonic函数 判断序列是否单调
  • check_unique函数 判断序列是否存在重复值
  • check_non_intersect函数 判断序列x和序列y是否存在交集
  • psi函数 计算psi
  • model_y_generator函数 自由Y相关变量转Y标签
  • model_result_combine函数 多模型预测结果dict转换工作
  • data_sample函数 数据集划分函数

fx_evaluation 评估工具包

  • plot_confusion_matrix函数 绘制混淆矩阵图
  • plot_ks_curve函数 绘制KS曲线并返回KS值
  • plot_roc_curve函数 绘制ROC曲线并返回AUC值
  • plot_multi_roc_curve函数 多模型绘制ROC曲线并返回AUC值
  • plot_multi_roc_curve_dict_type 多模型绘制ROC曲线并返回AUC值 使用dict作为数据输入
  • plot_reject_bad_curve函数 多模型绘制通过率曲线
  • plot_multi_reject_bad_curve_dict_type函数 多模型绘制通过率曲线 使用dict作为数据输入
  • plot_PR_curve函数 绘制PR曲线
  • plot_multi_PR_curve_dict_type函数 多模型绘制PR曲线 使用dict作为数据输入
  • plot_validation_curve函数 绘制验证曲线
  • plot_learning_curve函数 绘制学习曲线
  • plot_density_curve函数 绘制0\1预测概率分布图

fx_dataclean 数据清洗包

  • data_clean函数 数据清洗函数

fx_cv 数据切分包

  • TimeGroupSplit类 数据集时间维度拆分(分组实现方案)

fx_preprocess 数据预处理包

  • data_simple_imputer函数 缺失值添补
  • data_missing_indicator函数 缺失值标记
  • SimpleOutlierIndicator类 分位数异常值标记

fx_model 模型训练包

  • feature_rank_calculator_lgb函数 计算特征重要度(LightGbm模型)
  • feature_rank_split_calculator_lgb函数 计算特征重要度(多个LightGbm模型加CV)
  • gbm_cv_evaluate函数 CV评估(LightGbm模型)
  • feature_selector函数 前向stepwise特征筛选(LightGbm模型)
  • bayes_parameter_opt_lgb函数 贝叶斯超参数筛选(LightGbm模型)
  • bayes_parameter_opt_xgb函数 贝叶斯超参数筛选(Xgboost模型)
  • make_pipeline_model函数 通过指定的模型构建pipeline

工业优化建模流程

参考info下面的pdf文档

模型训练

  • daemon 标准型融合模型训练评估流程 有python文件和notebook文件两个版本
  • EnsembleSVM 组合SVM模型训练评估流程 有python文件和notebook文件两个版本
  • EnsembleGBDT 参数扰动的组合GDBT模型训练评估流程 有python文件和notebook文件两个版本

后续优化

  • 其他模型的相关代码
  • pipeline参数筛选的相关代码

About

data mining python codes

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages