if args.dudosos: for tweet in dudosos: del tweet.features["Palabras no españolas"] del tweet.features["Negacion"] # del tweet.features["Antonimos"] clases = get_clases(corpus) clases_entrenamiento = get_clases(entrenamiento) clases_evaluacion = get_clases(evaluacion) if args.clasificador == "LB1": features = corpus features_entrenamiento = entrenamiento features_evaluacion = evaluacion else: features = get_features(corpus) features_entrenamiento = get_features(entrenamiento) features_evaluacion = get_features(evaluacion) if args.dudosos: features_dudosos = get_features(dudosos) # Se tiene que hacer antes del scaler (las features no puden tomar valores negativos) if args.importancias_features: nombres_features_ordenadas = corpus[0].nombres_features_ordenadas() tree_based_feature_selection(features, clases, nombres_features_ordenadas) chi2_feature_selection(features, clases, nombres_features_ordenadas) f_score_feature_selection(features, clases, nombres_features_ordenadas) if not args.sin_escalar and args.clasificador != "MNB" \ and args.clasificador != "LB1" and args.clasificador != "LB2":
def transform(self, _tweets): return get_features(_tweets)
if args.dudosos: for tweet in dudosos: del tweet.features["Palabras no españolas"] del tweet.features["Negacion"] # del tweet.features["Antonimos"] clases = get_clases(corpus) clases_entrenamiento = get_clases(entrenamiento) clases_evaluacion = get_clases(evaluacion) if args.clasificador == "LB1": features = corpus features_entrenamiento = entrenamiento features_evaluacion = evaluacion else: features = get_features(corpus) features_entrenamiento = get_features(entrenamiento) features_evaluacion = get_features(evaluacion) if args.dudosos: features_dudosos = get_features(dudosos) # Se tiene que hacer antes del scaler (las features no puden tomar valores negativos) if args.importancias_features: nombres_features_ordenadas = corpus[0].nombres_features_ordenadas() tree_based_feature_selection(features, clases, nombres_features_ordenadas) chi2_feature_selection(features, clases, nombres_features_ordenadas) f_score_feature_selection(features, clases, nombres_features_ordenadas)