if args.dudosos:
for tweet in dudosos:
del tweet.features["Palabras no españolas"]
del tweet.features["Negacion"]
# del tweet.features["Antonimos"]
clases = get_clases(corpus)
clases_entrenamiento = get_clases(entrenamiento)
clases_evaluacion = get_clases(evaluacion)
if args.clasificador == "LB1":
features = corpus
features_entrenamiento = entrenamiento
features_evaluacion = evaluacion
else:
features = get_features(corpus)
features_entrenamiento = get_features(entrenamiento)
features_evaluacion = get_features(evaluacion)
if args.dudosos:
features_dudosos = get_features(dudosos)
# Se tiene que hacer antes del scaler (las features no puden tomar valores negativos)
if args.importancias_features:
nombres_features_ordenadas = corpus[0].nombres_features_ordenadas()
tree_based_feature_selection(features, clases, nombres_features_ordenadas)
chi2_feature_selection(features, clases, nombres_features_ordenadas)
f_score_feature_selection(features, clases, nombres_features_ordenadas)
if not args.sin_escalar and args.clasificador != "MNB" \
and args.clasificador != "LB1" and args.clasificador != "LB2":
def transform(self, _tweets):
return get_features(_tweets)
if args.dudosos:
for tweet in dudosos:
del tweet.features["Palabras no españolas"]
del tweet.features["Negacion"]
# del tweet.features["Antonimos"]
clases = get_clases(corpus)
clases_entrenamiento = get_clases(entrenamiento)
clases_evaluacion = get_clases(evaluacion)
if args.clasificador == "LB1":
features = corpus
features_entrenamiento = entrenamiento
features_evaluacion = evaluacion
else:
features = get_features(corpus)
features_entrenamiento = get_features(entrenamiento)
features_evaluacion = get_features(evaluacion)
if args.dudosos:
features_dudosos = get_features(dudosos)
# Se tiene que hacer antes del scaler (las features no puden tomar valores negativos)
if args.importancias_features:
nombres_features_ordenadas = corpus[0].nombres_features_ordenadas()
tree_based_feature_selection(features, clases,
nombres_features_ordenadas)
chi2_feature_selection(features, clases,
nombres_features_ordenadas)
f_score_feature_selection(features, clases,
nombres_features_ordenadas)