def __init__(self, lenguaje, tokenizador=None):
"""
Constructor por defecto de la clase Stemmer. Esta clase se encarga \
de hacer la operación de *stemming*, o reducción de palabras a su \
raíz, en textos.
:param lenguaje: (str) Lenguaje de los textos a los que se va \
a aplicar *stemming*. Para mayor información, consultar la sección de \
:ref:`Lenguajes soportados <seccion_lenguajes_soportados>`.
:param tokenizador: Valor por defecto: None. Objeto encargado de la tokenización y detokenización \
de textos. Si el valor es 'None', se cargará por defecto una instancia de la clase *TokenizadorNLTK*.
:return: (Stemmer) Objeto del tipo de la clase Stemmer
"""
# Definir lenguaje del stemmer
self.establecer_lenguaje(lenguaje)
# Inicializar stemmer
self.iniciar_stemmer()
# Para tokenizar los textos antes de aplicar el stemming
self.tokenizador = TokenizadorNLTK(
) if tokenizador is None else tokenizador
def matriz_coocurrencias(
texto,
min_frec=1,
max_num=200,
modo="documento",
ventana=3,
tri_sup=True,
limpiar=False,
tokenizador=None,
):
"""
Calcula la matriz de coocurrencias de un texto.
:param texto: Corresponde al texto (o lista de textos/documentos) que \
se desea analizar.
:type texto: str, list
:param min_frec: Frecuencia mínima de aparición de palabras, si la \
frecuencia de una palabra es menor a `min_frec`, será excluida de la \
matriz. Valor por defecto `1`.
:type min_frec: int, opcional
:param max_num: Número máximo de palabras que se incluyen en la matriz \
(se eligen las más frecuentes). Valor por defecto `200`.
:type max_num: int, opcional
:param modo: Corresponde al modo de análisis, con `'documento'` se \
calcula la coocurrencia de términos sin importar la distancia entre \
estos, con `'ventana'` se calcula la coocurrencia de términos \
teniendo en cuenta una distancia máxima entre estos. \
Valor por defecto `'documento'`.
:type modo: {'documento', 'ventana'}, opcional
:param ventana: Tamaño de la ventana (solo cuando `modo = 'ventana'`). \
Número de palabras anteriores o posteriores a tener en cuenta con \
respecto al término de análisis, equivalente a calcular la \
coocurrencia con n-gramas, siendo `n = ventana + 1`. \
Valor por defecto `3`.
:type ventana: int, opcional
:param tri_sup: Si es `True` devuelve la versión diagonal superior de la \
matriz de coocurrencias, si es `False` devuelve la matriz completa. \
Valor por defecto `True`.
:type tri_sup: bool, opcional
:param limpiar: Define si se desea hacer una limpieza básica (aplicando \
la función `limpieza_basica` del módulo `limpieza`) al texto, antes \
de calcular las coocurrencias. Valor por defecto `False`.
:type limpiar: bool, opcional
:param tokenizador: Objeto encargado de la tokenización y detokenización \
de textos. Si el valor es 'None', se utilizará por defecto una \
instancia de la clase *TokenizadorNLTK*. Valor por defecto `None`.
:type tokenizador: Tokenizador, opcional
:return: (pandas.DataFrame) Matriz de coocurrencias de los textos de \
entrada.
"""
# Generar un solo texto con todos los documentos
if isinstance(texto, Iterable) and not isinstance(texto, str):
texto_entero = " ".join([str(i) for i in texto])
else:
texto_entero = str(texto)
texto = [texto_entero] # Convertir variable "texto" en un iterable
if limpiar:
texto = [limpieza_basica(t) for t in texto]
texto_entero = " ".join([texto])
# Se inicializa un solo tokenizador, para ahorrar un poco de tiempo
tok = TokenizadorNLTK() if tokenizador is None else tokenizador
# Generar lista de palabras en todos los textos juntos
palabras = tokenizar(texto_entero, tok)
# Dejar solo las palabras con mayor frecuencia y/o que cumplan una
# frecuencia mínima
cuenta = dict(Counter(palabras).most_common(max_num))
cuenta_filt = {k: v for k, v in cuenta.items() if v >= min_frec}
nombres = list(set(cuenta_filt.keys()))
# Inicializar en ceros la matriz de coocurrencias
mat_oc = pd.DataFrame(np.zeros([len(nombres), len(nombres)]),
columns=nombres,
index=nombres)
if modo == "ventana":
for t in texto:
palabras_t = tokenizar(t, tok)
# Ciclo a través de las palabras para obtener las coocurrencias:
for i, p1 in enumerate(palabras_t):
inicio = max(0, i - ventana)
fin = min(len(palabras), i + ventana + 1)
for j, p2 in enumerate(palabras_t[inicio:fin]):
if (p2 in nombres) and (p1 in nombres):
if p1 != p2:
mat_oc[p2][p1] += 1
else:
if (inicio + j) != i:
mat_oc[p2][p1] += 1
elif modo == "documento":
for t in texto:
cuenta_t = dict(Counter(tokenizar(t, tok)))
for p1 in nombres:
for p2 in nombres:
if p1 != p2:
if p1 in cuenta_t and p2 in cuenta_t:
mat_oc[p2][p1] += cuenta_t[p1] * cuenta_t[p2]
else:
if p1 in cuenta_t:
mat_oc[p2][p1] += cuenta_t[p1]
# Ordenar filas y columnas alfabeticamente
mat_oc.sort_index(inplace=True)
mat_oc = mat_oc.reindex(sorted(mat_oc.columns), axis=1)
if tri_sup:
mat_oc = diag_superior(mat_oc)
return mat_oc
def matriz_coocurrencias(texto,
min_frec=1,
max_num=200,
modo='documento',
ventana=3,
tri_sup=True,
limpiar=False,
tokenizador=None):
""" Calcula la matriz de coocurrencias de un texto.
:param texto: (str o list) Corresponde al texto (o lista de textos/documentos) que se desea analizar.
:param min_frec: (int) Valor por defecto: 1. Frecuencia mínima de aparición de palabras, si la frecuencia de una palabra es menor a min_frec, dicha palabra es excluida de la matriz.
:param max_num: (int) Valor por defecto: 200. Número máximo de palabras a dejar en la matriz (se eligen las más frecuentes).
:param modo: (str) {'documento', 'ventana'} Valor por defecto: 'documento'. Corresponde al modo de análisis, con 'documento' se calcula la co-ocurrencia de términos sin importar la distancia entre estos, con 'ventana' se calcula la co-ocurrencia de términos teniendo en cuenta una distancia máxima entre estos.
:param ventana: (int) Valor por defecto: 3. Tamaño de la ventana (solo se usa cuando modo='ventana'). Número de palabras anteriores o posteriores a tener en cuenta con respecto al término de análisis, equivalente a calcular la co-ocurrencia con n-gramas, siendo n=ventana+1.
:param tri_sup: (bool) {True, False} Valor por defecto: True. Si el valor es True devuelve la versión diagonal superior de la matriz de coocurrencias, si es False devuelve la matriz completa.
:param limpiar: (bool) {True, False} Valor por defecto: False. Define \
si se desea hacer una limpieza básica (aplicando la función `limpieza_basica` \
del módulo `limpieza`) al texto de entrada, antes de calcular las coocurrencias.
:param tokenizador: Valor por defecto: None. Objeto encargado de la tokenización y detokenización \
de textos. Si el valor es 'None', se utilizará por defecto una instancia de la clase *TokenizadorNLTK*.
:return: (dataframe) Coocurrencias de los textos de entrada.
"""
# Generar un solo texto con todos los documentos
if isinstance(texto, Iterable) and not isinstance(texto, str):
texto_entero = ' '.join([str(i) for i in texto])
else:
texto_entero = str(texto)
texto = [texto_entero] # Convertir variable "texto" en un iterable
if limpiar:
texto = [limpieza_basica(t) for t in texto]
texto_entero = ' '.join([texto])
# Se inicializa un solo tokenizador, para ahorrar un poco de tiempo
tok = TokenizadorNLTK() if tokenizador is None else tokenizador
# Generar lista de palabras en todos los textos juntos
palabras = tokenizar(texto_entero, tok)
# Dejar solo las palabras con mayor frecuencia y/o que cumplan una
# frecuencia mínima
cuenta = dict(Counter(palabras).most_common(max_num))
cuenta_filt = {k: v for k, v in cuenta.items() if v >= min_frec}
nombres = list(set(cuenta_filt.keys()))
# Inicializar en ceros la matriz de coocurrencias
mat_oc = pd.DataFrame(np.zeros([len(nombres), len(nombres)]),
columns=nombres,
index=nombres)
if modo == 'ventana':
for t in texto:
palabras_t = tokenizar(t, tok)
# Ciclo a través de las palabras para obtener las coocurrencias:
for i, p1 in enumerate(palabras_t):
inicio = max(0, i - ventana)
fin = min(len(palabras), i + ventana + 1)
for j, p2 in enumerate(palabras_t[inicio:fin]):
if (p2 in nombres) and (p1 in nombres):
if p1 != p2:
mat_oc[p2][p1] += 1
else:
if (inicio + j) != i:
mat_oc[p2][p1] += 1
elif modo == 'documento':
for t in texto:
cuenta_t = dict(Counter(tokenizar(t, tok)))
for p1 in nombres:
for p2 in nombres:
if p1 != p2:
if p1 in cuenta_t and p2 in cuenta_t:
mat_oc[p2][p1] += cuenta_t[p1] * cuenta_t[p2]
else:
if p1 in cuenta_t:
mat_oc[p2][p1] += cuenta_t[p1]
# Ordenar filas y columnas alfabeticamente
mat_oc.sort_index(inplace=True)
mat_oc = mat_oc.reindex(sorted(mat_oc.columns), axis=1)
if tri_sup:
mat_oc = diag_superior(mat_oc)
return mat_oc