Curso sobre mineração de emoção em textos utilizando a linguagem Python.

1. Mineração de textos e classificação
2. Pré-processamento dos textos (stop words, stemming, etc)
3. Detectando emoções em textos com Naive Bayes (NLTK - Natural Language Toolkit)
4. Avaliação do algoritmo
5. Considerações finais

• Livros, jornais, revistas, páginas web, blogs, redes sociais, e-mails, PDF, XML e JSON, etc.
• Geralmente não possuem um "esquema" para descrever sua estrutura
• Texto "livre" vs texto "formatado"

• mensagem (assunto, texto) → algoritmo classificador → classe da mensagem (normal, spam, etc)

• texto de notícia → algorítimo classificador multirrótulo → tópicos (esporte, rio de janeiro, economia)

• IBGE na descoberta de bairros com nomes similares (Jardim América = Jdim América)

• Detecção de plágio

Texto "livre" → { livro: "Utopia", ano: 1516, pais: "Brasil", autor: "Thomas More"}

Utilização de ontologias, representando conceitos e relacionamentos em um determinado domínio Livro { nome: "Utopia" } é escrito por Autor { nome: "Thomas More"} em País {nome: "Brasil"} quando Data { ano: 1516 }

NLTK → ferramentas prontas para identificação de pessoas/empresas em textos

• Correlação entre palavras
  • "60% dos textos que contêm a palavra 'Internacional' também contêm a palavra 'Grêmio'. 3% de todos os textos contêm ambas as palavras". Representação: {"Internacional"} <-> {"Grêmio}
  • "A presença do termo 'Pelé' aumenta 5 vezes a chance de ocorrência dos termos 'Copa' e '1970'". Representação: {"Pelé"} <-> {"Copa", "1970"}

• Correspondências semânticas

  • Importador para migrar dados de um software antigo para um sistema novo, análise das bases de dados antiga e nova, campo a campo.

• Algoritmo como matcher (PLN - Processamento de Linguagem Natural)

  • É necessário fazer uma análise de ontologias;
  • Consulta do usuário: "encontre os livros do Robert C. Martin", aplica algoritmo de matcher e obtém a seguinte consulta:

  SELECT titulo, ano, resumo FROM publicacoes WHERE autor like '%Robert C. Martin%' and tipo = 'livro'

• Localizar e ranquear documentos relevantes em uma coleção;
• Indexação (API Lucene - Java)

Documento 1: "... um belo gol no segundo tempo..."
Documento 2: "Não aconteceu nenhum gol por conta de ..."

Texto com bastante linhas <- aplicar algoritmo de sumarização -> Resumo do texto com os principais pontos em poucas linhas

• Estatística

  • Frequência dos termos, ignorando informações semânticas;

• Processamento de linguagem natural (PLN)

  • Interpretação sintática e semântica das frases;
  • Fazer o computador entender textos escritos em linguagem humana.

• Classificação: aplicar algoritmo em texto e extrair as emoções: "Alegria", "Tristeza", "Medo", etc;
• Monitoramento de marcas, entidades, figuras sociais;
• Gestão de crises;
• Entender o que as pessoas pensam;
• Classificação por polaridade (valência): submeter um texto em um algoritmo: "Positivo", "Neutro" e "Negativo"
• Classificação por emoção (6 bases): Supresa, Alegria, Tristeza, Medo, Disgosto e Raiva (segundo estudo do Paul Ekman)

• Cada registro pertence a uma classe que possui um conjunto de atributos previsores;
• Objetiva-se descobrir um relacionamento entre os atributos previsores e o atributo meta;
• O valor do atributo meta é conhecido através de aprendizagem superviosionada;

Atributos previsores: histórica do crédito, divida, garantias, renda anual;
Atributo meta (classe): risco.

Atributos previsores: sexo, país, idade;
Atributo meta (classe): comprar.

• Método indutivo:

  • Fase 1: conjunto de exemplos + atributos previsores + atributo meta > sistema de aprendizado (algoritmos) > gera um classificador (modelo).
  • Fase 2: caso a ser classificado (atributo meta não conhecido) > classificador > decisão.

• Aprendizagem supervisionada (indução):

  • Fase 1: uma imagem do Homer Simpson e do Bart Simpson > extração de características (cores de roupas, pele, cabelo, etc) > algoritmo de aprendizagem (supervisor) > modelo aprendido.
  • Fase 2: imagem do Bart Simpson > extração de caraterísticas > modelo aprendido > Bart Simpson;

Como ficaria uma base de dados da classificação acima:

Todas as características (atributos previsores) estão dispostas nas colunas, eliminando duplicidades, eliminando stop words (Ex: "é"). É comum em uma base real de trabalho possuir mais de 70.000 características.

• Compreensão automática de linguagens humanas (falado ou escrito);
  • Exemplo: "Este filme é para adulto" e "Este filme é de um adulto";
• Conversar com computadores;

Python (utilizado versão 3.7)

Instalar libs:
./easy_install.exe nltk
./easy_install.exe numpy

Exemplos práticos em no diretório ./scripts

• "Naive Bayes" é um algoritmo baseado em probabilidade e estatística muito utilizado para tarefas de mineração de textos;

• Classificação de textos com "Naive Bayes" e NLTK;

• Abordagem probabilística (Teorema de Bayes)

• Exemplos de aplicação do algoritmo:

  • Filtros de spam em e-mails;
  • Mineração de emoções (Computação Afetiva);
  • Separação de documentos;

• Base de dados original > Treinamento/Aprendizagem do Algoritmo Naive Bayes > Tabela de probabilidade

• Criar tabela de probabilidade manual com base no exemplo do risco de crédito:

Características para se levar em consideração antes do uso deste algorítmo:

1. Cenário
2. Número de classes (com as 6 emoções, o algoritmo alcançou acerto de 39%)
3. "zero-rules" dependendo da aplicação este método é mais aplicável (classifica todas as frases com base na classe mais utilizada)

Sem conteúdo ainda.

• Mineração de Emoção em Textos com Python e NLKT @ Udemy

• Introdução ao NLTK na Prática

• NLTK em Português

• Penn Part of Speech Tags

• Estrutura e formação de palavras - Raiz e radical

• Stemming words with NLTK

• Markdown Table Generator