Skip to content

Repositório do projeto de extração e análise de dados web, onde tivemos de analisar sentimentos de politicos portugueses

Notifications You must be signed in to change notification settings

bernardo-cs/dados-politicos

Repository files navigation

Análise de Sentimentos de Politicos

Durante a cadeira de extracção e análise de dados web fizemos uma aplicação rails que intrepreta ficheiros gerados por scripts python que analisam os sentimentos das noticias em que politicos portugueses são mencionados.

1ª Parte Scripts Python

Recolhemos noticias do site do Jornal de Noticias e Diário de Notícias através do beautifull soup. Adicionamos o corpo das noticias a uma base de dados SQlite (titulo, descriçao, link, summary, noticia, data). A pesquisa e noticias é feita a partir do whoosh com BM25. Pesquisa de entidades (Politicos) é feita a partir de regular expressions. Para identificar sentimentos utilizamos o sentilex-len.

2ª Parte Servidor Rails

No sevidor Rails utilizamos um controlador para gerir todas as views da app, e em cada view utilizamos apenas um gráfico por tipo de pesquisa. Para geração de gráficos utilizamos a biblioteca highcharts.

Descrição da app

The default directory structure of a generated Ruby on Rails application:

|-- app
|   |
|   |-- controllers
|   |    `-- graph_controller.rb
|   |
|   `-- views
|       |-- all_days.html.erb
|       |-- dois_politicos.html.erb
|       |-- index.html.erb
|       |-- mais_positivo.html.erb
|       |-- mais_referenciado.html.erb
|       |-- politico_referenciado.html.erb
|       |-- politico_referenciado_acumulado.html.erb
|       |-- positividade_dia.html.erb
|       `-- site_politcos.html.erb
|
`-- python_proj

app/controllers/graph_controller.rb

Controlador que vai buscar os dados gerados pelos scripts python para mandar para os gráficos das views

app/views/all_days.html.erb

Contains subdirectories for images, stylesheets, and JavaScript files.

app/views/dois_politicos.html.erb

A partir da análise do numero de noticias positivas/negativas em comum entre dois politicos, tenta inferir se dois 
politicos são amigos, ou não

app/views/index.html.erb

Pagina root do site onde se pode escolher varios tipos de pesquisa

app/views/mais_positivo.html.erb

Mostra o politico com mais noticias positivas num determinado dia

app/views/politico_referenciado.html.erb

Numero de referncias em noticias de um politico ao longo do tempo

app/views/mais_referenciado.html.erb

Mostra o numero de referencias a politicos nas noticias de um determinado dia

app/views/politico_referenciado_acumulado.html.erb

Numero de referncias acumuladas em noticias de um politico ao longo do tempo

app/views/positividade_dia.html.erb

Mostra o numero de noticias positivas, negativas ou neutras de um determinado dia

app/views/site_politicos.html.erb

Sites onde o politico é referencias

app/views/all_days.html.erb

Mostra o numero de noticias positivas, negativas ou neutras de todos os dias

3ª Como instalar?

Instala rails 3.2 e ruby 1.9.3 da maneira mais engraçada que arranjares.
gem install bundle (se ainda não usavas bundle...)
bundle install
rails s

About

Repositório do projeto de extração e análise de dados web, onde tivemos de analisar sentimentos de politicos portugueses

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages