Skip to content

Automating college tasks with Beautiful Soup 4 + Selenium + PhantomJS

Notifications You must be signed in to change notification settings

leonardocouy/robotstudent

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

FACEB Academic Zone Crawler

English

Description

The goal of this script is get classes contents of FACEB Academic Zone (My College) using BeautifulSoup(http://www.crummy.com/software/BeautifulSoup/), Selenium(http://selenium-python.readthedocs.org) and PhantomJS (http://phantomjs.org/) I'm using BeautifulSoup to Collect/Extract data that are about of HTML tags and combining Selenium and PhantomJS to simulate a Real Browser compatible with Javascript and Ajax. Their goals are get all classes contents.

How to Run?

It's recommended to have Python 3.x!!!
YOU MUST TO HAVE PHANTOMJS INSTALLED!!!
1 - Install the requirements in your virtual environment(if you prefer)
    1.1 - Activate your virtualenv
    1.2 - pip install -r requirements.txt
2 - Run the python script or open the terminal and run manually.
3 - Wait and be happy!

It was made for study!!!!

Remembering that this script was made for studies and personal use. non-profit. This script was made by Leonardo Flores Couy (https://github.com/leonardocouy) Study, use and contribute!

Thanks!

Brazilian Portuguese

Descrição

O objetivo deste script é baixar o conteudo de todas as matérias de um portal academico da minha faculdade(FACEB), utilizando BeautifulSoup(http://www.crummy.com/software/BeautifulSoup/), Selenium(http://selenium-python.readthedocs.org) e PhantomJS (http://phantomjs.org/) Papel do BeautifulSoup é: Coletar/Extrair dados que estão sobre atributos de tags HTML, e a combinação de Selenium com PhantomJS simulam um Browser Real compativel com Javascript e Ajax, para baixar todos os conteudos das materias. Para autenticação e a obtenção do codigo-fonte da pagina se utiliza a lib Mechanize(https://github.com/jjlee/mechanize).

Como Rodar?

É recomendado ter Python 3.x!!!
É OBRIGATORIAMENTE QUE VOCÊ TENHA O PHANTOMJS INSTALADO!
1 - Instale os requirementos no seu ambiente virtual(se você preferir)
    1.1 - Ative seu ambiente virtual
    1.2 - pip install -r requirements.txt
2 - Rode o script ou abra o terminal e rode manualmente
3 - Siga as instruções e fim!

Foi feito para estudo!!!!

Lembrando que este script foi feito para estudos e para uso pessoal, sem fins lucrativos. Este script foi feito por Leonardo Flores Couy (https://github.com/leonardocouy) Estude, use e contribua!

Obrigado!

About

Automating college tasks with Beautiful Soup 4 + Selenium + PhantomJS

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages