O projeto integrador é uma parceria entre a Fatec São José dos Campos e uma empresa cliente que visa dar aos alunos a experiência de trabalhar com uma Empresa em um caso real, desenvolvendo uma aplicação que resolva um problema proposto por esse cliente.
- Prof. José Walmir Gonçalves Duque
- Prof. Giuliano Araujo Bertoti
- Prof. Gerson Penha Neto
- Prof. Fernando Masanori Ashikaga
O objetivo é de desenvolver uma aplicação web que funcione como um mini-ETL, extraindo os dados do shapefile e enviando ao banco de dados (PostgreSQL/Postgis) e fazendo também o processo inverso convertendo os dados do banco em um novo shapefile
O Esri Shapefile ou simplesmente shapefile é um formato popular de arquivo contendo dados geoespaciais em forma de vetor usado por Sistemas de Informações Geográficas também conhecidos como SIG. Foi desenvolvido e regulamentado pela ESRI como uma especificação aberta para interoperabilidade por dados entre os softwares de Esri e de outros fornecedores.
No contexto do Data Warehouse (DW) e Business Intelligence (BI) ouvimos muito falar sobre o processo de ETL. Essa sigla significa Extração, Transformação e Carga (em inglês Extract, Transform and Load) e trata da sistematização do tratamento e limpeza dos dados oriundos dos diversos sistemas organizacionais (OLTP) para a inserção, geralmente, em um DW ou Data Mart. Como podemos perceber, esse processo possui três etapas. A primeira é a extração (extract), a segunda a transformação (transform) e por fim, a carga (load). Cada uma delas possui grande importância para o sucesso da transição dos dados dos sistemas de origem para o DW.
A etapa de extração pode ser entendida como a fase onde os dados são extraídos dos OLTPs e conduzidos para a staging area (área de transição ou área temporária), onde são convertidos para um único formato. A conversão se faz necessária devido a heterogeneidade existente nas informações oriundas desses sistemas, sendo essencial a conformação prévia para o tratamento adequado.
Após a extração, teremos subsídios para iniciar a etapa de transformação e limpeza dos dados. Nessa fase são corrigidos, padronizados e tratados os desvios e inconsistências, transformando os dados de acordo com as regras do negócio.
A etapa de carga ocorre em sequência com a de transformação. Assim que são efetuados os tratamentos necessários nos dados, a carga no DW é iniciada. Essa fase se resume na persistência dos dados na base consolidada.
O ETL é fundamental para qualquer iniciativa de DW. Porém deve ser planejado com cuidado para não comprometer os sistemas transacionais (OLTP) das empresas. Um bom ETL deve ter escalabilidade e ser manutenível.
Assim, com essa base de conhecimento e entendendo melhor o problema do cliente, surgiu o Shapview. Onde a necessidade era ter uma ferramenta de baixo custo com a funcionalidade de realizar conversões de um arquivo shapefile para o banco de dados e realizar também o processo inverso para um novo shapefile agora tratado.
O Shapeview que tem como objetivo funcionar como um mini ETL(extract, transform and load), suprindo essa necessidade da empresa. Podendo realizar “uploads” de forma personalizada de seus arquivos em formato Shapefile no seu banco de dados e ainda fazer "downloads" dos arquivos que estão salvos ali.
Para o desenvolvimento da aplicação, tendo em vista os requisitos apresentados pelo cliente e os conhecimentos da equipe, foram utilizadas as tecnologias da seguinte maneira.
Para o desenvolvimento do projeto, foi estabelecido que fariamos por etapas onde apresentariamos a evolução do projeto para o cliente e os orientadores.
Para as entrega e reuniões com as partes envolvidas, foram acordadas as datas a seguir, onde podemos acompanhar o que foi apresentado em cada etapa de desenvolvimento.
Sprint 1 - 20/09/2020
Sprint 2 - 18/10/2020
Sprint 3 - 08/11/2020
Sprint 4 - 29/11/2020