Pacote de Visão Computacional do Inovisão.

NPOSL-30 https://opensource.org/licenses/NPOSL-3.0 - Livre para uso apenas sem fins lucrativos (E.g.: ensino, pesquisa científica, etc). Entrar em contato com o coordenador do grupo Inovisão, Prof. Hemerson Pistori (pistori@ucdb.br), caso tenha interesse na exploração comercial do software.

[1] dos Santos Ferreira, A., Freitas, D. M., da Silva, G. G., Pistori, H., & Folhes, M. T. (2017). Weed detection in soybean crops using ConvNets. Computers and Electronics in Agriculture, 143, 314-324.

• A partir da pasta raiz, execute os seguintes comandos:

 $ cd src

 $ python main.py

• Uma imagem como a mostrada abaixo deve ser apresentada:

  

• Mostra todas as opções disponíveis

 $ python main.py --help

• Executa o programa inicializando o banco de imagens em ../data/soja

 $ python main.py --dataset ../data/soja

• Executa o programa definindo as classes e suas respectivas cores (X11 color names)

 $ python main.py --classes "Solo Soja Gramineas FolhasLargas" --colors "Orange SpringGreen RebeccaPurple Snow"

• Existe também um script para Linux que ajuda a dividir o conjunto de imagens entre treinamento, validação e teste. Ainda não está integrado à interface. Para saber mais:

 $ cd src/util
 $ chmod 755 split_data.sh
 $ ./split_data -h

Você pode instalar utilizando o script de instalação realizando os seguintes passos:

• Na pasta raiz do projeto, execute o comando abaixo para ceder a permissão de execução no script de instalação.

$ sudo chmod a+x INSTALL.sh

• Execute o script de instalação.

$ sudo ./INSTALL.sh

O script de instalação foi testado na versão 16.04 do Ubuntu.

Será necessário instalar:

• Python 2.7.6
• Opencv 2.7
• tk/tk-dev

As bibliotecas necessárias podem ser encontradas no arquivo requeriments.txt na raiz do projeto, utilize o comando pip para instalar.

• Instalação do pip:

$ sudo apt-get install python-pip

• Instale o numpy:

$ sudo pip install numpy

• Instação das bibliotecas:

$ sudo pip install -r requeriments.txt

• Instale o Anaconda que contém todas dependências, inclusive o Python. Basta fazer o download do arquivo .exe e executá-lo.
• Opencv 2.7
• python-weka-wrapper ( Classification )

Seguir as instruções disponíveis em OpenCV-Linux. Lí em algum lugar que dá para instalar com o comando abaixo, não testei mas pode funcionar:

 $ sudo apt-get install python-opencv

Pode ser que seja necessário instalar também uma versão mais antiga do opencv (2.4*) caso apareça um erro com o comando import cv (que sumiu na versão 3.0.0 do opencv). Neste caso, tente seguir estes passos: [Instalando opencv 2.4] (https://sites.google.com/a/computacao.ufcg.edu.br/lvc/aprendizado/opencv).

• OpenCV-Python.

  1. Baixe o Opencv
  2. Extraia os arquivos no local desejado.
  3. Vá para a pasta opencv/build/python/2.7.
  4. Cipie o arquivo cv2.pyd para C:/Python27/lib/site-packeges.
  5. Abra o terminal e digite python para executar o interpretador.
  6. Digite:

    >>> import cv2
    >>> print cv2.__version__
  

 $ sudo apt-get install python-numpy python-scipy python-matplotlib ipython ipython-notebook python-pandas python-sympy python-nose python-pip python-networkx libfreetype6-dev

 $ sudo pip install -U scikit-image

Em uma das máquinas em que tentei instalar deu um erro que resolvi rodando o comando abaixo antes de executar a linha acima:

 $ sudo apt-get build-dep python-matplotlib
 $ sudo pip install cycler

 $ sudo apt-get install tk tk-dev

Na ocorrência do erro 'cannot import name _tkagg', tentar os seguintes comandos:

 $ sudo apt-get install tk tk-dev
 $ sudo pip uninstall matplotlib
 $ sudo pip install matplotlib

Se der erro na reinstalação do matplotlib (depois que desinstalar), tente desinstalar também pelo apt-get:

 $ sudo apt-get remove python-matplotlib

• http://www.tkdocs.com/tutorial/install.html

Primeiro você precisa compilar os código C/C+ e os módulos Python:

$ sudo apt-get install build-essential python-dev

Agora você pode instalar os vários pacotes que precisamos para instalar o python-weka-wrapper:

$ sudo apt-get install python-pip python-numpy

Os seguintes pacotes são opcionais mas necessários se você deseja uma representação gráfica:

$ sudo apt-get install python-imaging python-matplotlib python-pygraphviz

Instale OpenJDK para obter todos os cabeçalhos que javabridge compila:

$ sudo apt-get install default-jdk

No meu ubuntu 14.04 tive problemas com dependência, acabei instalando o java da oracle seguindo as orientações deste site: instalando java da oracle

Finalmente você pode usar pip para instalar os pacotes Python que não estão disponíveis no repositório:

$ sudo pip install javabridge
$ sudo pip install python-weka-wrapper

Por favor note: você precisa certificar-se que os bits do seu ambiente é consistente. Isto é, se você instalar uma versão de Python 32-bit você deve instalar um JDK 32-bit e numpy 32-bit ( ou então todos eles devem ser 64-bit ).

Realize os seguintes passos:

Instale Python, esteja certo que você checou Add python.exe to path durante a instalação.

Adicione os scripts Python eu sua variável de ambiente PATH, por exemplo, :\Python27\Scripts

Instale pip com os seguintes passos:

• baixe daqui https://bootstrap.pypa.io/get-pip.py
• instale usando python get-pip.py

Instale numpy

• baixe numpy 1.9.x MKL ( ou superior ) para Python 2.7 (cp27) e sua configuração de bit (32 ou 64 bit)
• instale o arquivo .whl usando pip: pip install numpy-X.Y.Z.whl

Instale .Net 4.0 (se já não estiver instalado)

Instale Windows SDK 7.1

Abra o prompt de comando do Windows SDK (não o prompt de comando convencional!) e instale javabridge e python-weka-wrapper

> set MSSdk=1
> set DISTUTILS_USE_SDK=1
> pip install javabridge
> pip install python-weka-wrapper

Agora você pode executar python-weka-wrapper usando o prompt de comando convencional também.

Se você deseja as funcionalidades gráficas você precisa instalar matplotlib também:

• baixe matplotlib para Python 2.7 (cp27) e sua configuração de bit (32 or 64 bit)
• instale o arquivo .whl usando pip: pip install matplotlib-X.Y.Z.whl

• http://pythonhosted.org/python-weka-wrapper/install.html
• http://pythonhosted.org/python-weka-wrapper/troubleshooting.html

Para poder utilizar o classificador CNNCaffe, uma ConvNet baseada na topologia AlexNet, é necessário instalar o software Caffe.

A instalação do software Caffe é mais complexa que as instalações descritas anteriormente e pode ser encontrada detalhada no link abaixo:

• http://caffe.berkeleyvision.org/installation.html

Após realizar a instalação do software Caffe, para realizar a classificação, você precisa realizar o treinamento da sua rede no software, pois não há interface no Pynovisao para o treinamento da ConvNet.

O tutorial para o treinamento pode ser encontrado no link abaixo:

• http://caffe.berkeleyvision.org/gathered/examples/imagenet.html

Por fim será necessário configurar sua CNNCaffe.

• Para os campos ModelDef, ModelWeights e MeanImage, você deverá fornecer os caminhos relativos ao seu treinamento realizado no passo anterior.
• Para o campo LabelsFile você deve fornecer o caminho de um arquivo que descrava nominalmente as classes na ordem 0, 1, ..., n-1, onde n é o número de classes que você treinou.
• Um arquivo de exemplo pode ser encontrado em examples/labels.txt.

Nesta seção será usado como exemplo o classificador Syntactic, do tipo KTESTABLE e, como opção de hiperparâmetros, o tamanho do vocabulário.

Inicialmente, você deve criar uma classe onde estão, em um dicionário (chave, valor), todos os tipos do seu classificador. A classe deve ser criada no diretório src/classification/. Veja como exemplo a classe SyntacticAlias no arquivo src/classification/syntactic_alias.py.

O próximo passo é criar o arquivo (.py) do seu classificador no diretório src/classification/, por exemplo, syntactic.py. No arquivo recém-criado você deve implementar a classe de seu classificador estendendo a classe Classifier, que está implementada no arquivo src/classification/classifier.py. Veja exemplo abaixo.

#syntactic.py
#importações mínimas necessárias
from collections import OrderedDict
from util.config import Config
from util.utils import TimeUtils
from classifier import Classifier

class Syntactic(Classifier):
    """Class for syntactic classifier"""

No construtor da classe você deve informar valores padrão para os parâmetros. No caso do exemplo abaixo, classename é o tipo do classificador e options é o tamanho do alfabeto. Além disso, alguns atributos devem ser inicializados: self.classname e self.options. O atributo self.dataset (opicional) é o path do conjunto de treinamento e teste que o usuário informa na interface gráfica. Ter esse atributo na classe é importante para ter acesso ao conjunto de imagens em qualquer um dos métodos, ele é inicializado no método train discutido posteriormente.

def __init__(self, classname="KTESTABLE", options='32'):

        self.classname = Config("ClassName", classname, str)
        self.options = Config("Options", options, str)
        self.dataset = None
        self.reset()

O métodos get_name, get_config, set_config, get_summary_config e must_train possuem implementações padrão. Veja exemplo de implementação em src/classification/classifier.py.

O método train deve ser implementado para treinar o seu classificador. No parâmetro dataset é passado o diretório onde estão as imagens para treinamento. No corpo do método o valor do atributo self.dataset, declarado como opcional no construtor, é alterado com o atual diretório de treinamento.

def train(self, dataset, training_data, force = False):              
        
        dataset += '/'
        # atributo que mantém o diretório do dataset.
        self.dataset = dataset 
  	    # os dois testes abaixo são padrão
        
        if self.data is not None and not force:
            return 
        
        if self.data is not None:
            self.reset()
		
	   # implemente aqui seu treinamento.

O método classify deve ser implementado para que seu classificador faça a predição. No parâmetro dataset é passado o diretório onde estão as imagens para treinamento, no test_dir é passado a pasta temporária criada pelo pynovisao onde estão as imagens que serão usadas para o teste. A pasta temporária é criada dentro do diretório dataset. Então, para acessar o diretório de testes basta concatenar dataset e test_dir, como no exemplo no corpo do método abaixo. O parâmetro test_data é um arquivo arff que contém os dados para os testes.

O método classify deve retornar uma lista contendo as classes preditas pelo seu classificador. Exemplo: [‘daninha’,’daninha’,’mancha_alvo’, ‘daninha’]

def classify(self, dataset, test_dir, test_data):
      
	   # diretório onde estão as imagens para testes.
       path_test = dataset + '/' + test_dir + '/'        
        
       # implemente aqui o preditor de seu classificador
 
       return # uma lista com as classes preditas

O método cross_validate deve ser implementado e o objetivo é implementar a validação cruzada. O método retorna uma string (info) com as métricas. Obs: o atributo self.dataset atualizado no método train pode ser utilizado no método cross-validate para acessar o diretório das imagens de treinamento.

def cross_validate(self, detail = True):
        start_time = TimeUtils.get_time()        
        info =  "Scheme:\t%s %s\n" % (str(self.classifier.classname) , "".join([str(option) for option in self.classifier.options]))
	  
	   # implemente aqui a validação cruzada.
	   return info

O método reset deve ser implementado de forma padrão, como exemplo abaixo.

def reset(self):
        self.data = None
        self.classifier = None

Após a implementação de seu classificador, você deve configurá-lo no pynovisao. A configuração deve ser realizada no arquivo src/classification/init.py.

Caso você necessite de classes utilitárias, os arquivos delas devem ser criados no diretório src/util/. Além disso, as classes utilitárias devem ser registradas como módulos no arquivo src/util/init.py

Caso dê problema relacionado ao número de processos, adicione as duas váriaveis de ambiente, sendo que deve adicionar no número de threads que o seu processador permite:

export OMP_NUM_THREADS=8 export KMP_AFFINITY="verbose,explicit,proclist=[0,3,5,9,12,15,18,21],granularity=core"