def teste_com_pontuacao(self): texto = 'ola, tudo bem?' self.assertEqual(['ola', 'tudo', 'bem'], plagio.tokenizar(texto))
def teste_string_vazia(self): texto = '' self.assertEqual([], plagio.tokenizar(texto))
def teste_tokenizacao(self): texto = 'ola tudo bem' self.assertEqual(['ola', 'tudo', 'bem'], plagio.tokenizar(texto))
def teste_com_maiusculas(self): texto = 'Ola, tudo bem?' self.assertEqual(['Ola', 'tudo', 'bem'], plagio.tokenizar(texto))
def teste_com_acento_o(self): texto = u'olá, tudo bem? ação orações' self.assertEqual([u'olá', u'tudo', u'bem', u'ação', u'orações'], plagio.tokenizar(texto))