def test_remove_duplicated_entries(self):
foo = Crawler()
link_list_original = [
'http://www.epocacosmeticos.com.br/buscapagina/p',
'http://www.epocacosmeticos.com.br/buscapagina1',
'http://www.epocacosmeticos.com.br/buscapaginalol'
]
link_list_duplicated = [
'http://www.epocacosmeticos.com.br/buscapagina/p',
'http://www.epocacosmeticos.com.br/buscapagina/p',
'http://www.epocacosmeticos.com.br/buscapagina/p',
'http://www.epocacosmeticos.com.br/buscapagina/p',
'http://www.epocacosmeticos.com.br/buscapagina/p',
'http://www.epocacosmeticos.com.br/buscapagina1',
'http://www.epocacosmeticos.com.br/buscapagina1',
'http://www.epocacosmeticos.com.br/buscapagina1',
'http://www.epocacosmeticos.com.br/buscapaginalol'
]
self.assertEqual(sorted(foo.remove_duplicated_entries(link_list_duplicated)), \
sorted(link_list_original))
