Ejemplo n.º 1
0
 def test_allow_robots_txt(self):
     '''Allows robots.txt.'''
     robot = robots.AllowNone('http://example.com/robots.txt')
     self.assertTrue(robot.allowed('/robots.txt', 'agent'))
Ejemplo n.º 2
0
 def test_allow(self):
     '''Allows nothing.'''
     robot = robots.AllowNone('http://example.com/robots.txt')
     self.assertFalse(robot.allowed('/', 'agent'))