Esempio n. 1
0
File: test.py Progetto: icio/crul
 def test_missing(self):
     self.assertEqual(
         parse_crawl_delay(
             None,
             """
         User-agent: *
         Disallow: /private
         Disallow: /random
     """,
         ),
         0,
     )
Esempio n. 2
0
File: test.py Progetto: icio/crul
 def test_int(self):
     self.assertEqual(
         parse_crawl_delay(
             None,
             """
         User-agent: *
         Disallow: /private
         Disallow: /random
         Disallow: /day
         Crawl-delay: 1
     """,
         ),
         1,
     )
Esempio n. 3
0
File: test.py Progetto: icio/crul
 def test_alpha(self):
     self.assertEqual(parse_crawl_delay(None, "Crawl-delay: 1.5sdf"), 1.5)
     self.assertEqual(parse_crawl_delay(None, "Crawl-delay: sdf"), 0)
Esempio n. 4
0
File: test.py Progetto: icio/crul
 def test_negative(self):
     self.assertEqual(parse_crawl_delay(None, "Crawl-delay: -1.5"), 0)
Esempio n. 5
0
File: test.py Progetto: icio/crul
 def test_float(self):
     self.assertEqual(parse_crawl_delay(None, "Crawl-delay: 1.5"), 1.5)