コード例 #1
0
ファイル: __init__.py プロジェクト: liangbaika/smart-spider
 async def contains(self, url):
     await self.creat_redi()
     res = await self.redis.sismember(self.filterset_name,
                                      mutations_bkdr_hash(url))
     return res
コード例 #2
0
ファイル: uni_test.py プロジェクト: liangbaika/smart-spider
 def test5(self):
     print("\r\n")
     x = "22李思32sss;'*&^%%$##@#@!是S2.。 s s" * 100000
     print(mutations_bkdr_hash(x))
コード例 #3
0
ファイル: __init__.py プロジェクト: liangbaika/smart-spider
 async def add(self, url):
     await self.creat_redi()
     if url:
         await self.redis.sadd(self.filterset_name,
                               mutations_bkdr_hash(url))
コード例 #4
0
ファイル: __init__.py プロジェクト: liangbaika/smart-spider
 def contains(self, url):
     res = self.redis.sismember(self.filterset_name,
                                mutations_bkdr_hash(url))
     return res
コード例 #5
0
ファイル: __init__.py プロジェクト: liangbaika/smart-spider
 def add(self, url):
     if url:
         self.redis.sadd(self.filterset_name, mutations_bkdr_hash(url))
コード例 #6
0
 def contains(self, url):
     if not url:
         return False
     if mutations_bkdr_hash(url) in self.set_container:
         return True
     return False
コード例 #7
0
 def add(self, url):
     if url:
         self.set_container.add(mutations_bkdr_hash(url))