Exemplos de HustSpider em Python

Exemplo n.º 1

Arquivo: test.py Projeto: Monk-Liu/hustspider

def main():
    S = HustSpider()
    D = DB()
    res = S.get_info('U201410001')
    res = HustParser(res)
    D.insert_info(res)
    print("end")

Exemplo n.º 2

Arquivo: main.py Projeto: Monk-Liu/hustspider

class Main(object):

    def __init__(self):
        self.mainspider = HustSpider()
        self.db = DB()

    def do(self,id):
        res = self.mainspider.get_info(id)
        if not res:
            self.mainspider = HustSpider()
            return
        res = HustParser(res)
        if res.name:
            self.db.insert_info(res)
        else:
            pass
        return 

    def run(self):

        for i in range(1,8000):
            i = str(i)
            while len(i)<4:
                i = '0'+i
            id = 'U20121'+i
            try:
                self.do(id)
            except:
                print(("#error:%s"%id))
                continue

Exemplo n.º 3

Arquivo: main.py Projeto: Monk-Liu/hustspider

 def do(self,id):
     res = self.mainspider.get_info(id)
     if not res:
         self.mainspider = HustSpider()
         return
     res = HustParser(res)
     if res.name:
         self.db.insert_info(res)
     else:
         pass
     return 

Exemplo n.º 4

Arquivo: main.py Projeto: Monk-Liu/hustspider

 def __init__(self):
     self.mainspider = HustSpider()
     self.db = DB()