コード例 #1
0
ファイル: validate.py プロジェクト: alienlike/dmozloader 
def validate_pages():

    print 'Validating pages...'

    # configure parser
    parser = DmozContentParser(DMOZ_CONTENT_FILE)
    parser.add_handler(DummyHandler())

    # run
    parser.run()
コード例 #2
0
ファイル: load.py プロジェクト: alienlike/dmozloader 
def load_pages():

    print 'Loading pages...'

    # configure session
    engine = create_engine(CONN_STR)
    Session = sessionmaker(bind=engine)
    session = Session()

    # configure parser
    parser = DmozContentParser(DMOZ_CONTENT_FILE)
    parser.add_handler(PageHandler(session))

    # run
    parser.run()