예제 #1
0
파일: crawl.py 프로젝트: fidlej/jakybyt 
def getUrlContent(url):
    time.sleep(CRAWL_DELAY_SECONDS)
    return htmlSource.getUrlContent(url, headers=HEADERS)
예제 #2
0
파일: geocoder.py 프로젝트: fidlej/jakybyt 
def _getGeoResponse(query, format="csv", options={}):
    options["q"] = query
    options["output"] = format
    return htmlSource.getUrlContent(GEO_URL, options)