from grab import Grab, GrabError
from urllib import quote
import re
g = Grab()
g.go('http://www.google.ru/search?num=100&q=' + quote('free proxy +":8080"'))
rex = re.compile(r'(?:(?:[-a-z0-9]+\.)+)[a-z0-9]+:\d{2,4}')
for proxy in rex.findall(g.drop_space(g.css_text('body'))):
g.setup(proxy=proxy, proxy_type='http', connect_timeout=5, timeout=5)
try:
g.go('http://google.com')
except GrabError:
print(proxy, 'FAIL')
else:
print(proxy, 'OK')
from grab import Grab
import re
import logging
logging.basicConfig(level=logging.DEBUG)
g = Grab()
g.go('http://habrahabr.ru')
g.search(u'Google')
g.search(u'яндекс')
g.search(u'Яндекс')
g.search(u'гугл')
g.search(u'Медведев')
g.search('Медведев')
g.search('Медведев', byte=True)
g.search_rex(re.compile('Google'))
g.search_rex(re.compile('Google\s+\w+', re.U))
g.assert_substring('скачать торрент бесплатно')
g.assert_substring(u'скачать торрент бесплатно')
g.drop_spaces('foo bar')
g.drop_space('foo bar')
g.normalize_space(' foo \n \t bar')
g.find_number('12 человек на сундук мертвеца')
