def categoryCatch(request,id): """***抓取所有一级分类和其子分类***""" #--得到当前抓取网站相关信息--# site=SiteInfo.objects.get(id=id) #得到当前抓取的站点信息 log=Log.objects.get(siteId=id) #得到当前抓取站点的日志Log startUrl=site.startUrl #得到抓取的起始页地址 #--开始匹配和抓取--# try: topC=compiledTopPatterns.finditer(getHtml(startUrl)) #调用公共函数catchIter抓取所有一级分类，得到所有一级分类的迭代器 except URLError,e: #如果出现URLError，将错误记录到日志，并返回错误信息和当前事件 urlErrorHandler(log,e) #调用urlErrorHandler函数处理URLError log.currentEvent='Catch Category False' #如果发生异常，则记录事件为'Catch Category False' log.save() #保存log数据 return HttpResponse(log.errorInfo) #返回log信息
def categoryCatch(request,id): """***抓取所有一级分离和其子分类***""" #--得到当前抓取网站相关信息--# site=SiteInfo.objects.get(id=id) #得到当前抓取的站点信息 log=Log.objects.get(siteId=id) #得到当前抓取站点的日志Log startUrl=site.startUrl #得到抓取的起始页地址 #--抓取分类--# try: topC=compiledTopPatterns.finditer(getHtml(startUrl)) #抓取所有一级分类，得到所有一级分类的迭代器 except URLError,e: #如果出现URLError，将错误记录到日志，并返回错误信息和当前事件 urlErrorHandler(log,e) #调用 urlErrorHandler函数处理异常 log.currentEvent='Catch Category' log.save() return HttpResponse(log.errorInfo)
def bookDetailUpdate(request,id):
"""***更新书籍：
如果抓取得到的书籍已存在，则跳过；
如果抓取得到的书籍不存在，表示是新书，则将其具体信息保存***"""
#--得到上次抓取的断点信息--#
log=Log.objects.get(siteId=id) #取出当前抓取网站的Log
lastBreakSubId=log.breakSubId #得到上次抓取的断点子分类id
lastBreakPageId=log.breakPageId #得到上次抓取的断点分页页码
lastBreakItemId=log.breakItemId #得到上次抓取的分页中的具体断点书籍序号
subcategory=SubCategory.objects.filter(siteId=id,id__gte=lastBreakSubId) #得到该网站下所有id大于等于断点id的子分类（即从上次断点处开始抓取）
#--对所有匹配分类进行判断和抓取--#
for c in subcategory: #对所有匹配分类进行循环
log.breakSubId=c.id #在日志里记录当前分类id
log.breakSubTitle=c.title #在日志里记录当前分类名称
log.save() #保存Log
firstUrl=c.url #得到子分类的图书列表地址(第一页)
redirectUrl=urlopen(firstUrl).geturl() #得到子分类地址重定向后的地址（当当在这里做了重定向）
#--得到总页数--#
pageData=catchIter(pagePatterns,getHtml(redirectUrl)) #抓取列表的分页信息
try:
for p in pageData:
pagenum=p.group('Page') #得到当前子分类的总页数
totalPageNum=int(pagenum) #将字符串转化为整型，用于下面的循环
except NameError:
totalPageNum=1 #如果不存在第二页，则总页数为1
#--开始抓取--#
if c.id ==lastBreakSubId: #判断当前子分类是否是上次断点子分类
startPage=lastBreakPageId #如果是，则当前分类的起始页从上次断点分页处开始
for i in range(startPage,totalPageNum+1): #对所有匹配分页进行循环
if i==startPage: #判断是否是上次断点分页，如果是，则后面继续判断具体书籍序号
if i==1:
url=redirectUrl #如果上次断点分页为第一页，则使用第一页重定向后的地址redirectUrl
else:
url=getPageUrl(firstUrl,i) #如果 i 不等于1，调用getPageUrl函数获取分页地址
try:
bookDetail_1=catchIter(detailPatterns_1,getHtml(url)) #抓取书的部分信息,得到当前页所有书籍的一个迭代器
except URLError,e: #出现URLError异常后的处理
urlErrorHandler(log,e) #调用urlErrorHandler函数处理URLError
itemId=0 #给当页具体书籍序号初始化
for b in bookDetail_1: #对当前页的所有书籍进行循环
itemId+=1 #记录下当前书籍序号
if itemId <= lastBreakItemId: #如果序号小于等于上次断点序号，跳过后面的语句
continue
else: #如果序号大于上次断点序号，进行正常抓取和保存
itemId+=1
singleBookSave(c,log,b) #执行单本书抓取和保存
else: #如果不是上次断点分页，则执行正常抓取
log.breakPageId=i #在Log里记录下当前分页页码
log.save() #保存到Log
url=getPageUrl(firstUrl,i)
try:
bookDetail_1=catchIter(detailPatterns_1,getHtml(url)) #抓取书的部分信息,得到当前页所有书籍的一个迭代器
except URLError,e:
urlErrorHandler(log,e) #调用urlErrorHandler函数处理URLError
itemId=0
for b in bookDetail_1:
itemId+=1
singleBookSave(c,log,b,itemId) #调用singleBookSave函数完成单本书籍的抓取和保存
def bookDetailCatch(request,id):
"""抓取书籍的具体信息，包括书名，作者，价格，购买地址等"""
#--得到上次抓取的断点信息--#
log=Log.objects.get(siteId=id) #取出当前抓取网站的Log
lastBreakSubId=log.breakSubId #得到上次抓取的断点子分类id
lastBreakPageId=log.breakPageId #得到上次抓取的断点分页页码
lastBreakItemId=log.breakItemId #得到上次抓取的分页中的具体断点书籍序号
subcategory=SubCategory.objects.filter(siteId=id,id__gte=lastBreakSubId) #得到该网站下所有id大于等于断点id的子分类（即从上次断点处开始抓取）
errorcode=0 #初始化errorcode
#--对所有匹配子分类进行循环、判断、抓取--#
for c in subcategory: #对所有匹配分类进行循环
log.breakSubId=c.id #在日志里记录当前分类id
log.breakSubTitle=c.title #在日志里记录当前分类名称
log.save() #保存Log
firstUrl=c.url #得到子分类的图书列表地址(第一页)
redirectUrl=urlopen(firstUrl).geturl() #得到子分类地址重定向后的地址（当当在这里做了重定向）
#--得到总页数--#
try:
pageData=compiledPagePatterns.finditer(getHtml(redirectUrl)) #抓取列表的分页信息
except URLError,e:
urlErrorHandler(log,e) #调用urlErrorHandler函数进行Log记录
return HttpResponse('Page Exception Raised: %s' % log.errorInfo) #由于没有抓取到分页信息，停止抓取，返回错误信息
try:
for p in pageData:
pagenum=p.group('Page') #得到当前子分类的总页数
totalPageNum=int(pagenum) #将字符串转化为整型，用于下面的循环
except NameError:
totalPageNum=1 #如果不存在第二页，则总页数为1
#--开始抓取--#
if c.id ==lastBreakSubId: #判断当前子分类是否是上次断点子分类
startPage=lastBreakPageId #如果是，则当前分类的起始页从上次断点分页处开始
for i in range(startPage,totalPageNum+1): #对所有匹配分页进行循环
if i==startPage: #判断是否是上次断点分页，如果是，则后面继续判断具体书籍序号
if i==1:
url=redirectUrl #如果上次断点分页为第一页，则使用第一页重定向后的地址redirectUrl
else:
url=getPageUrl(firstUrl,i) #如果 i 不等于1，调用getPageUrl函数获取分页地址
try:
bookDetail_1=compiledDetailPatterns_1.finditer(getHtml(url)) #抓取书的部分信息,得到当前页所有书籍的一个迭代器
except URLError,e: #出现URLError异常后的处理
urlErrorHandler(log,e) #调用urlErrorHandler函数处理URLError
if errorcode==1: #如果发生异常，使用continue跳过后面的语句，循环到下一页
continue
itemId=0 #给当页具体书籍序号初始化
for b in bookDetail_1: #对当前页的所有书籍进行循环
itemId+=1 #记录下当前书籍序号
if itemId <= lastBreakItemId: #如果序号小于等于上次断点序号，跳过后面的语句
continue
else: #如果序号大于上次断点序号，进行正常抓取和保存
try:
singleBookSave(c,log,b,itemId) #执行单本书抓取和保存
except URLError,e:
urlErrorHandler(log,e)
if errorcode==1: #如果发生异常，使用continue跳过后面的语句，循环到下一本书
continue
log.breakItemId=1 #当某一分页所有的书籍循环完毕后，立即将Log里的breakItemId置为1
log.save() #保存到Log
else: #如果不是上次断点分页，则执行正常抓取
log.breakPageId=i #在Log里记录下当前分页页码
log.save() #保存到Log
url=getPageUrl(firstUrl,i)
try:
bookDetail_1=compiledDetailPatterns_1.finditer(getHtml(url)) #抓取书的部分信息,得到当前页所有书籍的一个迭代器
except URLError,e:
urlErrorHandler(log,e) #调用urlErrorHandler函数处理URLError
if errorcode==1:
continue
itemId=0
for b in bookDetail_1:
itemId+=1
try:
singleBookSave(c,log,b,itemId) #调用singleBookSave函数完成单本书籍的抓取和保存
except URLError,e:
urlErrorHandler(log,e)
if errorcode==1:
continue
continue
log.breakItemId=1 #当某一分页所有的书籍循环完毕后，立即将Log里的breakItemId置为1
log.save() #保存到Log
else:
startPage=1 #如果不是上次断点分类，则从第一页开始
for i in range(startPage,totalPageNum+1):
log.breakPageId=i
log.save() #在Log里记录下当前分页页码
if i==1:
url=redirectUrl #如果i为1，则说明为第一页，使用第一页重定向后的地址redirectUrl
else:
url=getPageUrl(firstUrl,i)
try:
bookDetail_1=compiledDetailPatterns_1.finditer(getHtml(url)) #抓取书的部分信息，得到当前页下所有书籍的迭代器
except URLError,e:
urlErrorHandler(log,e) #调用urlErrorHandler函数处理URLError
if errorcode==1:
continue
itemId=0
for b in bookDetail_1:
itemId+=1
try:
singleBookSave(c,log,b,itemId) #调用singleBookSave函数完成单本书籍的抓取和保存
except URLError,e:
urlErrorHandler(log,e)
if errorcode==1:
continue
log.breakItemId=1
log.save()
return HttpResponse('抓取成功，请<a href="/bookcatch/addsites/">返回</a>')
def bookDetailCatch(request,id):
"""***抓取书籍的具体信息，包括书名，作者，价格，购买地址等***"""
#--得到上次抓取的断点信息--#
log=Log.objects.get(siteId=id) #取出当前抓取网站的Log
lastBreakSubId=log.breakSubId #得到上次抓取的断点子分类id
lastBreakPageId=log.breakPageId #得到上次抓取的断点分页页码
lastBreakItemId=log.breakItemId #得到上次抓取的分页中的具体断点书籍序号
subcategory=SubCategory.objects.filter(siteId=id,id__gte=lastBreakSubId) #得到该网站下所有id大于等于断点id的子分类（即从上次断点处开始抓取）
errorcode=0
#--对所有匹配子分类进行循环、判断、抓取--#
for c in subcategory: #对所有匹配分类进行循环
log.breakSubId=c.id #在日志里记录当前分类id
log.breakSubTitle=c.title #在日志里记录当前分类名称
log.save() #保存Log
firstUrl=c.url #得到子分类的图书列表第一页地址(后面用于分页)
#--得到下一页的地址，并以此地址做为分页地址的模板，如果下一页存在，则将页数定为100页，否则，说明只有一页，页数定为1--#
try:
next=compiledPagePatterns.search(getHtml(firstUrl)) #抓取下一页分页地址
except URLError,e:
urlErrorHandler(log,e) #如果出现URLError异常，调用urlErrorHandler函数进行Log记录
return HttpResponse('Page Exception Raised: %s' % log.errorInfo) #由于没有抓取到分页信息，停止抓取，返回错误信息
if next: #如果匹配到下一页
nextUrl=next.group('Next') #得到下一页的地址（是一个相对地址，后面将对这个地址进行转换）
totalPageNum=100 #将总页数强制定为100
else:
totalPageNum=1 #如果没有匹配到下一页，则总页数为1
#--开始抓取--#
if c.id==lastBreakSubId: #判断当前子分类是否是上次断点子分类
startPage=lastBreakPageId #如果当前分类是上次断点分类，则从上次断点分页开始抓取，设置起始页为上次断点页码
for i in range(startPage,totalPageNum+1): #对所有匹配分页进行循环
if i==startPage: #判断是否是上次断点分页，如果是，则后面继续判断具体书籍序号
if i==1:
url=firstUrl #如果上次断点分页为第一页，则使用第一页地址firstUrl
else:
url=getPageUrl(nextUrl,i) #如果 i 不等于1，调用getPageUrl函数获取分页地址
try:
htmlData=getHtml(url) #得到当前分页的HTML内容数据
except URLError,e: #捕捉URLError异常
urlErrorHandler(log,e) #如果捕捉到异常，调用urlErrorHandler函数进行Log记录
if errorcode==1: #errocode为1时，说明发生异常，则使用continue跳过本次循环后面的语句，循环到下一页
continue
bookinfo=compiledDetailPatterns_1.search(htmlData) #对书籍信息1进行匹配（用于判断该页是否超出分页范围，如果超出，则匹配结果为None）
if bookinfo: #如果匹配到书籍信息，说明当前页没有超出页码范围
bookDetail_1=compiledDetailPatterns_1.finditer(htmlData) #对当前页的书籍信息1进行匹配，得到当前页所有书籍的购买地址等信息的一个迭代器
itemId=0 #给当页具体书籍序号初始化
for bd1 in bookDetail_1: #对迭代器进行循环，得到每一本书的数据
itemId+=1 #记录下当前书籍序号
if itemId <= lastBreakItemId: #如果序号小于等于上次断点序号，跳过后面的语句
continue
else: #如果序号大于上次断点序号，进行正常抓取和保存
try:
singleBookSave(c,log,bd1,itemId) #执行单本书抓取和保存
except URLError,e:
urlErrorHandler(log,e) #如果捕捉到异常，调用urlErrorHandler函数进行Log记录
if errorcode==1: #errorcode为1时，说明发生异常，则使用continue跳过本次循环后面的语句，循环到下一页
continue
log.breakItemId=1 #当某一分页所有的书籍循环完毕后，立即将Log里的breakItemId置为1
log.save()
else: #如果bookinfo为None，说明超出页码范围，立即停止分页循环，进行下一个分类的抓取
break
else: #如果不是上次断点分页，则执行正常抓取
log.breakPageId=i #在Log里记录下当前分页页码
log.save()
url=getPageUrl(nextUrl,i) #调用getPageUrl函数获取分页地址
try:
htmlData=getHtml(url) #得到当前分页的HTML内容数据
except URLError,e: #捕捉URLError异常
urlErrorHandler(log,e) #如果捕捉到异常，调用urlErrorHandler函数进行Log记录
if errorcode==1: #errorcode为1时，说明发生异常，则使用continue跳过本次循环后面的语句，循环到下一页
continue
bookinfo=compiledDetailPatterns_1.search(htmlData) #对书籍信息1进行匹配（用于判断该页是否超出分页范围，如果超出，则匹配结果为None）
if bookinfo: #如果匹配到书籍信息，说明当前页没有超出页码范围
bookDetail_1=compiledDetailPatterns_1.finditer(htmlData) #对当前页的书籍信息1进行匹配，得到当前页所有书籍的购买地址等信息的一个迭代器
itemId=0
for bd1 in bookDetail_1: #对迭代器进行循环，得到每一本书的数据
itemId+=1
try:
singleBookSave(c,log,bd1,itemId) #执行单本书抓取和保存
except URLError,e:
urlErrorHandler(log,e) #捕捉到URLError异常后，调用urlErrorHandler函数进行Log记录
if errorcode==1: #errocode为1时，说明发生异常，则使用continue跳过本次循环后面的语句，循环到下一本书
continue
log.breakItemId=1 #当某一分页所有的书籍循环完毕后，立即将Log里的breakItemId置为1
log.save()
sc=SubCategory(title=subTitle,url=subLink,topcategory=tc,siteId=id) #将子分类数据保存到数据库中
sc.save()
#--保存成功，将事件记录到日志--#
log.errorInfo='No Exception Raise' #保存日志错误信息
log.currentEvent='Save Category Success' #保存当前事件
log.save()
#--抓取“进口原版”分类，由于卓越的所有分类的进口原版分类url地址错误，所以要从其他页面抓取--#
#进口原版的分类地址#
IOUrl='http://www.amazon.cn/s/qid=1261309185/ref=sr_nr_n_49?ie=UTF8&rs=658391051&bbn=658391051&rnid=658391051&rh=n%3A658390051%2Cn%3A!658391051%2Cn%3A2045366051'
try:
IOData=compiledIOPatterns.finditer(getHtml(IOUrl)) #抓取进口原版分类下的子分类，得到一个子分类的迭代器
except URLError,e:
urlErrorHandler(log,e) #调用 urlErrorHandler函数处理异常
log.currentEvent='Catch Category'
return HttpResponse(log.errorInfo)
tc=TopCategory(title='进口原版',url=IOUrl,siteId=id) #保存‘进口原版’到一级分类数据库中
tc.save()
for io in IOData: #对其子分类进行迭代
subLink=io.group('SubLink') #取出进口原版子分类地址
subTitle=io.group('SubTitle') #取出进口原版子分类名称
sc=SubCategory(title=subTitle,url=subLink,topcategory=tc,siteId=id) #将进口原版保存到数据库中
sc.save()
#--保存成功，将事件记录到日志--#
log.errorInfo='No Exception Raise' #保存日志错误信息
log.currentEvent='Save Category Success' #保存当前事件
log.save()
return HttpResponse('抓取成功，请<a href="/bookcatch/addsites/">返回</a>') #抓取完成，返回到站点添加页面
