for row in pageList:
publish_time = datetime.datetime.strptime(row.publish_time, timeformat)
save_time = datetime.datetime.fromtimestamp(row.save_time)
# print(type(row.title))
writer.add_document(
page_id=row.id,
title=row.title,
body=row.body,
url=row.url,
# site_name=row.site_name,
# html_title=row.html_title,
# source_site=row.source_site,
publish_time=publish_time,
save_time=save_time,
# save_path=row.save_path
)
i += 1
print("inserting the %s rows" % i)\
# 可以在循环内部提交
db.close()
writer.commit()
print("all had inserted!!!")
"""
使用标志位的办法增量添加.
1. 标志位为0的是待添加对象,
2. 标志位为1是已经添加的对象.
3. 这里可以设置一个添加的日志文件.
4. 上传完成之后修改数据库和生成日志文件.
5. 日志文件只用简单的串行化page_id存储即可.
"""
def get_proxy_list():
""" 获取代理列表"""
db = DBSession()
proxy_list = db.query(Proxy).all()
db.close()
return proxy_list
def get_proxy_list():
""" 获取代理列表"""
db = DBSession()
proxy_list = db.query(Proxy).all()
db.close()
return proxy_list
