for row in pageList: publish_time = datetime.datetime.strptime(row.publish_time, timeformat) save_time = datetime.datetime.fromtimestamp(row.save_time) # print(type(row.title)) writer.add_document( page_id=row.id, title=row.title, body=row.body, url=row.url, # site_name=row.site_name, # html_title=row.html_title, # source_site=row.source_site, publish_time=publish_time, save_time=save_time, # save_path=row.save_path ) i += 1 print("inserting the %s rows" % i)\ # 可以在循环内部提交 db.close() writer.commit() print("all had inserted!!!") """ 使用标志位的办法增量添加. 1. 标志位为0的是待添加对象, 2. 标志位为1是已经添加的对象. 3. 这里可以设置一个添加的日志文件. 4. 上传完成之后修改数据库和生成日志文件. 5. 日志文件只用简单的串行化page_id存储即可. """
def get_proxy_list(): """ 获取代理列表""" db = DBSession() proxy_list = db.query(Proxy).all() db.close() return proxy_list