def get_36kr_etid():
logging.info('10. 正在获取36hr的企业 ')
print utils.current_time(), '建立数据库连接...'
conn = utils.get_read_db(db='contact_datastore')
print utils.current_time(), '查询需要采集的etid...'
res = conn.query("select etid from dt_daily_36kr")
conn.close()
print utils.current_time(), '查询完成！'
insert_list = []
addtime = int(time.time())
for x in res:
insert_list.append([x['etid'], addtime])
print utils.current_time(), '准备写入数据库...'
conn = utils.get_local_db()
total = len(insert_list)
print utils.current_time(), '共需写入', total, '条！'
for i in range(0, total, 1000):
start = i
end = min(start + 1000, total)
conn.executemany(
"insert into et_info_status(etid,addtime) values(%s,%s)on duplicate key update etid=values(etid), addtime=values(addtime)",
insert_list[start:end])
print utils.current_time(), '当前写入 {}/{}！'.format(end, total)
conn.close()
print '写入完成！'
return total
def get_companys(etids):
# 获取公司信息
companys = []
conn = utils.get_read_db()
print utils.current_time(), '从线上读取部分的etid的信息 '
logging.info('%s 从线上读取部分的etid的信息 ' % utils.current_time())
for etid in etids:
# print etid
sql = 'select etid,etname,etwebsite,etfullname from et_info where etid={}'.format(
etid['etid'])
result = conn.query(sql)
companys.append(result)
return companys
conn.close()
def get_etid_set_from_et_info_collect_lt():
"""
获取有猎头经历的etid，写入到数据库
:return:
"""
print utils.current_time(), '获取有猎头经历的企业'
logging.info('3. 获取有猎头经历的企业 ')
conn = utils.get_read_db()
xx = conn.query("select etid from et_info_collect where lt_company=1")
res = set([])
for i in xx:
res.add(i['etid'])
conn.close()
print utils.current_time(), '有猎头经历的企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), '有猎头经历的企业写入完成'
conn.close()
res = len(res)
return res
def get_etid_set_from_et_financing():
"""
获取A轮及A轮后融资企业的etid，写入到数据库
:return:
"""
print utils.current_time(), '获取A轮及A轮后融资企业'
logging.info('2. 获取A轮及A轮后融资企业 ')
conn = utils.get_read_db()
xx = conn.query("select etid from et_financing where rounds>9")
res = set([])
for i in xx:
res.add(i['etid'])
conn.close()
print utils.current_time(), 'A轮及A轮后融资企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), 'A轮及A轮后融资企业写入完成'
conn.close()
res = len(res)
return res
def get_etid_set_with_weixin_num():
"""
获取联系人中存在微信号的企业的etid，写入到数据库
:return:
"""
print utils.current_time(), '正在获取联系人中存在微信号的企业'
logging.info('8. 正在获取联系人中存在微信号的企业 ')
conn = utils.get_read_db(db='lz_datastore')
xx = conn.query("select etid from et_contact where weixin!=''")
res = set()
for i in xx:
res.add(i['etid'])
conn.close()
print utils.current_time(), '联系人中存在微信号的企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), '联系人中存在微信号的企业写入完成'
conn.close()
res = len(res)
return res
def get_etid_set_from_sys_group():
"""
获取有群好友的企业的etid，写入到数据库
:return:
"""
print utils.current_time(), '正在获取有群好友的企业'
logging.info('7. 正在获取有群好友的企业 ')
conn = utils.get_read_db(db='lz_crm')
xx = conn.query("select etid from sys_pub_chatgroup_account where etid!=0")
res = set()
for i in xx:
res.add(i['etid'])
conn.close()
print utils.current_time(), '有群好友的企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), '有群好友的企业写入完成'
conn.close()
res = len(res)
return res
def get_etid_set_from_et_info_extend():
"""
获取2015年后有拜访记录的企业的etid，写入到数据库
:param kinds: 企业种类
:param caiji_date:采集批次
:return:
"""
print utils.current_time(), '获取2015年后有拜访记录的企业'
logging.info('6. 获取2015年后有拜访记录的企业 ')
conn = utils.get_read_db()
xx = conn.query(
"select etid from et_info_extend where exVisitTime>1419120000")
res = set()
for i in xx:
res.add(i['etid'])
conn.close()
print utils.current_time(), '2015年后有拜访记录的企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), '2015年后有拜访记录的企业写入完成'
conn.close()
res = len(res)
return res
def get_etid_set_by_bdname():
"""
获取联系人中存在微信号的企业的etid，写入到数据库
:return:
"""
bdid_list = [200000248, 200000678] # [赵露露,洪娟]
print utils.current_time(), '正在获取BD名下的企业'
logging.info('9. 正在获取BD名下的企业 ')
conn = utils.get_read_db(db='lz_crm')
res = set()
for bdid in bdid_list:
xx = conn.query(
"select etid from erpo_company_adviser where createuid={}".format(
bdid))
for i in xx:
res.add(i['etid'])
conn.close()
print utils.current_time(), 'BD名下的企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), 'BD名下的企业写入完成'
conn.close()
res = len(res)
return res