def get_etid_set_from_et_info_collect_lt():
"""
获取有猎头经历的etid，写入到数据库
:return:
"""
print utils.current_time(), '获取有猎头经历的企业'
logging.info('3. 获取有猎头经历的企业 ')
conn = utils.get_read_db()
xx = conn.query("select etid from et_info_collect where lt_company=1")
res = set([])
for i in xx:
res.add(i['etid'])
conn.close()
print utils.current_time(), '有猎头经历的企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), '有猎头经历的企业写入完成'
conn.close()
res = len(res)
return res
def get_etid_set_with_weixin_num():
"""
获取联系人中存在微信号的企业的etid，写入到数据库
:return:
"""
print utils.current_time(), '正在获取联系人中存在微信号的企业'
logging.info('8. 正在获取联系人中存在微信号的企业 ')
conn = utils.get_read_db(db='lz_datastore')
xx = conn.query("select etid from et_contact where weixin!=''")
res = set()
for i in xx:
res.add(i['etid'])
conn.close()
print utils.current_time(), '联系人中存在微信号的企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), '联系人中存在微信号的企业写入完成'
conn.close()
res = len(res)
return res
def get_etid_set_from_et_financing():
"""
获取A轮及A轮后融资企业的etid，写入到数据库
:return:
"""
print utils.current_time(), '获取A轮及A轮后融资企业'
logging.info('2. 获取A轮及A轮后融资企业 ')
conn = utils.get_read_db()
xx = conn.query("select etid from et_financing where rounds>9")
res = set([])
for i in xx:
res.add(i['etid'])
conn.close()
print utils.current_time(), 'A轮及A轮后融资企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), 'A轮及A轮后融资企业写入完成'
conn.close()
res = len(res)
return res
def get_etid_set_from_sys_group():
"""
获取有群好友的企业的etid，写入到数据库
:return:
"""
print utils.current_time(), '正在获取有群好友的企业'
logging.info('7. 正在获取有群好友的企业 ')
conn = utils.get_read_db(db='lz_crm')
xx = conn.query("select etid from sys_pub_chatgroup_account where etid!=0")
res = set()
for i in xx:
res.add(i['etid'])
conn.close()
print utils.current_time(), '有群好友的企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), '有群好友的企业写入完成'
conn.close()
res = len(res)
return res
def get_etid_set_from_et_jobs_liepin():
"""
获取在猎聘有职位的企业的etid，写入到数据库
:return:
"""
print utils.current_time(), '获取在猎聘有职位的企业'
logging.info('4. 获取在猎聘有职位的企业 ')
result = o.execute_sql(
"select etid from et_jobs where pt='{}' and job_outsite like '%liepin%'"
.format(pt))
res = set()
with result.open_reader() as reader:
for record in reader:
res.add(record['etid'])
print utils.current_time(), '在猎聘有职位的企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), '在猎聘有职位的企业写入完成'
conn.close()
res = len(res)
return res
def get_etid_set_from_et_info_extend():
"""
获取2015年后有拜访记录的企业的etid，写入到数据库
:param kinds: 企业种类
:param caiji_date:采集批次
:return:
"""
print utils.current_time(), '获取2015年后有拜访记录的企业'
logging.info('6. 获取2015年后有拜访记录的企业 ')
conn = utils.get_read_db()
xx = conn.query(
"select etid from et_info_extend where exVisitTime>1419120000")
res = set()
for i in xx:
res.add(i['etid'])
conn.close()
print utils.current_time(), '2015年后有拜访记录的企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), '2015年后有拜访记录的企业写入完成'
conn.close()
res = len(res)
return res
def get_etid_set_from_et_jobs_lagou():
"""
获取拉勾plus企业的etid，写入到数据库
:return:
"""
print utils.current_time(), '获取拉勾plus企业'
logging.info('5. 获取拉勾plus企业 ')
result = o.execute_sql(
"select count(etid) as job_cnt,etid from et_jobs where pt='{}' and job_outsite like '%lagou%' GROUP BY etid"
.format(pt))
res = set() # 创建一个无序的不重复的元素集
with result.open_reader() as reader:
for record in reader:
if int(record['job_cnt']) > 5:
res.add(record['etid'])
print utils.current_time(), '拉勾plus', len(res)
print utils.current_time(), '拉勾plus企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), '拉勾plus企业写入完成'
conn.close()
res = len(res)
return res
def get_etid_set_by_bdname():
"""
获取联系人中存在微信号的企业的etid，写入到数据库
:return:
"""
bdid_list = [200000248, 200000678] # [赵露露,洪娟]
print utils.current_time(), '正在获取BD名下的企业'
logging.info('9. 正在获取BD名下的企业 ')
conn = utils.get_read_db(db='lz_crm')
res = set()
for bdid in bdid_list:
xx = conn.query(
"select etid from erpo_company_adviser where createuid={}".format(
bdid))
for i in xx:
res.add(i['etid'])
conn.close()
print utils.current_time(), 'BD名下的企业获取完成，准备写入数据库'
conn = utils.replace_db(res)
print utils.current_time(), 'BD名下的企业写入完成'
conn.close()
res = len(res)
return res