except:
datadict["user_skills"] = None
#########################################################################################################
############----------------- Creating the Bag of Words of Candidate's Details
#########################################################################################################
text = 5 * (" " + cleanToken(
datadict["user_profiletitle"])) + ' ' + 5 * (
" " + cleanToken(datadict["user_skills"])
) + ' ' + 2 * (" " + cleanToken(
datadict["user_jobtitle"])) + ' ' + 1 * (
" " + cleanToken(datadict["user_industry"])
) + ' ' + 1 * (" " + cleanToken(
datadict["user_functionalarea"]))
datadict["user_bow"] = mb.getBow(text, getbowdict=0)
except Exception as e:
print e
continue
datadict["p"] = pidcounter
datadict["s"] = False
#user_id_list.append(doc['id'])
insert.append(datadict)
pidcounter = pidcounter + 1
#########################################################################################################
############-----------------Inserting in mongo in batch of 10000
#########################################################################################################
if querycount % 10000 == 0:
except:
user_industry = ""
try:
user_location = ','.join(user_location_list)
except:
user_location = ""
#########################################################################################################
############----------------- Creating the Bag of Words of Candidate's Details
#########################################################################################################
text = 5 * (" " + user_profiletitle) + ' ' + 3 * (
" " + user_skills) + ' ' + 1 * (
" " + user_industry) + ' ' + 1 * (" " +
user_functionalarea)
user_bow = mb.getBow(text, getbowdict=0)
document = {'_id':_id,'user_firstname':user_firstname,'user_lastname':user_lastname , \
'user_phone_number':user_phone_number, 'user_id':user_id , \
'user_email':user_email , 'user_lastlogin':user_lastlogin ,\
'user_lastmodified' :user_lastmodified, 'user_profiletitle' :user_profiletitle ,\
'user_registration_start_date':user_registration_start_date , 'user_experience':user_experience ,\
'user_location':user_location , 'user_industry':user_industry, 'user_ctc':user_ctc ,\
'user_functionalarea':user_functionalarea , 'user_skills':user_skills , 'user_bow': user_bow, \
'user_countrycode':user_countrycode , 'pid':pid
}
monconn_jobs_local.saveToTable(document)
#########################################################################################################