Ejemplo n.º 1
0
    ], "Revival Monthly", "Candidates Processeing Started !!")
    date = datetime.datetime.now()
    print date
    startdate, enddate = getMonthlyLoginRangeFor(date)
    print startdate
    days_from = (date - startdate).days
    print enddate
    days_to = (date - enddate).days

    #########################################################################################################
    ############-----------------Loading the mappings for Bag of Words
    #########################################################################################################
    print 'Loading the mappings for bow'
    synMappingFileName = '../Features/rawData/LSI/Model_UnifiedTKE/unifiedtkelist.csv'
    keywordIdMappingFileName = '../Features/rawData/LSI/Model_UnifiedTKE/unifiedtkelist_numbered.csv'  #This file is created
    mb = MyBOW(synMappingFileName, keywordIdMappingFileName)
    print 'Loading the mappings for bow...finished'

    #########################################################################################################
    ############-----------------Creating Mongo Connection for candidates database
    #########################################################################################################
    mongo_conn = getMongoMaster()
    collection = getattr(mongo_conn, "candidates_processed")
    collection.drop()
    #collection.remove({'user_lastlogin' : {'$lt':str(date1)}})

    #########################################################################################################
    ############-----------------Creating SOLR query for incremental candidates
    ############-----------------Contact Rajat incase of any issues/change in query
    #########################################################################################################
    SOLR_URL_NEW = 'http://172.22.65.28:8989/solr/cda/select/?wt=json&rows=1000&q=*:*'
        monconn_status_check = MongoConnect(tableName,
                                            host='localhost',
                                            database='jam_status')
        monconn_status_check_cur = monconn_status_check.getCursor()
        monconn_status_check.dropTable()
        del (monconn_status_check)
        #monconn_status_check.saveToTable({'_id':1,'status':0})

        ######################################
        '''Load the mapping for Bag of Words'''
        ######################################

        print 'Loading the mappings for bow'
        synMappingFileName = '../Features/rawData/LSI/Model_UnifiedTKE/unifiedtkelist.csv'
        keywordIdMappingFileName = '../Features/rawData/LSI/Model_UnifiedTKE/unifiedtkelist_numbered.csv'  #This file is created
        mb = MyBOW(synMappingFileName, keywordIdMappingFileName)
        print 'Loading the mappings for bow...finished'

        print 'Connecting to Mongodb..'
        tableName = 'jobs_status_check'
        monconn_status_check = MongoConnect(tableName,
                                            host='localhost',
                                            database='jam_status')
        monconn_status_check_cur = monconn_status_check.getCursor()
        #monconn_status_check.dropTable()
        #del(monconn_status_check)
        monconn_status_check.saveToTable({'_id': 1, 'status': 0})

        #############################################
        '''Dropping the existing collection of jobs'''
        #############################################
                                     database='sumoplus',
                                     username=username,
                                     password=password,
                                     authenticate=True)
        monconn_users_cur = monconn_users.getCursor()
        user_skills_dict = {}
        for user in monconn_users_cur.find():
            user_skills_dict[user['si']] = user['sd']

        #########################################################################################################
        ############----------------- Loading the mapping for Bag of Words
        #########################################################################################################
        print 'Loading the mappings for bow'
        synMappingFileName = '../Features/rawData/LSI/Model_UnifiedTKE/unifiedtkelist.csv'
        keywordIdMappingFileName = '../Features/rawData/LSI/Model_UnifiedTKE/unifiedtkelist_numbered.csv'  #This file is created
        mb = MyBOW(synMappingFileName, keywordIdMappingFileName)
        print 'Loading the mappings for bow...finished'

        #########################################################################################################
        ############----------------- Connection to Mongo (CandidateStatic) & (CandidatePreferences)
        #########################################################################################################
        print "Loading the Candidates.."
        monconn_users_static = MongoConnect('CandidateStatic',
                                            host='172.22.65.88',
                                            port=27018,
                                            database='sumoplus',
                                            username=username,
                                            password=password,
                                            authenticate=True).getCursor()
        monconn_users_preferences = MongoConnect(
            'CandidatePreferences',