コード例 #1
0
def test_exist_key():
	db = WeiboDB();
	# 构造知识词条字典
	abr_list = db.select("SELECT abrid, kl FROM `abbreviation`");
	for abr in abr_list:
		GV.dict_klg[abr[1].lower()] = abr[0];

	weibo_list = db.select("SELECT mc FROM weibomsg");
	#weibomsg = 'fusion io的iops已经过百万了,在wikipedia排名第一 //@TRS肖诗斌: 昨天测试了华为二代SSD,4K随机读,IOPS超过13W,吞吐量超过800M,已经大大超过fusionio卡, 还有性能更优越的华为三代SSD年底就要发布。这些证明只要专注和努力,国人同样可以作出好东西。其实SSD最好的是OCZ,读写达到1.4G/s, 华	HelloDBA出品:《Fusionio性能测试与瓶颈分析》,http://t.cn/a9Ts2j,如果你懒得看测试数据,直接看结论吧。';
	for weibomsg in weibo_list:
		key_list = utility.exist_key(weibomsg[0]);
		if( len(key_list) > 0 ):
			print weibomsg[0];
			for id in key_list:
				for key in GV.dict_klg.keys():
					if(id == GV.dict_klg[key]):
						print key;
			raw_input();
コード例 #2
0
def init():
	# 配置日志
	# '[%(asctime)s]-%(levelname)s : %(message)s'
	logging.basicConfig(filename='weibo.log',filemode='a',format='[%(asctime)s] - %(module)s.%(funcName)s.%(lineno)d - %(levelname)s - %(message)s',level=logging.DEBUG)

	# 进行模拟登录
	filename = './config/account'#保存微博账号的用户名和密码,第一行为用户名,第二行为密码
	WBLogin = weiboLogin.weiboLogin()
	if WBLogin.login(filename)==1:
		print 'Login success!'
	else:
		print 'Login error!'
		exit()
	
	db = WeiboDB();
	# 构造知识词条字典
	abr_list = db.select("SELECT abrid, kl FROM `abbreviation`");
	for abr in abr_list:
		GV.dict_klg[abr[1]] = abr[0];

	#for abr in dict_klg.keys():
	#	print abr + ' ' + str(dict_klg[abr]);

	# 生成任务
	dict_user = {};
	user_list = db.select("SELECT uid, fui FROM `userlist`");
	for item in user_list:
		dict_user[item[0]] = 1;
		uid_list = item[1].strip("'").split("','");
		for uid in uid_list:
			dict_user[uid] = 1;
	for uid in dict_user.keys():
		GV.task_list.put(uid);
	#task_list.put('715545693');
	#task_list.put('1069205631');
	#task_list.put('1649173367');

	# 开始执行任务
	controller();
コード例 #3
0
ファイル: WeiboMsg.py プロジェクト: rabintang/weibo_crawler
 def __init__(self):
     self.wbdb = WeiboDB()