def open_mysql(): #读取URL
try:
global INI_data1 #扫描过URL个
try: #检测网络连接状态
urllib2.urlopen(r"http://www.163.com", timeout=10)
#print u"网络连接成功"
#return 1
except:
print u"网络无连接 重启程序自身"
mysql.mysql_S() #保存数据
mysql.mysql_close() #关闭数据库
atexit.register(close) #自动重启本程序
sql = "select * from url where httpsend is NULL limit 1"
data = mysql.mysql_select(sql)
#print U"数据库URL",data
if ~data.find("null123456"):
print u"可能无读取的数据请查看数据库！！！！！"
mysql.mysql_S() #保存数据
time.sleep(1) #3秒
atexit.register(close) #自动重启本程序
update = "update url set httpsend='send' where url='%s'" % (data)
mysql.mysql_update(update)
mysql.mysql_S() #保存数据
url_data = "http://" + data
print u"读取URL：", url_data
INI_data1 = INI_data1 + 1
URL_DZ(url_data) #遍历页里的地址
except:
print u"读取URL异常！！！！！"
print u"3秒后,程序将结束重启..."
mysql.mysql_S() #保存数据
mysql.mysql_close() #关闭数据库
#close() #自动重启本程序
atexit.register(close) #自动重启本程序
def mysql_add(data1): #添加到数据库
try:
# print "++++++++++++++++++++",data #添加数据
sql = "select * from url where url='%s'" % (data1)
data = mysql.mysql_select(sql)
if data.find('null123456'):
#print u"已经有了这个URL",data1
return 0
else: #没有可以添加
#print data1
if ~(data1.find("/") and data1.find("http") and data1.find("?")
and data1.find("%")):
#print u"非法URL"
return 0
else:
LS.liet_add(data1) #添加到数组
if LS.liet_CX("AAAAA"): #查询数据是否存在
print u"\n数组里以有这个域名不添加", data1
return 0
else:
#print u"无"
insert = "insert into url(url,time) VALUES('%s','%s')" % (
data1, time.strftime('%Y.%m.%d-%H.%M.%S'))
#print insert
if mysql.mysql_insert(insert): #添加数据
mysql.mysql_S() #提交
print u"\n添加成功", data1
else:
print u"\n添加失败", data1
except:
return 0
def mysql_add(data1): #添加到数据库
try: #查看这个数据是否值得添加
global INI_data3 #添加到数据库个
dURL = get_sdomain(data1) #拆解域名1234.163.com=》163.com
#在模糊查询看看有多少个 》=10个 这个就不进行添加
#print dURL
sql = "select * from url where url like '%%%s'" % (dURL)
#print sql
if mysql_select2(sql): #模糊查询
#print dURL,u"域名下已经有10个二级域名了不进行添加",
print "1",
return 0
else:
#print "没有可以添加"
sql = "select * from url where url='%s'" % (data1)
data = mysql.mysql_select(sql)
if data.find('null123456'):
#print u"已经有了这个URL",data1,
print "N",
return 0
else: #没有可以添加
#print data1
if ~(data1.find("/") and data1.find("http") and data1.find("?")
and data1.find("%")):
print data1, u"非法URL",
return 0
else:
insert = "insert into url(url,time) VALUES('%s','%s')" % (
data1, time.strftime('%Y.%m.%d-%H.%M.%S'))
#print insert
if mysql.mysql_insert(insert): #添加数据
#mysql.mysql_S() #提交
print "\n", data1, u"添加成功",
INI_data3 = INI_data3 + 1
#host_ftp(data)
#tContext = threading.Thread(target=host_ftp, args=(data1,)) #线程查询FTP是否开放
#tContext.start() #线程查询FTP是否开放
return 1
else:
print "\n", data1, u"添加失败",
return 0
return 0
except:
return 0
def open_mysql(): #读取URL
# sql="select * from url where httpsend is NULL limit 1"
# data = mysql.mysql_select(sql)
# if ~data.find("null123456"):
# while True: #进入死循环不读取
# print "可能无读取的数据请查看数据库！！！！！"
# time.sleep(3) #3秒
##############
# else:
# update = "update url set time='%s',httpsend='send' where url='%s'"%(time.strftime('%Y.%m.%d-%H.%M.%S'),data)
# mysql.mysql_update(update)
# mysql.mysql_S() #保存数据
# url_data = "http://"+data
# print "读取URL：",url_data
# URL_DZ(url_data) #遍历页里的地址
##############
try:
sql = "select * from url where httpsend is NULL limit 1"
data = mysql.mysql_select(sql)
print U"数据库URL", data
if ~data.find("null123456"):
print u"可能无读取的数据请查看数据库！！！！！"
mysql.mysql_S() #保存数据
time.sleep(1) #3秒
#open_mysql() #读取URL
atexit.register(close) #自动重启本程序
update = "update url set time='%s',httpsend='send' where url='%s'" % (
time.strftime('%Y.%m.%d-%H.%M.%S'), data)
mysql.mysql_update(update)
mysql.mysql_S() #保存数据
url_data = "http://" + data
print u"读取URL：", url_data
URL_DZ(url_data) #遍历页里的地址
except:
print u"读取URL异常！！！！！"
print u"3秒后,程序将结束重启..."
mysql.mysql_S() #保存数据
mysql.mysql_close() #关闭数据库
#close() #自动重启本程序
atexit.register(close) #自动重启本程序
def mysql_add(data1): #添加到数据库
try: #查看这个数据是否值得添加
dURL = get_sdomain(data1) #拆解域名1234.163.com=》163.com
#在模糊查询看看有多少个 》=10个 这个就不进行添加
#print dURL
sql = "select * from url where url like '%%%s'" % (dURL)
#print sql
if mysql_select2(sql): #模糊查询
print dURL, u"域名下已经有10个二级域名了不进行添加",
return 0
else:
#print "没有可以添加"
# print "++++++++++++++++++++",data #添加数据
sql = "select * from url where url='%s'" % (data1)
data = mysql.mysql_select(sql)
if data.find('null123456'):
print u"已经有了这个URL", data1,
return 0
else: #没有可以添加
#print data1
if ~(data1.find("/") and data1.find("http") and data1.find("?")
and data1.find("%")):
print data1, u"非法URL",
return 0
else:
insert = "insert into url(url,time) VALUES('%s','%s')" % (
data1, time.strftime('%Y.%m.%d-%H.%M.%S'))
#print insert
if mysql.mysql_insert(insert): #添加数据
#mysql.mysql_S() #提交
print data1, u"添加成功",
return 1
else:
print data1, u"添加失败",
return 0
return 0
except:
return 0
def open_mysql(): #读取URL
try:
sql="select * from url where ftpsend is NULL limit 1"
data = mysql.mysql_select(sql)
#print U"数据库URL",data
if ~data.find("null123456"):
print u"可能无读取的数据请查看数据库！！！！！"
mysql.mysql_S() #保存数据
time.sleep(1) #3秒
atexit.register(close)#自动重启本程序
update = "update url set ftpsend='send' where url='%s'"%(data)
mysql.mysql_update(update)
mysql.mysql_S() #保存数据
#url_data = "http://"+data
print u"测试URLFTP：",data
host_ftp(data) #测试URL FTP是否开放
except:
print u"读取URL异常！！！！！"
print u"3秒后,程序将结束重启..."
mysql.mysql_S() #保存数据
mysql.mysql_close() #关闭数据库
#close() #自动重启本程序
atexit.register(close)#自动重启本程序
def mysql_add(data1): #添加到数据库
try:
# print "++++++++++++++++++++",data #添加数据
sql = "select * from url where url='%s'" % (data1)
data = mysql.mysql_select(sql)
if data.find('null123456'):
print u"已经有了这个URL", data1
return 0
else: #没有可以添加
print data1
if ~(data1.find("/") and data1.find("http") and data1.find("?")
and data1.find("%")):
print u"非法URL"
return 0
else:
insert = "insert into url(url) VALUES('%s')" % (data1)
#print insert
if mysql.mysql_insert(insert): #添加数据
#mysql.mysql_S() #提交
print u"添加成功", data1
else:
print u"添加失败", data1
except:
return 0