def catchContent():
number_to = t.count(
'(//div[@class="col"]/div[contains(@class, "today")]/ul/li[contains(@class, "col-md-12")])'
)
df_to = pd.DataFrame(index=range(0, number_to),
columns=['Sno', 'Title', 'URL', 'Summary', 'Img_URL'])
t.hover('//div[@class="container footer-main"]')
t.wait(2)
for n in range(1, number_to):
title = t.read(
'//div[@class="col"]/div[contains(@class, "today")]/ul/li[contains(@class, "col-md-12")][{}]//div[contains(@class, "article-listing_content")]//h2'
.format(n))
URL_o = t.read(
'//div[@class="col"]/div[contains(@class, "today")]/ul/li[contains(@class, "col-md-12")][{}]//@href'
.format(n))
URL = "https://www.todayonline.com" + str(URL_o)
Img_link = t.read(
'//div[@class="col"]/div[contains(@class, "today")]/ul/li[contains(@class, "col-md-12")][{}]//img/@src'
.format(n))
df_to.iloc[n - 1, 0] = n
df_to.iloc[n - 1, 1] = title.decode('utf-8')
df_to.iloc[n - 1, 2] = URL
df_to.iloc[n - 1, 4] = Img_link
for i in range(0, df_to.shape[0]):
if df_to['Img_URL'][i] == "":
df_to['Img_URL'][i] = np.nan
df_to.dropna(subset=['Img_URL'], inplace=True, how='any')
df_to = df_to.reset_index(drop=True)
df_to['Sno'] = df_to.index
df_to = util.fixImgLink(
df_to,
"https://cf-templates-fghyux9ggb7t-ap-southeast-1.s3-ap-southeast-1.amazonaws.com/todayOnline.png"
)
for n in range(0, df_to.shape[0]):
t.url(df_to.URL[n])
t.wait(4)
t.hover('//div[@class="article-detail_subscription"]')
t.wait(2)
number_p = t.count('//div/p[not(@class)]')
Content = ""
for i in range(1, number_p - 2):
cont = t.read('//div/p[not(@class)][{}]'.format(i))
Content = Content + "" + cont
summaries = Summarize(df_to.Title[n], unicode(str(Content), "utf-8"))
df_to.iloc[n - 1, 3] = summaries[0]
return df_to
def run():
conn = util.create_connection("./db/news.db")
site = util.getSiteByName(conn, "Today Online")
site_url = site[0][2]
site_id = site[0][0]
t.init(visual_automation=True, chrome_browser=True)
t.url(site_url)
t.wait(2)
t.hover('//div[@class="container footer-main"]')
t.wait(6)
df = catchContent()
t.wait(20)
t.close()
util.updateNews(conn, site_id, df)
def extract_email_headlines(self, limit=100):
list_item = []
listbox_xpath = '(//table[@class="F cf zt"])[2]'
if limit == 0:
limit = 50
i = 1
while len(list_item) < limit:
item_xpath = '(' + listbox_xpath + '//tr)[{}]//td[@class="xY a4W"]'.format(
i)
if not present(item_xpath):
older_button = '//div[@data-tooltip="Older"]'
click(older_button)
i = 1
continue
t.hover(item_xpath)
email_id = item_xpath
email_headline = clean_raw_text(read(item_xpath))
header_text = read('(' + listbox_xpath +
'//tr)[{}]//div[@class="afn"]'.format(i))
list_item.append(
(email_id, email_headline, is_gmail_unread(header_text)))
i += 1
return list_item
def hover_and_read(selector):
t.hover(selector)
str = t.read(selector)
return str
def hover(xpath):
wait_element(xpath)
return t.hover(xpath)
def get_email_content(self, item_xpath, is_unread):
click(item_xpath)
content = t.read('//div[@role="listitem"]')
t.hover('//div[contains(@title,"Mark as unread")]')
click('(//div[contains(@data-tooltip,"Mark as unread")])[2]')
return content
import tagui as t
import datetime
import pandas as pd
import os
import s3_function
#超参数
try:
str_to_append = str(datetime.datetime.today().date())
# 初始化页面
t.init()
# 输入url进入
t.url("http://bank.jrj.com.cn/bankpro/data.shtml?type=1")
# 等15秒反应
t.wait(15)
# 鼠标放上去，点击精简选项
t.hover(element_identifier='//*[@id="fxr"]')
t.click(element_identifier='//*[@id="zksq"]')
# 鼠标移动到发行日期上，点击文本栏，输入发行日日期为今日，点击搜索
t.hover(element_identifier='//*[@id="fxr"]')
t.click(element_identifier='//*[@id="fxr"]')
t.type(element_identifier='//*[@id="fxr"]', text_to_type=str_to_append)
# 再点击，确保日期不会遮住底下的搜索按钮
t.click(element_identifier='//*[@id="fxr"]')
t.hover(element_identifier='//*[@class="ipf01"]')
t.click(element_identifier='//*[@class="ipf01"]')
# 把展示的尺寸设置为50个产品每页：
t.hover(element_identifier='//*[@data-pagesize="50"]')
t.click(element_identifier='//*[@data-pagesize="50"]')
# 当下一页没有被disable的时候,有以下超参数
page_curr = 1 # 当前页面index
def getdailyincrement(str_to_append):
#初始化页面
t.init()
#输入url进入
t.url("http://bank.jrj.com.cn/bankpro/data.shtml?type=1")
#等5秒反应
t.wait(15)
#鼠标放上去，点击精简选项
t.hover(element_identifier='//*[@id="fxr"]')
t.click(element_identifier='//*[@id="zksq"]')
#鼠标移动到发行日期上，点击文本栏，输入发行日日期为今日，点击搜索
t.hover(element_identifier='//*[@id="fxr"]')
t.click(element_identifier='//*[@id="fxr"]')
t.type(element_identifier='//*[@id="fxr"]', text_to_type=str_to_append)
#再点击，确保日期不会遮住底下的搜索按钮
t.click(element_identifier='//*[@id="fxr"]')
t.hover(element_identifier='//*[@class="ipf01"]')
t.click(element_identifier='//*[@class="ipf01"]')
#把展示的尺寸设置为50个产品每页：
t.hover(element_identifier='//*[@data-pagesize="50"]')
t.click(element_identifier='//*[@data-pagesize="50"]')
#当下一页没有被disable的时候,有以下超参数
page_curr = 1 #当前页面index
value_dict = {} #存放data
count = 1 #csv 命名用
#存放列名
name_list = ['序号', '综合评级', 'url']
for col_name in name_list:
value_dict.setdefault(col_name, []) #初始化空数据集
#当可以翻页，或数据只有一页的时候，进行循环
while (t.read(element_identifier=
'//div[@id = "pagefoot"]//a[@class = "cur pf-disabled"]')
== str(page_curr)) or (page_curr == 1):
#每页的数据量大小（row number）
count_values = int(
t.count(element_identifier='//tbody[@id = "content"]//tr')
) + 1 # python从0开始
# 爬取页面所有一个table里的值
if str(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(count_values - 1) +
']//td[@class = "px"]')) > str_to_append:
# print("direct continue..")
# 翻页
page_curr += 1
# 鼠标模拟移动，并点击翻页
t.hover(element_identifier='//*[@href="' + str(page_curr) + '"]')
t.click(element_identifier='//*[@href="' + str(page_curr) + '"]')
continue
filename = str(count) + "daily_data.csv"
count += 1
t.wait(1) # 等1秒，万一加载错误了
t.table(
element_identifier='//div[@class = "table-s1 tab-s2 w100"]//table',
filename_to_save=filename)
count_values = int(
t.count(element_identifier='//tbody[@id = "content"]//tr')
) + 1 # python从0开始
for i in range(1, count_values):
# 判定条件：如果是今天刚发行的，拿到所有主页面上的数据；
#如果最下面那条数据都大于今天，就直接翻页
if str(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(count_values - 1) +
']//td[@class = "px"]')) > str_to_append:
# print("direct break..")
break
else:
if str(
t.read(
element_identifier='//tbody[@id = "content"]//tr['
+ str(i) +
']//td[@class = "px"]')) == str_to_append:
#序号
value_dict[name_list[0]].append(
t.read(
element_identifier='//tbody[@id = "content"]//tr['
+ str(i) + ']/td[2]'))
#综合评级
value_dict[name_list[1]].append(
t.read(
element_identifier='//tbody[@id = "content"]//tr['
+ str(i) + ']//td[12]//i/@title'))
#url
value_dict[name_list[2]].append(
t.read(
element_identifier='//tbody[@id = "content"]//tr['
+ str(i) + ']//a/@href'))
else: #如果不是今天增量，什么都不做
pass
# print("turn the page..")
# 翻页
page_curr += 1
# 鼠标模拟移动，并点击翻页
t.hover(element_identifier='//*[@href="' + str(page_curr) + '"]')
t.click(element_identifier='//*[@href="' + str(page_curr) + '"]')
#关闭tagui流
t.close()
#输出格式为："今日日期.csv"
today_data = pd.DataFrame(value_dict)
today_data.to_csv(str_to_append + ".csv", index=False, encoding='UTF-8')
return count - 1
def getblanklist():
#初始化页面
t.init()
#输入url进入
t.url("http://bank.jrj.com.cn/bankpro/data.shtml?type=1")
#直接开始搜索，不需要任何筛选条件
t.click(element_identifier='//*[@id="fxr"]')
t.hover(element_identifier='//*[@class="ipf01"]')
t.click(element_identifier='//*[@class="ipf01"]')
#把展示的尺寸设置为50个产品每页：
t.hover(element_identifier='//*[@data-pagesize="50"]')
t.click(element_identifier='//*[@data-pagesize="50"]')
#点击以发行日升序排行，等价于"倒过来取"，这样发行日为空的会在最前面
t.hover(element_identifier='//*[@data-sort = "sell_org_date"]')
t.click(element_identifier='//*[@data-sort = "sell_org_date"]')
#当下一页没有被disable的时候,有以下超参数
page_curr = 1 #当前页面index
max_page = 1 # 最大的页面数记录
# 存放列名
value_dict = {} # 存放data
name_list = ['序号', '综合评级', 'url']
for col_name in name_list:
value_dict.setdefault(col_name, []) # 初始化空数据集
#当可以翻页，或数据只有一页的时候，进行循环
stop_flag = False # 初始化一个flag，flag = true代表我们需要的数据已经取完了，没必要再翻页了
while (t.read(element_identifier=
'//div[@id = "pagefoot"]//a[@class = "cur pf-disabled"]')
== str(page_curr)) or (page_curr == 1):
if stop_flag == True: #如果没有空白数据了，就没必要翻页了
break
max_page = page_curr
#每页的数据量大小（row number）
count_values = int(
t.count(element_identifier='//tbody[@id = "content"]//tr')
) + 1 # python从0开始
# 爬取页面所有一个table里的值
filename = str(page_curr) + "blank_date.csv"
t.wait(1) # 等1秒，万一加载错误了
t.table(
element_identifier='//div[@class = "table-s1 tab-s2 w100"]//table',
filename_to_save=filename)
#爬取当前页面 (只有title和href）
for i in range(1, count_values):
# 判定条件：如果发行日是空(--)，进入此if
if str(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']//td[@class = "px"]')) == '--':
# print("number {} is running".format(str(i)))
# 序号
value_dict[name_list[0]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']/td[2]'))
# 综合评级
value_dict[name_list[1]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']//td[12]//i/@title'))
# url
value_dict[name_list[2]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']//a/@href'))
else: # 如果不再是空值-- ，此线程结束，flag置true, while循环结束
stop_flag = True
# print("thread stops here..")
break
# 翻页
page_curr += 1
# print("turn the page..")
# 鼠标模拟移动，并点击翻页
t.hover(element_identifier='//*[@href="' + str(page_curr) + '"]')
t.click(element_identifier='//*[@href="' + str(page_curr) + '"]')
# #关闭tagui流
t.close()
#
# 输出格式为："blank_date.csv"
hist_data = pd.DataFrame(value_dict)
hist_data.to_csv("blank_date.csv", index=False, encoding='UTF-8')
return max_page
def gethistorylist(inputyear):
# 获取xxxx年的数据
input = inputyear
date_start = input + '-01-01' #一年开始的日期 （试一试10天的）
date_end = input + '-12-31' #一年结束的日期
#初始化页面
t.init()
#输入url进入
t.url("http://bank.jrj.com.cn/bankpro/data.shtml?type=1")
#鼠标放上去，点击精简选项
t.hover(element_identifier='//*[@id="fxr"]')
t.click(element_identifier='//*[@id="zksq"]')
#鼠标移动到发行日期上，点击文本栏，输入发行日日期为今日，点击搜索
t.hover(element_identifier='//*[@id="fxr"]')
t.click(element_identifier='//*[@id="fxr"]')
t.type(element_identifier='//*[@id="fxr"]', text_to_type=date_start)
#再点击，确保日期不会遮住底下的搜索按钮
t.click(element_identifier='//*[@id="fxr"]')
t.hover(element_identifier='//*[@class="ipf01"]')
t.click(element_identifier='//*[@class="ipf01"]')
#把展示的尺寸设置为50个产品每页：
t.hover(element_identifier='//*[@data-pagesize="50"]')
t.click(element_identifier='//*[@data-pagesize="50"]')
#点击以发行日升序排行，等价于"倒过来取"
t.hover(element_identifier='//*[@data-sort = "sell_org_date"]')
t.click(element_identifier='//*[@data-sort = "sell_org_date"]')
#当下一页没有被disable的时候,有以下超参数
page_curr = 1 #当前页面index
value_dict = {} #存放data
#存放列名
name_list = [
'序号', '产品名称', '发行银行', '委托货币', '发行日', '停售日', '管理期(天)', '预期收益率', '到期收益率',
'与同期储蓄比', '综合评级', 'url'
]
for col_name in name_list:
value_dict.setdefault(col_name, []) #初始化空数据集
#当可以翻页，或数据只有一页的时候，进行循环
stop_flag = False
#当当前页面不是最后一页，或只有一页时，都进行如下循环
while (t.read(element_identifier=
'//div[@id = "pagefoot"]//a[@class = "cur pf-disabled"]')
== str(page_curr)) or (page_curr == 1):
if stop_flag == True: #如果没有今年的数据，就没必要翻页了
break
#每页的数据量大小（row number）
count_values = int(
t.count(element_identifier='//tbody[@id = "content"]//tr')
) + 1 # python从0开始
#爬取当前页面
for i in range(1, count_values):
# 判定条件：如果是今年内(小于今年12-31或等于12-31的)，全都要
if str(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']//td[@class = "px"]')) <= date_end:
# 序号
value_dict[name_list[0]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']/td[2]'))
# 产品名称
value_dict[name_list[1]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']/td[3]'))
# 发行银行
value_dict[name_list[2]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']/td[4]'))
# 委托货币
value_dict[name_list[3]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']/td[5]'))
# 发行日
value_dict[name_list[4]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']/td[6]'))
# 停售日
value_dict[name_list[5]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']/td[7]'))
# 管理期（天）
value_dict[name_list[6]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']/td[8]'))
# 预期收益率
value_dict[name_list[7]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']/td[9]'))
# 到期收益率
value_dict[name_list[8]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']/td[10]'))
# 与同期储蓄比
value_dict[name_list[9]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']/td[11]'))
# 综合评级
value_dict[name_list[10]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']//td[12]//i/@title'))
# url
value_dict[name_list[11]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']//a/@href'))
else: # 如果已经超过今年的数据了，此线程结束，flag置true, while循环结束
stop_flag = True
print("thread stops here..")
break
# 翻页
page_curr += 1
print("turn the page..")
# 鼠标模拟移动，并点击翻页
t.hover(element_identifier='//*[@href="' + str(page_curr) + '"]')
t.click(element_identifier='//*[@href="' + str(page_curr) + '"]')
# #关闭tagui流
t.close()
#输出格式为："今年年份.csv"
hist_data = pd.DataFrame(value_dict)
#双格式（csv + xlsx 输出）
hist_data.to_csv(input + ".csv", index=False, encoding='UTF-8')
hist_data.to_excel(input + ".xlsx", index=False, encoding='UTF-8')
#gethistorylist('2003')
import tagui as t
import datetime
import pandas as pd
#初始化页面
t.init()
#输入url进入
t.url("http://bank.jrj.com.cn/bankpro/data.shtml?type=1")
#直接开始搜索，不需要任何筛选条件
t.click(element_identifier='//*[@id="fxr"]')
t.hover(element_identifier='//*[@class="ipf01"]')
t.click(element_identifier='//*[@class="ipf01"]')
#把展示的尺寸设置为50个产品每页：
t.hover(element_identifier='//*[@data-pagesize="50"]')
t.click(element_identifier='//*[@data-pagesize="50"]')
#点击以发行日升序排行，等价于"倒过来取"，这样发行日为空的会在最前面
t.hover(element_identifier='//*[@data-sort = "sell_org_date"]')
t.click(element_identifier='//*[@data-sort = "sell_org_date"]')
#当下一页没有被disable的时候,有以下超参数
page_curr = 1 #当前页面index
value_dict = {} #存放data
#存放列名
name_list = ['序号', '产品名称', '发行银行', '委托货币', '发行日', '停售日', '管理期(天)', '预期收益率', '到期收益率', '与同期储蓄比', '综合评级','url']
for col_name in name_list:
value_dict.setdefault(col_name, []) #初始化空数据集
def gethistorylist(input):
# 获取xxxx年的数据
input = str(input)
date_start = input + '-08-01' #一年开始的日期 （试一试10天的）
date_end = input + '-12-31' #一年结束的日期
#初始化页面
t.init()
#输入url进入
t.url("http://bank.jrj.com.cn/bankpro/data.shtml?type=1")
#等5秒网页加载
t.wait(5)
#鼠标放上去，点击精简选项
t.hover(element_identifier='//*[@id="fxr"]')
t.click(element_identifier='//*[@id="zksq"]')
#鼠标移动到发行日期上，点击文本栏，输入发行日日期为今日，点击搜索
t.hover(element_identifier='//*[@id="fxr"]')
t.click(element_identifier='//*[@id="fxr"]')
t.type(element_identifier='//*[@id="fxr"]', text_to_type=date_start)
#再点击，确保日期不会遮住底下的搜索按钮
t.click(element_identifier='//*[@id="fxr"]')
t.hover(element_identifier='//*[@class="ipf01"]')
t.click(element_identifier='//*[@class="ipf01"]')
#把展示的尺寸设置为50个产品每页：
t.hover(element_identifier='//*[@data-pagesize="50"]')
t.click(element_identifier='//*[@data-pagesize="50"]')
#点击以发行日升序排行，等价于"倒过来取"
t.hover(element_identifier='//*[@data-sort = "sell_org_date"]')
t.click(element_identifier='//*[@data-sort = "sell_org_date"]')
#当下一页没有被disable的时候,有以下超参数
page_curr = 1 #当前页面index
value_dict = {} #存放data
max_page = 1 #最大的页面数记录
#存放列名
name_list = ['序号', '综合评级', 'url']
for col_name in name_list:
value_dict.setdefault(col_name, []) #初始化空数据集
#当可以翻页，或数据只有一页的时候，进行循环
stop_flag = False
#当当前页面不是最后一页，或只有一页时，都进行如下循环
while (t.read(element_identifier=
'//div[@id = "pagefoot"]//a[@class = "cur pf-disabled"]')
== str(page_curr)) or (page_curr == 1):
if stop_flag == True: #如果没有今年的数据，就没必要翻页了
break
max_page = page_curr
#每页的数据量大小（row number）
count_values = int(
t.count(element_identifier='//tbody[@id = "content"]//tr')
) + 1 # python从0开始
#爬取页面所有一个table里的值
filename = str(input) + str("_") + str(page_curr) + "history_data.csv"
t.wait(1) #等1秒，万一加载错误了
t.table(
element_identifier='//div[@class = "table-s1 tab-s2 w100"]//table',
filename_to_save=filename)
#爬取当前页面 (只有title和href）
for i in range(1, count_values):
# 判定条件：如果是今年内(小于今年12-31或等于12-31的)，全都要
if str(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']//td[@class = "px"]')) <= date_end:
# print("number {} is running".format(str(i)))
#爬取产品名称作为primary key，之后join用：
# 产品序号
value_dict[name_list[0]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']/td[2]'))
# 综合评级
value_dict[name_list[1]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']//td[12]//i/@title'))
# url
value_dict[name_list[2]].append(
t.read(element_identifier='//tbody[@id = "content"]//tr[' +
str(i) + ']//a/@href'))
else: # 如果已经超过今年的数据了，此线程结束，flag置true, while循环结束
stop_flag = True
# print("thread stops here..")
break
# 翻页
page_curr += 1
# print("turn the page..")
# 鼠标模拟移动，并点击翻页
t.hover(element_identifier='//*[@href="' + str(page_curr) + '"]')
t.click(element_identifier='//*[@href="' + str(page_curr) + '"]')
# #关闭tagui流
t.close()
#输出格式为："今年年份.csv"
hist_data = pd.DataFrame(value_dict)
#双格式（csv + xlsx 输出）
hist_data.to_csv(input + ".csv", encoding='UTF-8', index=False)
return max_page