def job_8():
try:
print("I'm working......银行间同业拆放利率")
# Shibor拆放利率
shibor_data = ts.shibor_data()
data = pd.DataFrame(shibor_data)
data.to_sql('shibor_data',engine,index=True,if_exists='replace')
print("银行间同业拆放利率......done")
# 银行报价数据
shibor_quote_data = ts.shibor_quote_data()
data = pd.DataFrame(shibor_quote_data)
data.to_sql('shibor_quote_data',engine,index=True,if_exists='replace')
print("银行报价数据......done")
# Shibor均值数据
shibor_ma_data = ts.shibor_ma_data()
data = pd.DataFrame(shibor_ma_data)
data.to_sql('shibor_ma_data',engine,index=True,if_exists='replace')
print("Shibor均值数据......done")
# 贷款基础利率（LPR）
lpr_data = ts.lpr_data()
data = pd.DataFrame(lpr_data)
data.to_sql('lpr_data',engine,index=True,if_exists='replace')
print("贷款基础利率......done")
# LPR均值数据
lpr_ma_data = ts.lpr_ma_data()
data = pd.DataFrame(lpr_ma_data)
data.to_sql('lpr_ma_data',engine,index=True,if_exists='replace')
print("LPR均值数据......done")
except Exception as e:
print(e)
def getShiborQuoteDate(self):
file_name = str(self.date)+'_shibor_quote'+'.csv'
path = self.index + self.index_shibor_quote_data + file_name
data = ts.shibor_quote_data(year = self.date)
data.sort('date', ascending=False).head(10)
data.to_csv(path, encoding='utf-8')
print(file_name)
def __call__(self, conns):
self.base = Base()
self.financial_data = conns['financial_data']
year = self.base.gettoday()[:4]
#Shibor拆放利率
shibor_data = ts.shibor_data(year)
print(shibor_data)
self.base.batchwri(shibor_data, 'shibor_data', self.financial_data)
#银行报价数据
shibor_quote_date = ts.shibor_quote_data(year)
self.base.batchwri(shibor_quote_date, 'shibor_quote_data',
self.financial_data)
#Shibor均值数据
shibor_ma_data = ts.shibor_ma_data(year)
self.base.batchwri(shibor_ma_data, 'shibor_ma_data',
self.financial_data)
#贷款基础利率(LPR)
lpr_data = ts.lpr_data(year)
self.base.batchwri(lpr_data, 'lpr_data', self.financial_data)
#LPR均值数据
lpr_ma_data = ts.lpr_ma_data(year)
self.base.batchwri(lpr_ma_data, 'lpr_ma_data', self.financial_data)
def setShiborQuoteData(self,
year=None,
number=1,
isSave=False,
tableName=CALLLOANS_SHIBOR_QUOTE_DATA):
yearList = getYearList(year, number)
for yearItem in yearList:
df = ts.shibor_quote_data(yearItem)
if isSave is True:
df.to_sql(tableName, self.engine_sql, if_exists='append')
return df
def shibor_quote(engine, year, sdate=None):
tbl = "shibor_quote"
tsl.log(tbl + " start...")
try:
df = ts.shibor_quote_data(year)
if sdate is not None:
df = df[df.date >= sdate]
df.to_sql(tbl, engine, if_exists='append')
tsl.log(tbl + " done")
except BaseException, e:
print e
tsl.log(tbl + " error")
def get_shibor_quote_data(year=None):
"""
银行报价数据
获取银行间报价数据，目前只提供2006年以来的数据。
"""
df = ts.shibor_quote_data(year)
# print(df)
if df is not None:
res = df.to_sql(shibor_quote_data, engine, if_exists='replace')
msg = 'ok' if res is None else res
print('获取银行间报价数据: 年份 {0} {1}'.format(year, msg) + '\n')
else:
print('获取银行间报价数据: 年份 {0} {1}'.format(year, 'None') + '\n')
def get_shibor_data((shibor_type,yearlist)):
if shibor_type == 'data':
DTS=[]
for year in yearlist:
preDTS = ts.shibor_data(year)
DTS.append(preDTS)
DTS=pd.concat(DTS)
DTS.to_csv('D:\\ts\\shibor\\shibor_%s.csv'%shibor_type,encoding='gbk')
elif shibor_type == 'quote_data':
DTS = []
for year in yearlist:
preDTS = ts.shibor_quote_data(year)
DTS.append(preDTS)
DTS = pd.concat(DTS)
DTS.to_csv('D:\\ts\\shibor\\shibor_%s.csv' % shibor_type, encoding='gbk')
elif shibor_type == 'ma_data':
DTS = []
for year in yearlist:
preDTS = ts.shibor_ma_data(year)
DTS.append(preDTS)
DTS = pd.concat(DTS)
DTS.to_csv('D:\\ts\\shibor\\shibor_%s.csv' % shibor_type, encoding='gbk')
elif shibor_type == 'lpr_data':
DTS = []
for year in yearlist:
preDTS = ts.lpr_data(year)
DTS.append(preDTS)
DTS = pd.concat(DTS)
DTS.to_csv('D:\\ts\\shibor\\shibor_%s.csv' % shibor_type, encoding='gbk')
elif shibor_type == 'lpr_ma_data':
DTS = []
for year in yearlist:
preDTS = ts.lpr_ma_data(year)
DTS.append(preDTS)
DTS = pd.concat(DTS)
DTS.to_csv('D:\\ts\\shibor\\shibor_%s.csv' % shibor_type, encoding='gbk')
def get_shibor_quote(year=None):
"""银行报价数据
Args:
year: 年份(YYYY),默认为当前年份
"""
if not year:
year = util.get_year()
logger.info('Begin get ShiborQuote, year is: %s.' % year)
try:
data_df = ts.shibor_quote_data(year)
except Exception as e:
logger.exception('Error get ShiborQuote. year is: %s.' % year)
return None
else:
data_dicts = []
if data_df is None or data_df.empty:
logger.warn('Empty get ShiborQuote. year is: %s.' % year)
else:
data_df['date'] = data_df['date'].astype(str)
data_dicts = [{
'date': row[0],
'bank': row[1],
'ON': row[2],
'ON_B': row[3],
'ON_A': row[4],
'W1_B': row[5],
'W1_A': row[6],
'W2_B': row[7],
'W2_A': row[8],
'M1_B': row[9],
'M1_A': row[10],
'M3_B': row[11],
'M3_A': row[12],
'M6_B': row[13],
'M6_A': row[14],
'M9_B': row[15],
'M9_A': row[16],
'Y1_B': row[17],
'Y1_A': row[18],
'year': year
} for row in data_df.values]
logger.info('Success get ShiborQuote. year is: %s.' % year)
return data_dicts
#三大需求对GDP贡献
gdp_for = ts.get_gdp_for()
#三大产业对GDP拉动
gdp_pull = ts.get_gdp_pull()
#三大产业贡献率
gdp_contrib = ts.get_gdp_contrib()
cpi = ts.get_cpi()
ppi = ts.get_ppi()
df = ts.shibor_data() #取当前年份的数据
#df = ts.shibor_data(2014) #取2014年的数据
df.sort('date', ascending=False).head(10)
df = ts.shibor_quote_data() #取当前年份的数据
#df = ts.shibor_quote_data(2014) #取2014年的数据
df.sort('date', ascending=False).head(10)
#shibo均值
df = ts.shibor_ma_data() #取当前年份的数据
#df = ts.shibor_ma_data(2014) #取2014年的数据
df.sort('date', ascending=False).head(10)
#贷款基础利率
lpr = ts.lpr_data() #取当前年份的数据
#df = ts.lpr_data(2014) #取2014年的数据
year:年份(YYYY),默认为当前年份
返回值说明：
date:日期
bank:报价银行名称
ON:隔夜拆放利率
ON_B:隔夜拆放买入价
ON_A:隔夜拆放卖出价
1W_B:1周买入
1W_A:1周卖出
2W_B:买入
2W_A:卖出
1M_B:买入
1M_A:卖出
3M_B:买入
3M_A:卖出
6M_B:买入
6M_A:卖出
9M_B:买入
9M_A:卖出
1Y_B:买入
1Y_A:卖出
'''
df = ts.shibor_quote_data(2017)
#直接保存
#df = ts.shibor_data(2014) #取2014年的数据
#df.sort('date', ascending=False).head(10)
print(df)
def fetchByYear(self, mongo, func):
years = range(self.begin_year, self.end_year_notinclude)
for year in years:
print(year)
print(type(year))
# year = int(year)
#print (type(year))
if (func == 'shibor_data'):
if (year < 2006):
print("[Wrong]没有" + str(year) + "年数据")
continue
else:
print("有" + str(year) + "年数据")
#df = ts.shibor_data() # 取当前年份的数据
print("shibor")
print(type(ts.shibor_data(year)))
df = ts.shibor_data(year) #取2014年的数据
#df.sort('date', ascending=False)
elif (func == 'shibor_quote_data'):
if (year < 2006):
print("[Wrong]没有" + str(year) + "年数据")
continue
else:
print("有" + str(year) + "年数据")
#df = ts.shibor_quote_data() # 取当前年份的数据
df = ts.shibor_quote_data(year) #取2014年的数据
#df.sort('date', ascending=False)
elif (func == 'shibor_ma_data'):
if (year < 2006):
print("[Wrong]没有" + str(year) + "年数据")
continue
else:
print("有" + str(year) + "年数据")
#df = ts.shibor_ma_data() # 取当前年份的数据
df = ts.shibor_ma_data(year) #取2014年的数据
print("4444444444444")
print(df)
#df.sort('date', ascending=False)
elif (func == 'lpr_data'):
if (year < 2013):
print("[Wrong]没有" + str(year) + "年数据")
continue
else:
print("有" + str(year) + "年数据")
#df = ts.lpr_data() # 取当前年份的数据
df = ts.lpr_data(year) #取2014年的数据
#df.sort('date', ascending=False)
# df = fd.lpr_data(self.year)
elif (func == 'lpr_ma_data'):
if (year < 2013):
print("[Wrong]没有" + str(year) + "年数据")
continue
else:
print("有" + str(year) + "年数据")
# df = ts.lpr_ma_data() # 取当前年份的数据
df = ts.lpr_ma_data(year) #取2014年的数据
#df.sort('date', ascending=False)
else:
print("error" + func)
df = {"err": True}
year = str(year)
print("###################")
print(df)
print(func)
tmpJson = json.loads(df.to_json(orient='records'))
# tmpJson = json.dumps(df)
print("_________")
print(tmpJson)
print(type(tmpJson))
import time
for i in range(len(tmpJson)):
tmpJson[i][u'year'] = int(year)
d = time.localtime(tmpJson[i][u'date'] / 1000)
tmpJson[i][u'date'] = time.strftime('%Y-%m-%d', d)
coll = mongo.shibor[func]
coll2 = mongo.shibor[func + '_' + str(year)]
coll2.insert(tmpJson)
coll.insert(tmpJson)
import pymongo
import json
import pandas as pd
# ts.get_cash_flow : get specialed Code Cash_flow in the History .
# 600547:山东黄金
# 600362:江西铜业
# 600312:平高电气
# 600499：科达洁能
# 603993：洛阳钼业
db = "Shibor"
coll = "ShiborQuoteData"
year = 2017
conn = pymongo.MongoClient('127.0.0.1', port=27017)
df = ts.shibor_quote_data(year)
# index data columns(X columns)
dicIndex = json.loads(df.to_json(orient='split'))
for i, ind in enumerate(dicIndex['index']):
# Note: pandas has some transformation between date,timestampe and string.
d = pd.to_datetime(dicIndex['data'][i][0], unit='ms').strftime('%Y-%m-%d')
jsonstr = {
'_id': d,
'year': year,
dicIndex['columns'][0]: d,
dicIndex['columns'][1]: dicIndex['data'][i][1],
dicIndex['columns'][2]: dicIndex['data'][i][2],
dicIndex['columns'][3]: dicIndex['data'][i][3],
dicIndex['columns'][4]: dicIndex['data'][i][4],
dicIndex['columns'][5]: dicIndex['data'][i][5],
dicIndex['columns'][6]: dicIndex['data'][i][6],