def job_8():
try:
print("I'm working......银行间同业拆放利率")
# Shibor拆放利率
shibor_data = ts.shibor_data()
data = pd.DataFrame(shibor_data)
data.to_sql('shibor_data',engine,index=True,if_exists='replace')
print("银行间同业拆放利率......done")
# 银行报价数据
shibor_quote_data = ts.shibor_quote_data()
data = pd.DataFrame(shibor_quote_data)
data.to_sql('shibor_quote_data',engine,index=True,if_exists='replace')
print("银行报价数据......done")
# Shibor均值数据
shibor_ma_data = ts.shibor_ma_data()
data = pd.DataFrame(shibor_ma_data)
data.to_sql('shibor_ma_data',engine,index=True,if_exists='replace')
print("Shibor均值数据......done")
# 贷款基础利率（LPR）
lpr_data = ts.lpr_data()
data = pd.DataFrame(lpr_data)
data.to_sql('lpr_data',engine,index=True,if_exists='replace')
print("贷款基础利率......done")
# LPR均值数据
lpr_ma_data = ts.lpr_ma_data()
data = pd.DataFrame(lpr_ma_data)
data.to_sql('lpr_ma_data',engine,index=True,if_exists='replace')
print("LPR均值数据......done")
except Exception as e:
print(e)
def getShiborMaDate(self):
file_name = str(self.date)+'_shibor_ma'+'.csv'
path = self.index + self.index_shibor_ma_data + file_name
data = ts.shibor_ma_data(year = self.date)
data.sort('date', ascending=False).head(10)
data.to_csv(path, encoding='utf-8')
print(file_name)
def __call__(self, conns):
self.base = Base()
self.financial_data = conns['financial_data']
year = self.base.gettoday()[:4]
#Shibor拆放利率
shibor_data = ts.shibor_data(year)
print(shibor_data)
self.base.batchwri(shibor_data, 'shibor_data', self.financial_data)
#银行报价数据
shibor_quote_date = ts.shibor_quote_data(year)
self.base.batchwri(shibor_quote_date, 'shibor_quote_data',
self.financial_data)
#Shibor均值数据
shibor_ma_data = ts.shibor_ma_data(year)
self.base.batchwri(shibor_ma_data, 'shibor_ma_data',
self.financial_data)
#贷款基础利率(LPR)
lpr_data = ts.lpr_data(year)
self.base.batchwri(lpr_data, 'lpr_data', self.financial_data)
#LPR均值数据
lpr_ma_data = ts.lpr_ma_data(year)
self.base.batchwri(lpr_ma_data, 'lpr_ma_data', self.financial_data)
def setShiborMaData(self,
year=None,
number=1,
isSave=False,
tableName=CALLLOANS_MA_DATA):
yearList = getYearList(year, number)
for yearItem in yearList:
df = ts.shibor_ma_data(yearItem)
if isSave is True:
df.to_sql(tableName, self.engine_sql, if_exists='append')
return df
def shibor_ma(engine, year, sdate=None):
tbl = "shibor_ma"
tsl.log(tbl + " start...")
try:
df = ts.shibor_ma_data(year)
if sdate is not None:
df = df[df.date >= sdate]
df.to_sql(tbl, engine, if_exists='append')
tsl.log(tbl + " done")
except BaseException, e:
print e
tsl.log(tbl + " error")
def get_shibor_ma(year=None):
"""Shibor均值数据（Shanghai Interbank Offered Rate，简称Shibor）
Args:
year: 年份(YYYY),默认为当前年份
"""
if not year:
year = util.get_year()
logger.info('Begin get ShiborMA, year is: %s.' % year)
try:
data_df = ts.shibor_ma_data(year)
except Exception as e:
logger.exception('Error get ShiborMA. year is: %s.' % year)
return None
else:
data_dicts = []
if data_df is None or data_df.empty:
logger.warn('Empty get ShiborMA. year is: %s.' % year)
else:
data_df['date'] = data_df['date'].astype(str)
data_dicts = [{
'date': row[0],
'on_5': row[1],
'on_10': row[2],
'on_20': row[3],
'W1_5': row[4],
'W1_10': row[5],
'W1_20': row[6],
'W2_5': row[7],
'W2_10': row[8],
'W2_20': row[9],
'M1_5': row[10],
'M1_10': row[11],
'M1_20': row[12],
'M3_5': row[13],
'M3_10': row[14],
'M3_20': row[15],
'M6_5': row[16],
'M6_10': row[17],
'M6_20': row[18],
'M9_5': row[19],
'M9_10': row[20],
'M9_20': row[21],
'Y1_5': row[22],
'Y1_10': row[23],
'Y1_20': row[24],
'year': year
} for row in data_df.values]
logger.info('Success get ShiborMA. year is: %s.' % year)
return data_dicts
def get_shibor_ma_data(year=None):
"""
获取Shibor均值数据，目前只提供2006年以来的数据。
"""
df = ts.shibor_ma_data(year)
print(df)
if df is not None:
if year is None:
year = datetime.now().year
df.insert(0, 'year', year)
res = df.to_sql(shibor_ma_data, engine, if_exists='replace')
msg = 'ok' if res is None else res
print('获取Shibor均值数据: 年：{0} {1}'.format(year, msg) + '\n')
else:
print('获取Shibor均值数据: 年：{0} {1}'.format(year, 'None') + '\n')
def get_shibor_data((shibor_type,yearlist)):
if shibor_type == 'data':
DTS=[]
for year in yearlist:
preDTS = ts.shibor_data(year)
DTS.append(preDTS)
DTS=pd.concat(DTS)
DTS.to_csv('D:\\ts\\shibor\\shibor_%s.csv'%shibor_type,encoding='gbk')
elif shibor_type == 'quote_data':
DTS = []
for year in yearlist:
preDTS = ts.shibor_quote_data(year)
DTS.append(preDTS)
DTS = pd.concat(DTS)
DTS.to_csv('D:\\ts\\shibor\\shibor_%s.csv' % shibor_type, encoding='gbk')
elif shibor_type == 'ma_data':
DTS = []
for year in yearlist:
preDTS = ts.shibor_ma_data(year)
DTS.append(preDTS)
DTS = pd.concat(DTS)
DTS.to_csv('D:\\ts\\shibor\\shibor_%s.csv' % shibor_type, encoding='gbk')
elif shibor_type == 'lpr_data':
DTS = []
for year in yearlist:
preDTS = ts.lpr_data(year)
DTS.append(preDTS)
DTS = pd.concat(DTS)
DTS.to_csv('D:\\ts\\shibor\\shibor_%s.csv' % shibor_type, encoding='gbk')
elif shibor_type == 'lpr_ma_data':
DTS = []
for year in yearlist:
preDTS = ts.lpr_ma_data(year)
DTS.append(preDTS)
DTS = pd.concat(DTS)
DTS.to_csv('D:\\ts\\shibor\\shibor_%s.csv' % shibor_type, encoding='gbk')
def lpr_ma_data(year=""):
jsonFile = os.path.join(config.listsRootPath, "lpr_ma_data.json")
data = ts.shibor_ma_data()
if str(type(data)) == "<class 'pandas.core.frame.DataFrame'>":
data.sort('date', ascending=False)
writeFile(jsonFile, data, 'records', False)
#三大需求对GDP贡献
gdp_for = ts.get_gdp_for()
#三大产业对GDP拉动
gdp_pull = ts.get_gdp_pull()
#三大产业贡献率
gdp_contrib = ts.get_gdp_contrib()
cpi = ts.get_cpi()
ppi = ts.get_ppi()
df = ts.shibor_data() #取当前年份的数据
#df = ts.shibor_data(2014) #取2014年的数据
df.sort('date', ascending=False).head(10)
df = ts.shibor_quote_data() #取当前年份的数据
#df = ts.shibor_quote_data(2014) #取2014年的数据
df.sort('date', ascending=False).head(10)
#shibo均值
df = ts.shibor_ma_data() #取当前年份的数据
#df = ts.shibor_ma_data(2014) #取2014年的数据
df.sort('date', ascending=False).head(10)
#贷款基础利率
lpr = ts.lpr_data() #取当前年份的数据
#df = ts.lpr_data(2014) #取2014年的数据
import pymongo
import json
import pandas as pd
# ts.get_cash_flow : get specialed Code Cash_flow in the History .
# 600547:山东黄金
# 600362:江西铜业
# 600312:平高电气
# 600499：科达洁能
# 603993：洛阳钼业
db = "Shibor"
coll = "Shibor_MA_Data"
year = 2010
conn = pymongo.MongoClient('127.0.0.1', port=27017)
df = ts.shibor_ma_data(year)
# index data columns(X columns)
dicIndex = json.loads(df.to_json(orient='split'))
for i, ind in enumerate(dicIndex['index']):
# Note: pandas has some transformation between date,timestampe and string.
d = pd.to_datetime(dicIndex['data'][i][0], unit='ms').strftime('%Y-%m-%d')
jsonstr = {
'_id': d,
'year': year,
dicIndex['columns'][0]: d,
dicIndex['columns'][1]: dicIndex['data'][i][1],
dicIndex['columns'][2]: dicIndex['data'][i][2],
dicIndex['columns'][3]: dicIndex['data'][i][3],
dicIndex['columns'][4]: dicIndex['data'][i][4],
dicIndex['columns'][5]: dicIndex['data'][i][5],
dicIndex['columns'][6]: dicIndex['data'][i][6],
def fetchByYear(self, mongo, func):
years = range(self.begin_year, self.end_year_notinclude)
for year in years:
print(year)
print(type(year))
# year = int(year)
#print (type(year))
if (func == 'shibor_data'):
if (year < 2006):
print("[Wrong]没有" + str(year) + "年数据")
continue
else:
print("有" + str(year) + "年数据")
#df = ts.shibor_data() # 取当前年份的数据
print("shibor")
print(type(ts.shibor_data(year)))
df = ts.shibor_data(year) #取2014年的数据
#df.sort('date', ascending=False)
elif (func == 'shibor_quote_data'):
if (year < 2006):
print("[Wrong]没有" + str(year) + "年数据")
continue
else:
print("有" + str(year) + "年数据")
#df = ts.shibor_quote_data() # 取当前年份的数据
df = ts.shibor_quote_data(year) #取2014年的数据
#df.sort('date', ascending=False)
elif (func == 'shibor_ma_data'):
if (year < 2006):
print("[Wrong]没有" + str(year) + "年数据")
continue
else:
print("有" + str(year) + "年数据")
#df = ts.shibor_ma_data() # 取当前年份的数据
df = ts.shibor_ma_data(year) #取2014年的数据
print("4444444444444")
print(df)
#df.sort('date', ascending=False)
elif (func == 'lpr_data'):
if (year < 2013):
print("[Wrong]没有" + str(year) + "年数据")
continue
else:
print("有" + str(year) + "年数据")
#df = ts.lpr_data() # 取当前年份的数据
df = ts.lpr_data(year) #取2014年的数据
#df.sort('date', ascending=False)
# df = fd.lpr_data(self.year)
elif (func == 'lpr_ma_data'):
if (year < 2013):
print("[Wrong]没有" + str(year) + "年数据")
continue
else:
print("有" + str(year) + "年数据")
# df = ts.lpr_ma_data() # 取当前年份的数据
df = ts.lpr_ma_data(year) #取2014年的数据
#df.sort('date', ascending=False)
else:
print("error" + func)
df = {"err": True}
year = str(year)
print("###################")
print(df)
print(func)
tmpJson = json.loads(df.to_json(orient='records'))
# tmpJson = json.dumps(df)
print("_________")
print(tmpJson)
print(type(tmpJson))
import time
for i in range(len(tmpJson)):
tmpJson[i][u'year'] = int(year)
d = time.localtime(tmpJson[i][u'date'] / 1000)
tmpJson[i][u'date'] = time.strftime('%Y-%m-%d', d)
coll = mongo.shibor[func]
coll2 = mongo.shibor[func + '_' + str(year)]
coll2.insert(tmpJson)
coll.insert(tmpJson)
# -*- coding: utf-8 -*-
import tushare as ts
'''
获取Shibor均值数据，目前只提供2006年以来的数据。
参数说明：
year:年份(YYYY),默认为当前年份
返回值说明：
date:日期
其它分别为各周期5、10、20均价，请参考上面的周期含义
'''
df = ts.shibor_ma_data()
#直接保存
#df = ts.shibor_data(2014) #取2014年的数据
#df.sort('date', ascending=False).head(10)
print(df)