def craw(date: str) -> pd.DataFrame:
d = get_dict(date)
if 'stat' in d and d['stat'] == '很抱歉，沒有符合條件的資料!':
raise crawler.NoData('很抱歉，沒有符合條件的資料!')
data = d['data1']
fields = d['fields1']
date = d['date'][0:4] + '-' + d['date'][4:6] + '-' + d['date'][6:]
df = pd.DataFrame(data, columns=fields).replace(',', '',
regex=True).replace(
'--', np.nan)
df.insert(0, '年月日', date)
df['年月日'] = pd.to_datetime(df['年月日']).astype(str)
df['漲跌(+/-)'] = df['漲跌(+/-)'].replace(
"<p style= color:red>+</p>",
1).replace("<p style= color:green>-</p>",
-1).replace('X', np.nan).replace(' ', 0)
df['牛熊證觸及限制價格'] = df['牛熊證觸及限制價格'].replace('',
0).replace('＊', 1).replace(
'*', 1).fillna(np.nan)
df['本益比'] = df['本益比'].replace('', np.nan).fillna(np.nan)
intColumns = ['成交股數', '成交筆數', '最後揭示買量', '最後揭示賣量']
floatColumns = [
'成交金額', '開盤價', '最高價', '最低價', '收盤價', '漲跌(+/-)', '漲跌價差', '最後揭示買價',
'最後揭示賣價', '本益比', '牛熊證觸及限制價格', '標的證券收盤價/指數'
]
floatColumns = [col for col in floatColumns if col in list(df)]
df[intColumns + floatColumns] = df[intColumns + floatColumns].replace(
'', 0).fillna(np.nan)
df = ast.to_int(intColumns, df)
df = ast.to_float(floatColumns, df)
return df
def craw(date: str) -> pd.DataFrame:
d = get_dict(date)
if 'stat' in d and d['stat'] == '很抱歉，沒有符合條件的資料!':
raise crawler.NoData('很抱歉，沒有符合條件的資料!')
data = d['data4']
fields = d['fields4']
date = d['date'][0:4] + '-' + d['date'][4:6] + '-' + d['date'][6:]
data[0][1].split('(')[0]
L = []
l = data[0]
L.append([i.split('(')[0] for i in l])
L.append([i.split('(')[1].replace(')', '') for i in l])
l = data[1]
L.append([i.split('(')[0] for i in l])
L.append([i.split('(')[1].replace(')', '') for i in l])
L.append(data[2])
L.append(data[3])
L.append(data[4])
df = pd.DataFrame(L, columns=fields).replace(',', '',
regex=True).replace(
'--', np.nan)
df.insert(0, '年月日', date)
df['年月日'] = pd.to_datetime(df['年月日']).astype(str)
intColumns = ['整體市場', '股票']
df = ast.to_int(intColumns, df)
return df
def extendedCallableBear(date: str, fields: List[str],
data: List[List[str]]) -> None:
date = date[0:4] + '-' + date[4:6] + '-' + date[6:]
df = pd.DataFrame(data, columns=fields).replace(',', '',
regex=True).replace(
'--', np.nan)
df.insert(0, '年月日', date)
df['年月日'] = pd.to_datetime(df['年月日']).astype(str)
df['漲跌(+/-)'] = df['漲跌(+/-)'].replace(
"<p style= color:red>+</p>",
1).replace("<p style= color:green>-</p>",
-1).replace('X', np.nan).replace(' ', 0).replace(
'<p> </p>', 0).replace('<p>X</p>', np.nan)
df['牛熊證觸及限制價格'] = df['牛熊證觸及限制價格'].replace('', 0).replace('＊', 1).replace(
'*', 1).fillna(np.nan)
df['本益比'] = df['本益比'].replace('', np.nan).fillna(np.nan)
intColumns = ['成交股數', '成交筆數', '最後揭示買量', '最後揭示賣量']
floatColumns = [
'成交金額', '開盤價', '最高價', '最低價', '收盤價', '漲跌(+/-)', '漲跌價差', '最後揭示買價',
'最後揭示賣價', '本益比', '牛熊證觸及限制價格', '標的證券收盤價/指數'
]
floatColumns = [col for col in floatColumns if col in list(df)]
df[intColumns + floatColumns] = df[intColumns + floatColumns].replace(
'', 0).fillna(np.nan)
df = ast.to_int(intColumns, df)
df = ast.to_float(floatColumns, df)
saver.lite('可展延牛證', df)
def upsAndDown(date: str, fields: List[str], data: List[List[str]]) -> None:
date = date[0:4] + '-' + date[4:6] + '-' + date[6:]
data[0][1].split('(')[0]
L = []
l = data[0]
L.append([i.split('(')[0] for i in l])
L.append([i.split('(')[1].replace(')', '') for i in l])
l = data[1]
L.append([i.split('(')[0] for i in l])
L.append([i.split('(')[1].replace(')', '') for i in l])
L.append(data[2])
L.append(data[3])
L.append(data[4])
df = pd.DataFrame(L, columns=fields).replace(',', '', regex=True).replace(
'--', np.nan)
df.insert(0, '年月日', date)
df['年月日'] = pd.to_datetime(df['年月日']).astype(str)
intColumns = ['整體市場', '股票']
df = ast.to_int(intColumns, df)
saver.lite('漲跌證券數合計', df)
