def craw(date: str) -> pd.DataFrame: d = get_dict(date) if 'stat' in d and d['stat'] == '很抱歉,沒有符合條件的資料!': raise crawler.NoData('很抱歉,沒有符合條件的資料!') data = d['data1'] fields = d['fields1'] date = d['date'][0:4] + '-' + d['date'][4:6] + '-' + d['date'][6:] df = pd.DataFrame(data, columns=fields).replace(',', '', regex=True).replace( '--', np.nan) df.insert(0, '年月日', date) df['年月日'] = pd.to_datetime(df['年月日']).astype(str) df['漲跌(+/-)'] = df['漲跌(+/-)'].replace( "<p style= color:red>+</p>", 1).replace("<p style= color:green>-</p>", -1).replace('X', np.nan).replace(' ', 0) df['牛熊證觸及限制價格'] = df['牛熊證觸及限制價格'].replace('', 0).replace('*', 1).replace( '*', 1).fillna(np.nan) df['本益比'] = df['本益比'].replace('', np.nan).fillna(np.nan) intColumns = ['成交股數', '成交筆數', '最後揭示買量', '最後揭示賣量'] floatColumns = [ '成交金額', '開盤價', '最高價', '最低價', '收盤價', '漲跌(+/-)', '漲跌價差', '最後揭示買價', '最後揭示賣價', '本益比', '牛熊證觸及限制價格', '標的證券收盤價/指數' ] floatColumns = [col for col in floatColumns if col in list(df)] df[intColumns + floatColumns] = df[intColumns + floatColumns].replace( '', 0).fillna(np.nan) df = ast.to_int(intColumns, df) df = ast.to_float(floatColumns, df) return df
def craw(date: str) -> pd.DataFrame: d = get_dict(date) if 'stat' in d and d['stat'] == '很抱歉,沒有符合條件的資料!': raise crawler.NoData('很抱歉,沒有符合條件的資料!') data = d['data4'] fields = d['fields4'] date = d['date'][0:4] + '-' + d['date'][4:6] + '-' + d['date'][6:] data[0][1].split('(')[0] L = [] l = data[0] L.append([i.split('(')[0] for i in l]) L.append([i.split('(')[1].replace(')', '') for i in l]) l = data[1] L.append([i.split('(')[0] for i in l]) L.append([i.split('(')[1].replace(')', '') for i in l]) L.append(data[2]) L.append(data[3]) L.append(data[4]) df = pd.DataFrame(L, columns=fields).replace(',', '', regex=True).replace( '--', np.nan) df.insert(0, '年月日', date) df['年月日'] = pd.to_datetime(df['年月日']).astype(str) intColumns = ['整體市場', '股票'] df = ast.to_int(intColumns, df) return df
def extendedCallableBear(date: str, fields: List[str], data: List[List[str]]) -> None: date = date[0:4] + '-' + date[4:6] + '-' + date[6:] df = pd.DataFrame(data, columns=fields).replace(',', '', regex=True).replace( '--', np.nan) df.insert(0, '年月日', date) df['年月日'] = pd.to_datetime(df['年月日']).astype(str) df['漲跌(+/-)'] = df['漲跌(+/-)'].replace( "<p style= color:red>+</p>", 1).replace("<p style= color:green>-</p>", -1).replace('X', np.nan).replace(' ', 0).replace( '<p> </p>', 0).replace('<p>X</p>', np.nan) df['牛熊證觸及限制價格'] = df['牛熊證觸及限制價格'].replace('', 0).replace('*', 1).replace( '*', 1).fillna(np.nan) df['本益比'] = df['本益比'].replace('', np.nan).fillna(np.nan) intColumns = ['成交股數', '成交筆數', '最後揭示買量', '最後揭示賣量'] floatColumns = [ '成交金額', '開盤價', '最高價', '最低價', '收盤價', '漲跌(+/-)', '漲跌價差', '最後揭示買價', '最後揭示賣價', '本益比', '牛熊證觸及限制價格', '標的證券收盤價/指數' ] floatColumns = [col for col in floatColumns if col in list(df)] df[intColumns + floatColumns] = df[intColumns + floatColumns].replace( '', 0).fillna(np.nan) df = ast.to_int(intColumns, df) df = ast.to_float(floatColumns, df) saver.lite('可展延牛證', df)
def upsAndDown(date: str, fields: List[str], data: List[List[str]]) -> None: date = date[0:4] + '-' + date[4:6] + '-' + date[6:] data[0][1].split('(')[0] L = [] l = data[0] L.append([i.split('(')[0] for i in l]) L.append([i.split('(')[1].replace(')', '') for i in l]) l = data[1] L.append([i.split('(')[0] for i in l]) L.append([i.split('(')[1].replace(')', '') for i in l]) L.append(data[2]) L.append(data[3]) L.append(data[4]) df = pd.DataFrame(L, columns=fields).replace(',', '', regex=True).replace( '--', np.nan) df.insert(0, '年月日', date) df['年月日'] = pd.to_datetime(df['年月日']).astype(str) intColumns = ['整體市場', '股票'] df = ast.to_int(intColumns, df) saver.lite('漲跌證券數合計', df)