示例#1
0
 def craw(date: str) -> pd.DataFrame:
     d = get_dict(date)
     if 'stat' in d and d['stat'] == '很抱歉,沒有符合條件的資料!':
         raise crawler.NoData('很抱歉,沒有符合條件的資料!')
     data = d['data1']
     fields = d['fields1']
     date = d['date'][0:4] + '-' + d['date'][4:6] + '-' + d['date'][6:]
     df = pd.DataFrame(data, columns=fields).replace(',', '',
                                                     regex=True).replace(
                                                         '--', np.nan)
     df.insert(0, '年月日', date)
     df['年月日'] = pd.to_datetime(df['年月日']).astype(str)
     df['漲跌(+/-)'] = df['漲跌(+/-)'].replace(
         "<p style= color:red>+</p>",
         1).replace("<p style= color:green>-</p>",
                    -1).replace('X', np.nan).replace(' ', 0)
     df['牛熊證觸及限制價格'] = df['牛熊證觸及限制價格'].replace('',
                                               0).replace('*', 1).replace(
                                                   '*', 1).fillna(np.nan)
     df['本益比'] = df['本益比'].replace('', np.nan).fillna(np.nan)
     intColumns = ['成交股數', '成交筆數', '最後揭示買量', '最後揭示賣量']
     floatColumns = [
         '成交金額', '開盤價', '最高價', '最低價', '收盤價', '漲跌(+/-)', '漲跌價差', '最後揭示買價',
         '最後揭示賣價', '本益比', '牛熊證觸及限制價格', '標的證券收盤價/指數'
     ]
     floatColumns = [col for col in floatColumns if col in list(df)]
     df[intColumns + floatColumns] = df[intColumns + floatColumns].replace(
         '', 0).fillna(np.nan)
     df = ast.to_int(intColumns, df)
     df = ast.to_float(floatColumns, df)
     return df
示例#2
0
 def craw(date: str) -> pd.DataFrame:
     d = get_dict(date)
     if 'stat' in d and d['stat'] == '很抱歉,沒有符合條件的資料!':
         raise crawler.NoData('很抱歉,沒有符合條件的資料!')
     data = d['data4']
     fields = d['fields4']
     date = d['date'][0:4] + '-' + d['date'][4:6] + '-' + d['date'][6:]
     data[0][1].split('(')[0]
     L = []
     l = data[0]
     L.append([i.split('(')[0] for i in l])
     L.append([i.split('(')[1].replace(')', '') for i in l])
     l = data[1]
     L.append([i.split('(')[0] for i in l])
     L.append([i.split('(')[1].replace(')', '') for i in l])
     L.append(data[2])
     L.append(data[3])
     L.append(data[4])
     df = pd.DataFrame(L, columns=fields).replace(',', '',
                                                  regex=True).replace(
                                                      '--', np.nan)
     df.insert(0, '年月日', date)
     df['年月日'] = pd.to_datetime(df['年月日']).astype(str)
     intColumns = ['整體市場', '股票']
     df = ast.to_int(intColumns, df)
     return df
示例#3
0
def extendedCallableBear(date: str, fields: List[str],
                         data: List[List[str]]) -> None:

    date = date[0:4] + '-' + date[4:6] + '-' + date[6:]
    df = pd.DataFrame(data, columns=fields).replace(',', '',
                                                    regex=True).replace(
                                                        '--', np.nan)
    df.insert(0, '年月日', date)
    df['年月日'] = pd.to_datetime(df['年月日']).astype(str)
    df['漲跌(+/-)'] = df['漲跌(+/-)'].replace(
        "<p style= color:red>+</p>",
        1).replace("<p style= color:green>-</p>",
                   -1).replace('X', np.nan).replace(' ', 0).replace(
                       '<p> </p>', 0).replace('<p>X</p>', np.nan)
    df['牛熊證觸及限制價格'] = df['牛熊證觸及限制價格'].replace('', 0).replace('*', 1).replace(
        '*', 1).fillna(np.nan)
    df['本益比'] = df['本益比'].replace('', np.nan).fillna(np.nan)
    intColumns = ['成交股數', '成交筆數', '最後揭示買量', '最後揭示賣量']
    floatColumns = [
        '成交金額', '開盤價', '最高價', '最低價', '收盤價', '漲跌(+/-)', '漲跌價差', '最後揭示買價',
        '最後揭示賣價', '本益比', '牛熊證觸及限制價格', '標的證券收盤價/指數'
    ]
    floatColumns = [col for col in floatColumns if col in list(df)]
    df[intColumns + floatColumns] = df[intColumns + floatColumns].replace(
        '', 0).fillna(np.nan)
    df = ast.to_int(intColumns, df)
    df = ast.to_float(floatColumns, df)

    saver.lite('可展延牛證', df)
示例#4
0
def upsAndDown(date: str, fields: List[str], data: List[List[str]]) -> None:

    date = date[0:4] + '-' + date[4:6] + '-' + date[6:]
    data[0][1].split('(')[0]
    L = []
    l = data[0]
    L.append([i.split('(')[0] for i in l])
    L.append([i.split('(')[1].replace(')', '') for i in l])
    l = data[1]
    L.append([i.split('(')[0] for i in l])
    L.append([i.split('(')[1].replace(')', '') for i in l])
    L.append(data[2])
    L.append(data[3])
    L.append(data[4])
    df = pd.DataFrame(L, columns=fields).replace(',', '', regex=True).replace(
        '--', np.nan)
    df.insert(0, '年月日', date)
    df['年月日'] = pd.to_datetime(df['年月日']).astype(str)
    intColumns = ['整體市場', '股票']
    df = ast.to_int(intColumns, df)

    saver.lite('漲跌證券數合計', df)