def dataPrePorcess(flag):
if flag == 1:
pcev_list = os.listdir("D:\\data\\私家车\\纯电\\")
pcphev_list = os.listdir("D:\\data\\私家车\\混动\\")
didi_list = os.listdir("D:\\data\\网约车\\")
taxi_list = os.listdir("D:\\data\\出租车\\")
''' didi-EV'''
for didi_id in didi_list:
data_didi_HEV = pd.read_csv('D:\\data\\网约车\\' + didi_list)
# print("missing data" + didi_list, data_didi_HEV.isnull().sum())
# print("rows in dataset" + didi_list, data_didi_HEV.shape[0])
# data_didi_HEV = data_didi_HEV.dropna()
# print("missing data-processed" + didi_list, data_didi_HEV.isnull().sum())
# print("rows in dataset-processed" + didi_list, data_didi_HEV.shape[0])
data_didi_HEV['time'] = pd.to_datetime(
data_didi_HEV['time']).apply(lambda x: x.date())
# data_didi_HEV = pd.read_csv('F:\\sql data\\classifer_car_data\\example\\data\\SHEVDC_0A101F56_vehicle_data.csv')
data_didi_HEV = pd.read_excel(
'F:\Marquez\任务：Carsharing\新能源车辆数据中心\\BEV样本数据.xlsx')
data_didi_HEV['lng_new'] = 0.000000
data_didi_HEV['lat_new'] = 0.000000
for i in range(0, len(data_didi_HEV)):
# 84坐标系转高德坐标系
'''gaode wgs84_to_gcj02'''
data_didi_HEV['lng_new'][i] = coord_transfer.wgs84_to_gcj02(
data_didi_HEV['经度'][i], data_didi_HEV['纬度'][i])[0]
data_didi_HEV['lat_new'][i] = coord_transfer.wgs84_to_gcj02(
data_didi_HEV['经度'][i], data_didi_HEV['纬度'][i])[1]
return data_didi_HEV
def dataPrePorcess(flag):
if flag == 1:
pcev_list = os.listdir("D:\\data\\私家车\\纯电\\")
pcphev_list = os.listdir("D:\\data\\私家车\\混动\\")
didi_list = os.listdir("D:\\data\\网约车\\")
taxi_list = os.listdir("D:\\data\\出租车\\")
''' didi-EV'''
for didi_id in didi_list:
data_didi_HEV = pd.read_csv('D:\\data\\网约车\\' + didi_list)
# print("missing data" + didi_list, data_didi_HEV.isnull().sum())
# print("rows in dataset" + didi_list, data_didi_HEV.shape[0])
# data_didi_HEV = data_didi_HEV.dropna()
# print("missing data-processed" + didi_list, data_didi_HEV.isnull().sum())
# print("rows in dataset-processed" + didi_list, data_didi_HEV.shape[0])
data_didi_HEV['time'] = pd.to_datetime(
data_didi_HEV['time']).apply(lambda x: x.date())
# data_didi_HEV = pd.read_csv('F:\\sql data\\classifer_car_data\\example\\data\\SHEVDC_0A101F56_vehicle_data.csv')
data_didi_HEV = pd.read_excel(
'F:\Marquez\任务：Carsharing\新能源车辆数据中心\\BEV样本数据.xlsx')
'''20200911'''
'''didi car-hailing PHEV'''
sum_didi = []
# for didi_id in didi_list:
# v1 = pd.read_csv(" " + didi_id)
# data_didi_HEV['time'] = pd.to_datetime(data_didi_HEV['time']).apply(lambda x: x.date())
# agg = v1.groupby('time').agg({'summileage': find_miles()})
agg = data_didi_HEV.groupby('数据采集时间').agg({'累积行驶里程': find_miles})
# [sum_didi.append(i) for i in list(agg['summileage'])]
[data_didi_HEV.append(i) for i in list(agg['累积行驶里程'])]
'''数据按天拆分'''
'''...'''
data_didi_HEV['lng_new'] = 0.000000
data_didi_HEV['lat_new'] = 0.000000
for i in range(0, len(data_didi_HEV)):
# 84坐标系转高德坐标系
'''gaode wgs84_to_gcj02'''
data_didi_HEV['lng_new'][i] = coord_transfer.wgs84_to_gcj02(
data_didi_HEV['经度'][i], data_didi_HEV['纬度'][i])[0]
data_didi_HEV['lat_new'][i] = coord_transfer.wgs84_to_gcj02(
data_didi_HEV['经度'][i], data_didi_HEV['纬度'][i])[1]
return data_didi_HEV
def dataPrePorcess(flag,data_byDay):
if flag==1:
pcev_list = os.listdir("D:\\data\\私家车\\纯电\\")
pcphev_list= os.listdir("D:\\data\\私家车\\混动\\")
didi_list = os.listdir("D:\\data\\网约车\\")
taxi_list = os.listdir("D:\\data\\出租车\\")
''' didi-EV'''
for didi_id in didi_list:
data_didi_HEV = pd.read_csv('D:\\data\\网约车\\' + didi_list)
# print("missing data" + didi_list, data_didi_HEV.isnull().sum())
# print("rows in dataset" + didi_list, data_didi_HEV.shape[0])
# data_didi_HEV = data_didi_HEV.dropna()
# print("missing data-processed" + didi_list, data_didi_HEV.isnull().sum())
# print("rows in dataset-processed" + didi_list, data_didi_HEV.shape[0])
data_didi_HEV['time'] = pd.to_datetime(data_didi_HEV['time']).apply(lambda x: x.date())
# data_didi_HEV = pd.read_csv('F:\\sql data\\classifer_car_data\\example\\data\\SHEVDC_0A101F56_vehicle_data.csv')
# data_didi_HEV = pd.read_csv('D:\\data\\出租车\\SHEVDC_1A5H2N7C.csv')
# data_didi_HEV=data_didi_HEV[:10000]
'''数据替换'''
data_didi_HEV=data_byDay
data_didi_HEV['lng_new'] = 0.000000
data_didi_HEV['lat_new'] = 0.000000
for i in range(data_didi_HEV.index.tolist()[0],data_didi_HEV.index.tolist()[-1]):
# 84坐标系转高德坐标系
'''gaode wgs84_to_gcj02'''
data_didi_HEV['lng_new'][i] = coord_transfer.wgs84_to_gcj02(data_didi_HEV['longitude'][i], data_didi_HEV['latitude'][i])[0]
data_didi_HEV['lat_new'][i] = coord_transfer.wgs84_to_gcj02(data_didi_HEV['longitude'][i], data_didi_HEV['latitude'][i])[1]
# return data_didi_HEV
return data_didi_HEV