Python read_raw_data Examples

Example #1

File: create_learning_data.py Project: Norizo3w/Aso_Sea_Clouds_Pridiction

def main():
	# 気象データの読み込み
	raw_data = feature.read_raw_data()

	# 処理の対象期間（過去のデータに加えて、最新の観測データも加えるので、タプルで期間を指定する）
	terms = [(dt(2004, 2, 18), dt(2013, 9, 3)), (dt(2015, 6, 23), dt(2016, 1, 4))]

	# 特徴ベクトルを作成する関数
	feature_func = feature.create_feature16

	# 特徴ベクトルを作成して保存
	tc = teacher_creator(raw_data, feature_func, terms)
	tc.save_teacher()

Example #2

File: predict.py Project: Norizo3w/Aso_Sea_Clouds_Pridiction

def main():
	# 機械学習オブジェクトを生成
	clf = RandomForestRegressor()
	with open('entry_temp.pickle', 'rb') as f:# 学習成果を読み出す
		clf = pickle.load(f)               # オブジェクト復元

	# 気象データの読み込み
	raw_data = feature.read_raw_data()

	predict(\
		clf, \
		date_range(datetime.datetime(2015, 6, 23), datetime.datetime(2015, 10, 24)), \
		feature.create_feature23, \
		raw_data, \
		True)

Example #3

File: check4learned_machine.py Project: makoragi/Aso_Sea_Clouds_Pridiction

def main_process(target_time, target_dir):
	""" 
	外部からの呼び出しを意識している。
	"""
	# 特徴ベクトルの生成に必要なデータ（例：アメダスの観測データ）を読みだす
	raw_data = feature.read_raw_data()

	# 処理対象の制限（処理時間の短縮になるかも）
	terms = [(dt(2011, 6, 24), dt(2013, 6, 23)), (dt(2015, 6, 23), dt(2016, 1, 16))]

	# 引数に合わせて使う特徴ベクトル生成関数を変えて、検証する
	report_paths = []
	if target_time == "16": # 
		feature_func = feature.create_feature16
		_path = sub_process(target_time, target_dir, feature_func, raw_data, terms)
		report_paths.append(_path)
	elif target_time == "23":
		feature_func = feature.create_feature23
		sub_process(target_time, target_dir, feature_func, raw_data, terms)
		report_paths.append(_path)

	return report_paths

Example #4

File: learning_repeat.py Project: Norizo3w/Aso_Sea_Clouds_Pridiction

def main():
	# 引数の処理
	try_times = 100  # 保存するファイル名にタグを付けることができる
	argvs = sys.argv  # コマンドライン引数を格納したリストの取得
	print(argvs)
	argc = len(argvs) # 引数の個数
	if argc > 1:
		try_times = int(argvs[1])

	# 特徴ベクトルの生成に必要なデータ（例：アメダスの観測データ）を読みだす
	raw_data = feature.read_raw_data()

	# 教師データ作成の準備
	terms = [(dt(2004, 2, 18), dt(2013, 9, 3)), (dt(2015, 6, 23), dt(2015, 11, 30))]
	#terms = [(dt(2015, 6, 23), dt(2015, 11, 30))]

	_save_flag = False # 検証用にファイルを残したいなら、Trueとする
	feature_func = feature.create_feature16
	tc = create_learning_data.teacher_creator(raw_data, feature_func, terms, "unkai_date.csv") # 一度メモリ内に教師データを作成するが、時間がかかる。
	process("_f16", tc, feature_func, save_flag=_save_flag, try_times=try_times)

	feature_func = feature.create_feature23
	tc = create_learning_data.teacher_creator(raw_data, feature_func, terms, "unkai_date.csv")
	process("_f23", tc, feature_func, save_flag=_save_flag, try_times=try_times)