c = c+1
print ""
print "NO_THRESHOLDS: ",label
#クラスタごとにグラフを表示
for i in range(label_max+1):
df = pd.DataFrame(tmp[i], index=dates)
print ""
print df
df.plot() #グラフ描画
plt.title('NO_THRESHOLDS: Cluster'+str(i))
plt.show()
#--- K-means ---
k = 7 #クラスタ数
label, X = kmeans.main(fname1, k)
tmp = []
label_max = max(label)
for i in range(label_max+1):
tmp.append({})
c = 0
codes = companies.keys()
#グラフ描画の準備
for i in label:
for j in range(label_max+1):
if j == i:
tmp[i][codes[c]] = X[c]
else : pass
c = c+1
def main():
p_f_st = 0
p_f_no = 0
p_f_k = 0
p_f_h = 0
#---------------------------------------------------------------------
#AntTreeアルゴリズムを用いた(株価データ)クラスタリングシステム
#--STOCH -> 確率論的アルゴリズム
#--NO_THRESHOLDS -> 決定論的アルゴリズム
#---- Memo -----------------------------------------------------------
#--K-means法は比較用に作成
#--株価はyahoo! financeから2015年4/1～11/30までの営業日で取得
#--12/8追記 4/1～11/30(163次元)でメモリエラー発生 -> クラスタリングできていない
#--1/12 4/1～11/30(163次元)できた！！（家PC）
#--1/12 クラスタリング結果の評価関数(Pseudo_F.py)追加
#---------------------------------------------------------------------
# -*- coding:utf-8 -*-
import datetime
import pandas as pd
from pandas import Series, DataFrame
import matplotlib.pyplot as plt
#自作モジュールのインポート
import STOCH_StockPrice as st_sp
import NO_THRESHOLDS_StockPrice as nt_sp
import K_means_StockPrice as kmeans_sp
import Hierarchy_clustering as h_c
import cluster_Ant as cl_ant
import Return_Index as r_index
import RSI as rsi
import Move_Average as m_ave
import Pseudo_F as p_f
#date 4/1～11/30まで
#4/1 ~ 5/18 : 30日分
#4/1 ~ 6/29 : 60日分
#4/1 ~ 8/11 : 90日分
#4/1 ~ 9/27 : 120日分
start_date = datetime.date(2015,4,1)
end_date = datetime.date(2015,9,27)
#企業コードと企業名
companies_test = {9682:'DTS', 9742:'アイネス', 9613:'NTTデータ', 2327:'新日鉄住金ソリューションズ',
9640:'セゾン情報システムズ', 3626:'ITホールディングス', 2317:'システナ',
4684:'オービック', 9739:'NSW', 4726:'ソフトバンク・テクノロジー', 4307:'野村総合研究所',
9719:'SCSK', 4793:'富士通ビー・エス・シー', 4812:'ISID', 8056:'日本ユニシス'}
companies_it = {9682:'DTS', 9742:'アイネス', 9613:'NTTデータ', 2327:'新日鉄住金ソリューションズ',
3626:'ITホールディングス', 2317:'システナ',
4684:'オービック', 9739:'NSW', 4726:'ソフトバンク・テクノロジー', 4307:'野村総合研究所',
9719:'SCSK', 4812:'ISID', 8056:'日本ユニシス',
3765:'ガンホー・オンライン・エンターテイメント', 4689:'ヤフー', 4716:'日本オラクル',
4739:'伊藤忠テクノソリューションズ', 4825:'ウェザーニュース', 7844:'マーベラス', 9432:'日本電信電話',
9433:'KDDI', 9437:'NTTドコモ', 9697:'カプコン', 9766:'コナミ', 9984:'ソフトバンクグループ',
9749:'富士ソフト', 3632:'グリー', 3656:'KLab'} #情報通信系
companies_food = {2001:'日本製粉', 2002:'日清製粉グループ本社', 2003:'日東富士製粉', 2109:'三井製糖', 2201:'森永製菓',
2206:'江崎グリコ', 2211:'不二家', 2212:'山崎製パン', 2217:'モロゾフ', 2220:'亀田製菓', 2229:'カルビー',
2264:'森永乳業', 2267:'ヤクルト本社', 2270:'雪印メグミルク', 2281:'プリマハム', 2282:'日本ハム',
2284:'伊藤ハム', 2288:'丸大食品', 2501:'サッポロホールディングス', 2502:'アサヒホールディングス', 2503:'キリンホールディングス',
2579:'コカ・コーラウエスト', 2593:'伊藤園'} #食料品
companies_retail = {2651:'ローソン', 2681:'ゲオホールディングス', 2730:'エディオン', 3048:'ビックカメラ', 3197:'すかいらーく',
3382:'セブン＆アイホールディングス', 7550:'ゼンショーホールディングス', 7581:'サイゼリヤ', 7630:'壱番屋',
8028:'ファミリーマート', 8175:'ベスト電器', 8179:'ロイヤルホールディングス', 8200:'リンガーハット',
9831:'ヤマダ電器'} #小売
companies_device = {4902:'コニカミノルタ', 6448:'ブラザー工業', 6501:'日立製作所', 6502:'東芝', 6503:'三菱電機',
6506:'安川電機', 6516:'三洋電機', 6645:'オムロン', 6701:'NEC', 6702:'富士通', 6703:'OKI',
6724:'セイコーエプソン', 6752:'パナソニック', 6753:'シャープ', 6758:'ソニー', 6762:'TDK',
6981:'村田製作所', 7751:'キャノン', 7752:'リコー', 8035:'東京エレクトロン'} #電気機器
companies_service = {2193:'クックパッド', 2371:'カカクコム', 2379:'ディップ', 2433:'博報堂DIYホールディングス',
2432:'ディー・エヌ・エー', 4324:'電通', 4751:'サイバーエージェント', 4755:'楽天'} #サービス
companies_mix = {9437:'NTTドコモ', 4307:'野村総合研究所', 2327:'新日鉄住金ソリューションズ', 8056:'日本ユニシス', 4812:'ISID',
2503:'キリンホールディングス', 2579:'コカ・コーラウエスト', 2288:'丸大食品', 2109:'三井製糖',
2730:'エディオン', 7550:'ゼンショーホールディングス', 7630:'壱番屋', 8175:'ベスト電器', 8179:'ロイヤルホールディングス',
6502:'東芝', 6702:'富士通', 8035:'東京エレクトロン', 6753:'シャープ',
2432:'ディー・エヌ・エー', 4324:'電通', 4751:'サイバーエージェント', 4755:'楽天', 2193:'クックパッド'} #混合
#↑printでの表示は工夫が必要... とりあえず使いたいのはkeyだけ
companies = companies_service #クラスタリングする業種
#update → ディクショナリの連結
#companies.update(companies_food)
#companies.update(companies_retail)
#companies.update(companies_device)
#companies.update(companies_service)
#print 'companies: ',len(companies)
#print 'term : '+str(start_date)+' -- '+str(end_date)
#start_dateからend_dateまでの期間のリターンインデックスを計算，csvファイルで保存
#戻り値は営業日のdatetimeオブジェクト
#dates = r_index.main(start_date, end_date, companies)
#fname1 = 'return_index_values.csv'
#fname2 = 'return_index_codes.csv'
#start_dateからend_dateまでのRSIを計算，csvファイルで保存
#戻り値はdatetimeオブジェクト
n = 10 #10日間でのRSI
dates = rsi.main(start_date, end_date, n, companies)
fname1 = 'RSI_values.csv'
fname2 = 'RSI_codes.csv'
#print 'dates : ', len(dates)
#--- STOCH_StockPrice ---
Ant, X, count = st_sp.main(0.99, 0.1, fname1, fname2) #引数1:alpha1, 引数2:alpha2
label = cl_ant.ant_label(Ant)
tmp = []
label_max = max(label) #クラスタ数
for i in range(label_max+1):
tmp.append({})
c = 0 #counter
codes = companies.keys()
#グラフ描画の準備
for i in label:
for j in range(label_max+1):
if j == i:
tmp[i][codes[c]] = X[c]
else : pass
c = c+1
PseudoF = p_f.main(tmp, label_max+1)
p_f_st = PseudoF
k = label_max+1 #k-meansのクラスタ数
#--- NO_THRESHOLDS_StockPrice ---
Ant, X, count = nt_sp.main(fname1, fname2)
label = cl_ant.ant_label(Ant)
tmp = []
label_max = max(label) #クラスタ数
for i in range(label_max+1):
tmp.append({})
c = 0 #counter
codes = companies.keys()
#グラフ描画の準備
for i in label:
for j in range(label_max+1):
if j == i:
tmp[i][codes[c]] = X[c]
else : pass
c = c+1
PseudoF = p_f.main(tmp, label_max+1)
p_f_no = PseudoF
#--- K-means ---
label, X = kmeans_sp.main(fname1, k) #kはstochと同じに指定
tmp = []
label_max = max(label)
for i in range(label_max+1):
tmp.append({})
c = 0
codes = companies.keys()
#グラフ描画の準備
for i in label:
for j in range(label_max+1):
if j == i:
tmp[i][codes[c]] = X[c]
else : pass
c = c+1
PseudoF = p_f.main(tmp, label_max+1)
p_f_k = PseudoF
#--- 階層的クラスタリング---
#print 'Hierarchy Clustering'
tmp = h_c.main(fname1, fname2, 'single')
PseudoF = p_f.main(tmp, len(tmp))
p_f_h = PseudoF
return p_f_st, p_f_no, p_f_k, p_f_h
df = df*100
df.plot(figsize=(10,8)) #グラフ描画
plt.title('NO_THRESHOLDS: Cluster'+str(i))
plt.xlabel('date')
if fname1 == 'return_index_values.csv':
plt.ylabel('changing rate [%]')
plt.show()
print '----'*5
PseudoF = p_f.main(tmp, label_max+1)
print 'PseudoF: ',PseudoF
print ''
#--- K-means ---
label, X = kmeans_sp.main(fname1, k) #kはstochと同じに指定
tmp = []
label_max = max(label)
for i in range(label_max+1):
tmp.append({})
c = 0
codes = companies.keys()
#グラフ描画の準備
for i in label:
for j in range(label_max+1):
if j == i:
tmp[i][codes[c]] = X[c]
else : pass
c = c+1