def single_layer(): mach = Machine(data) mach.add_module(modules.LinearModule, kwargs={'dim_out': data.nclass}) mach.add_module(modules.BiasModule) mach.add_module(modules.SoftMaxModule) mach.add_module(modules.CrossEntropyModule) run_machine(mach, eta=0.001, decay=0.0001, tol=1.25e-2)
def logistic_regression(): mach = Machine(data) mach.add_module(modules.LinearModule, kwargs={'dim_out': data.nclass}) mach.add_module(modules.BiasModule) mach.add_module(modules.SigmoidModule) mach.add_module(modules.EuclideanModule) run_machine(mach, eta=0.0025, decay=0.0025, tol=5.25e-5)
def rbf_hybrid(nhidden=80, eta=0.001, decay=0.0001, tol=1.25e-2): templates = np.random.randn(nhidden * data.nclass).reshape( nhidden, data.nclass) mach = Machine(data) mach.add_module(modules.LinearModule, kwargs={'dim_out': nhidden}) mach.add_module(modules.BiasModule) mach.add_module(modules.SigmoidModule) mach.add_module(modules.RBFModule, args=[templates]) mach.add_module(modules.BiasModule) mach.add_module(modules.SoftMaxModule) mach.add_module(modules.CrossEntropyModule) run_machine(mach, save=False, eta=eta, decay=decay, tol=tol)
def triple_layer(nhidden=80, eta=0.001, decay=0.0001, tol=1.25e-2): mach = Machine(data) mach.add_module(modules.LinearModule, kwargs={'dim_out': nhidden}) mach.add_module(modules.BiasModule) mach.add_module(modules.SigmoidModule) mach.add_module(modules.LinearModule, kwargs={'dim_out': nhidden}) mach.add_module(modules.BiasModule) mach.add_module(modules.SigmoidModule) mach.add_module(modules.LinearModule, kwargs={'dim_out': data.nclass}) mach.add_module(modules.BiasModule) mach.add_module(modules.SoftMaxModule) mach.add_module(modules.CrossEntropyModule) run_machine(mach, eta=eta, decay=decay, tol=tol)
def svm(nhidden=30, eta=0.001, decay=0.001, tol=1.25e-4): templates = data.training_set[0][ np.random.randint(data.size_train, size=nhidden), :].T mach = Machine(data) mach.add_module(modules.RBFModule, args=[templates]) mach.add_module(modules.SoftMaxModule) mach.add_module(modules.LinearModule, kwargs={'dim_out': data.nclass}) mach.add_module(modules.BiasModule) mach.add_module(modules.SoftMaxModule) mach.add_module(modules.CrossEntropyModule) run_machine(mach, save=False, eta=eta, decay=decay, tol=tol)
def rbf_hybrid(nhidden=80, eta=0.001, decay=0.0001, tol=1.25e-2): templates = np.random.randn(nhidden*data.nclass).reshape(nhidden, data.nclass) mach = Machine(data) mach.add_module(modules.LinearModule, kwargs={'dim_out': nhidden}) mach.add_module(modules.BiasModule) mach.add_module(modules.SigmoidModule) mach.add_module(modules.RBFModule, args=[templates]) mach.add_module(modules.BiasModule) mach.add_module(modules.SoftMaxModule) mach.add_module(modules.CrossEntropyModule) run_machine(mach, save=False, eta=eta, decay=decay, tol=tol)
def svm(nhidden=30, eta=0.001, decay=0.001, tol=1.25e-4): templates = data.training_set[0][np.random.randint(data.size_train, size=nhidden),:].T mach = Machine(data) mach.add_module(modules.RBFModule, args=[templates]) mach.add_module(modules.SoftMaxModule) mach.add_module(modules.LinearModule, kwargs={'dim_out': data.nclass}) mach.add_module(modules.BiasModule) mach.add_module(modules.SoftMaxModule) mach.add_module(modules.CrossEntropyModule) run_machine(mach, save=False, eta=eta, decay=decay, tol=tol)