# GA2: Exploration Jason

## Original


## Batch size = 256

## Epochs 50

## Add 128 conv layer
Deeper networks require batchnorm.

## Add batchnorm to every conv layer

## Add 256 conv layer and batchnorm
This did not make it better, so lets revert this change.

## Decrease learning rate to 0.0001

Toch nog eens een layer toevoegen.

## Misschien vooraan eens een layer toevoegen van 16 en de 256 opnieuw verwijderen.

-----------------------------------------------------------
# Vince 67 accuracy als base model nu
Model misschien te complex want regularization werkt niet

model = Sequential()
model.add(Conv2D(32, (3, 3), padding='same', input_shape=(32, 32, 3)))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(Conv2D(64, (3, 3), padding='same'))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(MaxPooling2D((2, 2)))

model.add(Conv2D(128, (3, 3), padding='same'))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(Conv2D(128, (3, 3), padding='same'))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(MaxPooling2D((2, 2)))

model.add(Conv2D(256, (3, 3), padding='same'))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(Conv2D(256, (3, 3), padding='same'))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(MaxPooling2D((2, 2)))

model.add(Flatten())

model.add(Dense(128))
model.add(BatchNormalization())
model.add(Activation('relu'))

model.add(Dense(64))
model.add(BatchNormalization())
model.add(Activation('relu'))

model.add(Dense(num_classes))
model.add(Activation('softmax'))


Dit geeft relatief cleane curve (behalve de insane drop in de laatste epochs, maar dat is normaal zeiden ze.)

## Minder epochs (25)

# Verwijder gewoon alle dense layers


# add 2x512 conv

# add 2x1024 conv

# Start wider and less deep

# Weer naar zonder dense layers, 2x256, dropout 0.1 op 3 laatste conv layers
not good mb

## Vince model

## Add maxnorm 4 in dropout layers