src/07a-sts-sim-eep.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Sentence Similarity w/o Attention"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n"
     ]
    }
   ],
   "source": [
    "from __future__ import division, print_function\n",
    "from keras.callbacks import ModelCheckpoint\n",
    "from keras.layers import Input\n",
    "from keras.layers.core import Dense, Dropout, Masking\n",
    "from keras.layers.embeddings import Embedding\n",
    "from keras.layers.recurrent import GRU, LSTM\n",
    "from keras.layers.merge import concatenate\n",
    "from keras.models import Model, load_model\n",
    "from keras.preprocessing.sequence import pad_sequences\n",
    "from keras.layers.wrappers import Bidirectional\n",
    "from sklearn.metrics import mean_squared_error\n",
    "import math\n",
    "import matplotlib.pyplot as plt\n",
    "import nltk\n",
    "import numpy as np\n",
    "import os\n",
    "import scipy\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "DATA_DIR = \"../data\"\n",
    "TRAIN_DIR = os.path.join(DATA_DIR, \"train\")\n",
    "TEST_DIR = os.path.join(DATA_DIR, \"test-gold\")\n",
    "\n",
    "DATA_SOURCES = [\"MSRpar\", \"MSRvid\", \"SMTeuroparl\"]\n",
    "SPAIR_FILE_TPL = \"STS.input.{:s}.txt\"\n",
    "LABEL_FILE_TPL = \"STS.gs.{:s}.txt\"\n",
    "\n",
    "VOCAB_FILE = os.path.join(DATA_DIR, \"sts-vocab.tsv\")\n",
    "\n",
    "GLOVE_FILE = os.path.join(DATA_DIR, \"glove.840B.300d.txt\")\n",
    "\n",
    "BEST_MODEL = os.path.join(DATA_DIR, \"models\", \"07a-best-model.h5\")\n",
    "\n",
    "MIN_OCCURS = 2\n",
    "MAX_WORDS = 35\n",
    "\n",
    "WORD_EMBED_SIZE = 300\n",
    "SENT_EMBED_SIZE = 200\n",
    "\n",
    "BATCH_SIZE = 64\n",
    "NUM_EPOCHS = 10"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Load Vocabulary"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "vocab_size: 6942\n"
     ]
    }
   ],
   "source": [
    "word2id = {\"PAD\": 0, \"UNK\": 1}\n",
    "fvocab = open(VOCAB_FILE, \"rb\")\n",
    "for i, line in enumerate(fvocab):\n",
    "    word, count = line.strip().split(\"\\t\")\n",
    "    if int(count) < MIN_OCCURS:\n",
    "        break\n",
    "    word2id[word] = i\n",
    "fvocab.close()\n",
    "id2word = {v:k for k, v in word2id.items()}\n",
    "vocab_size = len(word2id)\n",
    "print(\"vocab_size: {:d}\".format(vocab_size))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Load GloVe Embeddings"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(6942, 300)\n"
     ]
    }
   ],
   "source": [
    "E = np.zeros((vocab_size, WORD_EMBED_SIZE))\n",
    "E[1] = np.random.random(WORD_EMBED_SIZE)\n",
    "fglove = open(GLOVE_FILE, \"rb\")\n",
    "for line in fglove:\n",
    "    cols = line.strip().split(\" \")\n",
    "    word = cols[0]\n",
    "    if not word2id.has_key(word):\n",
    "        continue\n",
    "    vec = np.array([float(x) for x in cols[1:]])\n",
    "    idx = word2id[word]\n",
    "    E[idx] = vec\n",
    "fglove.close()\n",
    "E[0] = np.zeros(WORD_EMBED_SIZE)\n",
    "print(E.shape)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Compute Input Sequences"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(2234, 35) (2234, 35) (2234,)\n",
      "(1959, 35) (1959, 35) (1959,)\n"
     ]
    }
   ],
   "source": [
    "def convert_to_sequence(sent, word2id):\n",
    "    int_seq = []\n",
    "    sent = sent.decode(\"utf8\").encode(\"ascii\", \"ignore\").lower()\n",
    "    for word in nltk.word_tokenize(sent):\n",
    "        if word2id.has_key(word):\n",
    "            int_seq.append(word2id[word])\n",
    "        else:\n",
    "            int_seq.append(word2id[\"UNK\"])\n",
    "    return int_seq\n",
    "    \n",
    "def load_data(datadir, word2id, max_words):\n",
    "    xleft, xright, ys = [], [], []\n",
    "    for data_source in DATA_SOURCES:\n",
    "        label_filename = LABEL_FILE_TPL.format(data_source)\n",
    "        flabel = open(os.path.join(datadir, label_filename))\n",
    "        for line in flabel:\n",
    "            ys.append(float(line.strip()))\n",
    "        flabel.close()\n",
    "        # sentence pairs\n",
    "        spair_filename = SPAIR_FILE_TPL.format(data_source)\n",
    "        fsents = open(os.path.join(datadir, spair_filename))\n",
    "        for line in fsents:\n",
    "            left, right = line.strip().split(\"\\t\")\n",
    "            xleft.append(convert_to_sequence(left, word2id))\n",
    "            xright.append(convert_to_sequence(right, word2id))\n",
    "        fsents.close()\n",
    "        assert len(xleft) == len(xright) and len(xright) == len(ys)\n",
    "    Xleft = np.array(pad_sequences(xleft, maxlen=max_words))\n",
    "    Xright = np.array(pad_sequences(xright, maxlen=max_words))\n",
    "    return Xleft, Xright, np.array(ys)\n",
    "    \n",
    "Xtrain_l, Xtrain_r, ytrain = load_data(TRAIN_DIR, word2id, MAX_WORDS)\n",
    "Xtest_l, Xtest_r, ytest = load_data(TEST_DIR, word2id, MAX_WORDS)\n",
    "\n",
    "print(Xtrain_l.shape, Xtrain_r.shape, ytrain.shape)\n",
    "print(Xtest_l.shape, Xtest_r.shape, ytest.shape)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Define Network\n",
    "\n",
    "### Sentence Processing"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "input_1 (InputLayer)         (None, 35)                0         \n",
      "_________________________________________________________________\n",
      "embedding_1 (Embedding)      (None, 35, 300)           2082600   \n",
      "_________________________________________________________________\n",
      "masking_1 (Masking)          (None, 35, 300)           0         \n",
      "_________________________________________________________________\n",
      "bidirectional_1 (Bidirection (None, 400)               801600    \n",
      "=================================================================\n",
      "Total params: 2,884,200\n",
      "Trainable params: 2,884,200\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "sent_in = Input(shape=(MAX_WORDS, ), dtype=\"int32\")\n",
    "\n",
    "sent_emb = Embedding(input_dim=vocab_size,\n",
    "                     output_dim=WORD_EMBED_SIZE,\n",
    "                     weights=[E],\n",
    "                     mask_zero=True)(sent_in)\n",
    "sent_emb = Masking(mask_value=0.)(sent_emb)\n",
    "\n",
    "sent_enc = Bidirectional(LSTM(SENT_EMBED_SIZE,\n",
    "                             return_sequences=False))(sent_emb)\n",
    "\n",
    "sent_model = Model(inputs=sent_in, outputs=sent_enc)\n",
    "sent_model.summary()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Full Network"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "____________________________________________________________________________________________________\n",
      "Layer (type)                     Output Shape          Param #     Connected to                     \n",
      "====================================================================================================\n",
      "input_2 (InputLayer)             (None, 35)            0                                            \n",
      "____________________________________________________________________________________________________\n",
      "input_3 (InputLayer)             (None, 35)            0                                            \n",
      "____________________________________________________________________________________________________\n",
      "model_1 (Model)                  (None, 400)           2884200     input_2[0][0]                    \n",
      "                                                                   input_3[0][0]                    \n",
      "____________________________________________________________________________________________________\n",
      "concatenate_1 (Concatenate)      (None, 800)           0           model_1[1][0]                    \n",
      "                                                                   model_1[2][0]                    \n",
      "____________________________________________________________________________________________________\n",
      "dropout_1 (Dropout)              (None, 800)           0           concatenate_1[0][0]              \n",
      "____________________________________________________________________________________________________\n",
      "dense_1 (Dense)                  (None, 50)            40050       dropout_1[0][0]                  \n",
      "____________________________________________________________________________________________________\n",
      "dropout_2 (Dropout)              (None, 50)            0           dense_1[0][0]                    \n",
      "____________________________________________________________________________________________________\n",
      "dense_2 (Dense)                  (None, 1)             51          dropout_2[0][0]                  \n",
      "====================================================================================================\n",
      "Total params: 2,924,301\n",
      "Trainable params: 2,924,301\n",
      "Non-trainable params: 0\n",
      "____________________________________________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "sim_in_l = Input(shape=(MAX_WORDS,))\n",
    "sim_in_r = Input(shape=(MAX_WORDS,))\n",
    "\n",
    "sim_enc_l = sent_model(sim_in_l)\n",
    "sim_enc_r = sent_model(sim_in_r)\n",
    "\n",
    "sim_mrg = concatenate([sim_enc_l, sim_enc_r], axis=1)\n",
    "\n",
    "sim_fc1 = Dropout(0.2)(sim_mrg)\n",
    "sim_fc1 = Dense(50, activation=\"relu\")(sim_fc1)\n",
    "sim_fc2 = Dropout(0.2)(sim_fc1)\n",
    "sim_pred = Dense(1)(sim_fc2)\n",
    "\n",
    "model = Model(inputs=[sim_in_l, sim_in_r], outputs=[sim_pred])\n",
    "model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "model.compile(loss=\"mean_squared_error\", optimizer=\"rmsprop\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/palsujit/anaconda2/lib/python2.7/site-packages/Keras-2.0.4-py2.7.egg/keras/backend/tensorflow_backend.py:2252: UserWarning: Expected no kwargs, you passed 1\n",
      "kwargs passed to function are ignored with Tensorflow backend\n",
      "  warnings.warn('\\n'.join(msg))\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 2010 samples, validate on 224 samples\n",
      "Epoch 1/10\n",
      "2010/2010 [==============================] - 20s - loss: 2.3298 - val_loss: 3.1262\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 2/10\n",
      "2010/2010 [==============================] - 19s - loss: 1.6520 - val_loss: 0.4424\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 3/10\n",
      "2010/2010 [==============================] - 20s - loss: 1.4736 - val_loss: 0.4226\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 4/10\n",
      "2010/2010 [==============================] - 20s - loss: 1.3394 - val_loss: 0.3256\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 5/10\n",
      "2010/2010 [==============================] - 20s - loss: 1.1730 - val_loss: 0.3788\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 6/10\n",
      "2010/2010 [==============================] - 20s - loss: 1.0382 - val_loss: 0.3869\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 7/10\n",
      "2010/2010 [==============================] - 20s - loss: 0.8850 - val_loss: 0.3331\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 8/10\n",
      "2010/2010 [==============================] - 21s - loss: 0.8111 - val_loss: 0.4163\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 9/10\n",
      "2010/2010 [==============================] - 21s - loss: 0.7388 - val_loss: 0.3105\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n",
      "Epoch 10/10\n",
      "2010/2010 [==============================] - 21s - loss: 0.6020 - val_loss: 0.2996\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\n"
     ]
    }
   ],
   "source": [
    "checkpoint = ModelCheckpoint(filepath=BEST_MODEL, save_best_only=True)\n",
    "history = model.fit([Xtrain_l, Xtrain_r], ytrain, \n",
    "                    batch_size=BATCH_SIZE,\n",
    "                    epochs=NUM_EPOCHS,\n",
    "                    validation_split=0.1,\n",
    "                    callbacks=[checkpoint])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXcAAAEICAYAAACktLTqAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJzt3Xl8lOW5//HPFRIIm2yJAmELgijLBDTSVG1LrR7BvbWK\nbbVi+ytdbKut1tK9ejxH21prrVvdam1R2+NSPQqi9mDVFq0B2TdRUQIIERXZDXD//rgmZrKRbSZP\nZub7fr3mlcnMk+RKxO88c9/3c90WQkBERDJLTtQFiIhI8incRUQykMJdRCQDKdxFRDKQwl1EJAMp\n3EVEMpDCXbKGma01sxOirkOkPSjcRUQykMJdRCQDKdwl65hZFzO73sw2xG/Xm1mX+HMFZvaYmb1n\nZu+Y2XNmlhN/7vtmtt7MtpnZKjP7VLS/iUjjcqMuQCQCPwLKgPFAAB4Bfgz8BLgUqAAK48eWAcHM\nRgHfBI4OIWwws2FAp/YtW6T5dOYu2egLwJUhhM0hhErgCuD8+HNVwABgaAihKoTwXPAGTPuALsBo\nM8sLIawNIbwaSfUizaBwl2w0EHgj4fM34o8B/ApYAzxpZq+Z2QyAEMIa4BLg58BmM7vfzAYi0kEp\n3CUbbQCGJnw+JP4YIYRtIYRLQwjDgdOB71aPrYcQ7g0hHBf/2gD8on3LFmk+hbtko/uAH5tZoZkV\nAD8F/gxgZqea2QgzM2ArPhyz38xGmdnx8YnX3cAuYH9E9Ys0SeEu2egqoBxYDCwBFsQfAxgJPA1s\nB+YBN4cQ5uLj7dcAbwNvAQcDP2jfskWaz7RZh4hI5tGZu4hIBlK4i4hkIIW7iEgGUriLiGSgyNoP\nFBQUhGHDhkX140VE0tL8+fPfDiEUNnVcZOE+bNgwysvLo/rxIiJpyczeaPooDcuIiGQkhbuISAZS\nuIuIZCD1cxeRtFJVVUVFRQW7d++OupSUys/PZ9CgQeTl5bXq6xXuIpJWKioq6NmzJ8OGDcP7u2We\nEAJbtmyhoqKC4uLiVn0PDcuISFrZvXs3/fr1y9hgBzAz+vXr16Z3Jwp3EUk7mRzs1dr6O6ZduC9d\nCt//PmzbFnUlIiIdV9qF++uvwy9/CUuWRF2JiGSj9957j5tvvrnFX3fyySfz3nvvpaCihqVduMdi\n/nHx4mjrEJHs1Fi4792794BfN2vWLHr37p2qsupJu9UyQ4ZAr14KdxGJxowZM3j11VcZP348eXl5\n5Ofn06dPH1auXMnq1as588wzWbduHbt37+biiy9m+vTpQE3Lle3btzNlyhSOO+44/vWvf1FUVMQj\njzxC165dk1pn2oW7mZ+9K9xFhEsugYULk/s9x4+H669v9OlrrrmGpUuXsnDhQp555hlOOeUUli5d\n+uGSxbvuuou+ffuya9cujj76aM466yz69etX63u88sor3Hfffdx+++2cc845PPjgg5x33nlJ/TXS\nblgGasJdOwSKSNQmTpxYay36DTfcQElJCWVlZaxbt45XXnml3tcUFxczfvx4AI466ijWrl2b9LrS\n7swdPNy3bYM33gB1DRbJYgc4w24v3bt3//D+M888w9NPP828efPo1q0bkyZNanCtepcuXT6836lT\nJ3bt2pX0upo8czezfDP7t5ktMrNlZnZFA8eYmd1gZmvMbLGZHZn0ShNoUlVEotKzZ0+2NbIWe+vW\nrfTp04du3bqxcuVKXnjhhXaurkZzztz3AMeHELabWR7wvJnNDiEkVj0FGBm/fQS4Jf4xJcaO9Y+L\nFsHpp6fqp4iI1NevXz+OPfZYxo4dS9euXTnkkEM+fG7y5MnceuutHHHEEYwaNYqysrLI6mwy3EMI\nAdge/zQvfqs72n0GcE/82BfMrLeZDQghbExqtXE9esChh+rMXUSice+99zb4eJcuXZg9e3aDz1WP\nqxcUFLB06dIPH7/sssuSXh80c0LVzDqZ2UJgM/BUCOHFOocUAesSPq+IP1b3+0w3s3IzK6+srGxt\nzYBWzIiIHEizwj2EsC+EMB4YBEw0s7Gt+WEhhNtCCKUhhNLCwia3ADygkhJ45RXYubNN30ZEJCO1\naClkCOE9YC4wuc5T64HBCZ8Pij+WMrGYL4VctiyVP0VEJD01Z7VMoZn1jt/vCpwIrKxz2KPAF+Or\nZsqArakab6+mFTMiIo1rzmqZAcAfzawT/mLw1xDCY2b2NYAQwq3ALOBkYA2wE7gwRfV+qLgYundX\nuIuINKQ5q2UWAxMaePzWhPsBuCi5pR1YTg6MG6dwFxFpSFq2H6gWi/lad7UhEJGOqkePHpH83LQP\n93ffhfUpnboVEUk/adlbplripOqgQdHWIiLZYcaMGQwePJiLLvKR6J///Ofk5uYyd+5c3n33Xaqq\nqrjqqqs444wzIq0zY8L95JOjrUVE2l8EHX+ZOnUql1xyyYfh/te//pU5c+bw7W9/m4MOOoi3336b\nsrIyTj/99Ej3ek3rcO/VC4YO1aSqiLSfCRMmsHnzZjZs2EBlZSV9+vShf//+fOc73+HZZ58lJyeH\n9evXs2nTJvr37x9ZnWkd7qA2BCLZLKqOv2effTYPPPAAb731FlOnTmXmzJlUVlYyf/588vLyGDZs\nWIOtfttTWk+ogof7ypWwZ0/UlYhItpg6dSr3338/DzzwAGeffTZbt27l4IMPJi8vj7lz5/LGG29E\nXWJmhPu+fbBiRdSViEi2GDNmDNu2baOoqIgBAwbwhS98gfLycsaNG8c999zD4YcfHnWJmTEsA77e\nPb5rlYhIyi1ZsuTD+wUFBcybN6/B47Zv397g46mW9mfuI0ZAfr7G3UVEEqV9uOfmwpgxCncRkURp\nH+7gvd0V7iLZI2RBz5G2/o4ZEe6xGGzeDJs2RV2JiKRafn4+W7ZsyeiADyGwZcsW8vPzW/090n5C\nFWpfqXriidHWIiKpNWjQICoqKmjrVp0dXX5+PoPa0FclI8J93Dj/qHAXyXx5eXkUFxdHXUaHlxHD\nMgUFMHCgxt1FRKplRLhDTW93ERHJsHBfvhyqqqKuREQkehkT7iUlHuyrVkVdiYhI9DIm3BNXzIiI\nZLuMCfdRoyAvT+EuIgIZFO55eTB6tMJdRAQyKNxBG3eIiFTLuHBfvx62bIm6EhGRaGVcuIPO3kVE\nFO4iIhmoyXA3s8FmNtfMlpvZMjO7uIFjJpnZVjNbGL/9NDXlHlj//nDwwQp3EZHmNA7bC1waQlhg\nZj2B+Wb2VAhheZ3jngshnJr8EltGk6oiIs04cw8hbAwhLIjf3wasAIpSXVhrxWKwdKlvmi0ikq1a\nNOZuZsOACcCLDTx9jJktNrPZZjamka+fbmblZlaeql7MsRjs3g1r1qTk24uIpIVmh7uZ9QAeBC4J\nIbxf5+kFwJAQQgz4HfC3hr5HCOG2EEJpCKG0sLCwtTUfkCZVRUSaGe5mlocH+8wQwkN1nw8hvB9C\n2B6/PwvIM7OCpFbaTEccAZ06KdxFJLs1Z7WMAXcCK0II1zVyTP/4cZjZxPj3jeRSovx87zOj3u4i\nks2as1rmWOB8YImZLYw/9kNgCEAI4Vbgs8DXzWwvsAs4N0S4e20sBvPmRfXTRUSi12S4hxCeB6yJ\nY24EbkxWUW1VUgL33w9bt0KvXlFXIyLS/jLqCtVq1ZOqS5ZEW4eISFQyOtw1qSoi2Sojw72oCPr0\nUbiLSPbKyHA3UxsCEclu6Rnue/c2eUgs5mPu+/e3Qz0iIh1M+oX7k0/6lUrr1x/wsFgMtm+H119v\np7pERDqQ9Av3oUNhwwa44IIDnpaXlPhHDc2ISDZKv3AfNQp++1v4+9/hugYvmAVgzBgfe1e4i0g2\nSr9wB/jyl+HTn4Yf/hAWLGjwkG7dYORIhbuIZKf0DHczuP1233bp85+HHTsaPEwrZkQkW6VnuAP0\n6wf33AOrV8OllzZ4SCwGr77qE6siItkkfcMd4Pjj4bLL4Pe/h7/VbyEfi0EIsGxZBLWJiEQovcMd\n4Kqr4Mgj4f/9P19Fk0BtCEQkW6V/uHfuDDNnws6d9ZZHDh0KPXuqt7uIZJ/0D3eAww+H66+Hp5+G\n3/zmw4dzcjSpKiLZKTPCHeArX4Ezz4Qf/AAWLvzw4epwj27rEBGR9pc54V69PLKgAD73OR+mwcN9\n61ZYty7i+kRE2lHmhDt4sN9zD6xc6ato0KSqiGSnzAp3gBNO8GC/5RZ49FHGjvWHFe4ikk0yL9zB\nl0eOHw9f/jIH7dhIcbHCXUSyS2aGe5cucO+93pZg2jRi44LCXUSySmaGO3jP9+uugyefJLbrRVat\ngl27oi5KRKR9ZG64A3z1q3DGGZTM/Q3798Py5VEXJCLSPjI73M3gjjuI9fZ1kIvLP4i4IBGR9pHZ\n4Q5QUMDwP11BN3aw+Obno65GRKRdZH64A50mn8jY/m+zeHGAxx6LuhwRkZRrMtzNbLCZzTWz5Wa2\nzMwubuAYM7MbzGyNmS02syNTU27rxaYMYlGnIwnTLoS33oq6HBGRlGrOmfte4NIQwmigDLjIzEbX\nOWYKMDJ+mw7cktQqkyA2oRNb9vXhre09YNq0A26uLSKS7poM9xDCxhDCgvj9bcAKoKjOYWcA9wT3\nAtDbzAYkvdo2+LANwVd+B3PmwO9+F21BIiIp1KIxdzMbBkwAXqzzVBGQ2JqrgvovAJjZdDMrN7Py\nysrKllXaRtXhvmjQKXDaaXD55bpsVUQyVrPD3cx6AA8Cl4QQ3m/NDwsh3BZCKA0hlBYWFrbmW7Ra\nnz4weDAsXmJw553Qt69vrq0rm0QkAzUr3M0sDw/2mSGEhxo4ZD0wOOHzQfHHOpQPN+4oLIS77/bN\nVS+/POqyRESSrjmrZQy4E1gRQriukcMeBb4YXzVTBmwNIWxMYp1JEYvBihXwwQfASSfBJZfAjTfC\n449HXZqISFI158z9WOB84HgzWxi/nWxmXzOzr8WPmQW8BqwBbge+kZpy2yYWg717vd07AFdf7Q9e\neCFs2hRpbSIiyZTb1AEhhOcBa+KYAFyUrKJSJXHjjlgMyM/37pGlpR7wjz/uLQtERNJcVlyhWu2w\nw6Bz5zqLZMaMgWuvhdmzfYhGRCQDZFW45+Z6ltdbAfmNb8App8D3vgdLlkRSm4hIMmVVuAOUlMCi\nRXUeNIO77oLevbU8UkQyQtaFeyzmrWU2b67zxMEH+/LIpUthxowoShMRSZqsDHdoZPRl8mS4+GK4\n4QYfgxcRSVNZG+6Ndh645hoYN86bi2l5pIikqawL98JC6N//AOFevTxy61b40pcghHatT0QkGbIu\n3CGhDUFjxo715ZGzZsFNN7VbXSIiyZK14b5smV+t2qiLLoKTT4bLLvODRUTSSNaG+549sHr1AQ4y\ngz/8AXr1gs99Dnbvbrf6RETaKivDvaTEPzbZzr16eeSSJVoeKSJpJSvD/fDD/WrVZu3VMWUKfOtb\n8NvfwhNPpLw2EZFkyMpw79wZjjiiBRsx/fKXPsk6bVoDVz+JiHQ8WRnu0IwVM4mql0e+9x58+cta\nHikiHV5Wh/u6dfDuu838gnHj/Az+scfglltSWpuISFtldbhDC5tAfutb3qLg0ku1PFJEOrSsD/dm\nD82AL4+8+27o2dO7R+7Zk4rSRETaLGvDfcAA6Nevgfa/TTnkEF//vnixNxnbsSMl9YmItEXWhruZ\nr3dv0Zl7tVNO8c21f/97D/tp02DuXNi/P9llioi0StaGO/jQzNKlsG9fK774uuvguef86tWHH4bj\nj4fiYvjxj2HVqqTXKiLSElkf7jt3wmuvteKLzeC44+D22333j/vu8z38rr7ar5IqK/NVNe+8k/S6\nRUSakvXhDq0cmknUtSuce653kayo8I6SO3f63qwDBsBZZ8Gjj0JVVZtrFhFpjqwO99GjIScnCeGe\naMAAXyq5eDG8/LJ3l3z+eTjjDBg40Cdh58/XhVAiklJZHe5du8JhhyU53BONH+9j8xUVfvHT8cf7\nJGxpac1FUevXp+iHi0g2y+pwhxa2IWitvDxfYfOXv8DGjR7wvXrB978PgwfDf/wHzJypZZUikjRZ\nH+4lJT6h+v777fQD+/SB6dPhn/+EV17x1TWvvALnnef7/33pS/DMM1pWKSJt0mS4m9ldZrbZzJY2\n8vwkM9tqZgvjt58mv8zUqZ5UXdrgb5diI0bAlVfCq6/CP/4B55wDDzwAn/wkDB8OP/lJEzuKiIg0\nrDln7ncDk5s45rkQwvj47cq2l9V+krZipi1ycuDjH4c77/RllTNn+nLK//5vGDUKjjkGbr21BV3O\nRCTbNRnuIYRngYxdrD14sA9/Rxruibp18741TzzhbSt/+UsfM/r6133Y5uyz4X//V8sqReSAkjXm\nfoyZLTaz2WY2prGDzGy6mZWbWXllZWWSfnTbmLXTpGprDBwI3/uet66cP98D/h//gNNPh6Iib4Gw\nYIGWVYpIPckI9wXAkBBCDPgd8LfGDgwh3BZCKA0hlBYWFibhRydHdbh32Iw0gyOPhOuv96WTjz7q\nwzi33AJHHeVDON/+Njz+uFbciAiQhHAPIbwfQtgevz8LyDOzgjZX1o5iMdi2Dd54I+pKmiEvD047\nzSdeN270gB8+HO64A049Ffr2hRNOgF/9qoO/YolIKrU53M2sv5lZ/P7E+Pfc0tbv2546xKRqa/Tt\nC1/7Gsye7T1snnzSNxTZtAkuv9zXeRYVedfK++6Dt9+OumIRaSe5TR1gZvcBk4ACM6sAfgbkAYQQ\nbgU+C3zdzPYCu4BzQ0iv08WxY33kY9EiH85OS/n5cOKJfrv2Wh++efJJmDPHh3H++Ef/JY86Ck46\nyW9lZf5OQEQyjkWVw6WlpaG8vDySn92QkSO9W8D//E/UlaTAvn1QXu5BP2cOvPiiP3bQQd4SoTrs\ni4ujrlREmmBm80MIpU0ep3B3Z53lFzJlRSv2996Dv/+9JuzffNMfHzmyJugnTYIePSItU0Tqa264\nZ337gWqxmHcB2Lkz6kraQe/e/mp2222wdi2sWOErcUaM8AupTjvNx/M/9SlfZ79okSZmRdKMwj0u\nFvP8WrYs6kramZkvpbz4Yu9H/8478NRT/nllpTc3Gz/e19xfcAHce68/LiIdmsI9Lm1XzCRbfn7t\npZTr1/uG4JMm+Tr6L3zB940tLYUf/QiefVZXy4p0QAr3uOJi6N5d4V7PwIE1Syk3bYJ//9ubnXXt\nCr/4BXziE9CvH5x5Jtx1l/rfiHQQmlBN8NGP+onr3LlRV5Imtm71idknn/ReOG+84Usrp0zxbQdP\nO02TsiJJpgnVVigp0dxhi/TqBZ/5jHesfP11P6v/1re8D87nPw8HHwxTp8LDD8Pu3VFXK5JVFO4J\nYjEfVdDOd61gBkcfDb/+tS+tfPZZuPBCfxv0mc/4OP0FF/gZvsboRVJO4Z5Ak6pJkpMDH/sY3HQT\nbNjgwzaf/Sw88ogP2QwY4G0TnnnGL6YSkaRTuCcYN84/KtyTKDfXWyLceadPyD7yiO8Z+6c/+Y5T\ngwd76+IXXtB4mEgSKdwT9OoFQ4cq3FOmSxdv3nPvvbB5s28YXlbmY/Yf/ah3t5wxAxYuVNCLtJHC\nvY4Ou3FHpune3feMfeghP6O/+26/mOraa2HCBBg9Gq64Ikv6QYgkn8K9jlgMVq6EPXuiriSL9Orl\nk62zZ/sesrfe6lsKXnGFB/6ECb6mfu3aqCsVSRsK9zpiMZ/jW7Ei6kqyVEEBfPWrvsqmosJ73uTn\n+3BNcbEP3/z2tz5RKyKNUrjXUVLiHxctirYOwa+OvfhimDcPXnsNrr4adu3yCdhBg7xd8W23aRMS\nkQYo3OsYMcJPFDXu3sEUF9dMti5fDj/9qV+Q8NWv+tLKk0+Ge+6B99+PulKRDkHhXkenTr4zk8K9\nAzviCPj5z31y5OWX4dJLPfAvuMCvip08GX7zGx9b06obyVIK9wZoxUyaMPN2xNdc4+0P5s2Dr3/d\nJ16/+11fcTN0KEyfDg8+6JuUiGQJhXsDYjFfhr1pU9SVSLOZ+Zr53/zGz+jXroXf/95bE//lL36F\nbEEBHHcc/Od/eh8cXR0rGUzh3gC1IcgA1WfsDz3kE67PPedj9nv2wM9+Bh/5iPe7+dznfPPwjRuj\nrlgkqRTuDVC4Z5i8PD9jv+oqeOklf0s2cyaccoovuZw2zVfmlJT4zlP/93+60EHSnvq5N2LQIN9C\n9I9/jLoSSan9+/1VfM4c71j5z39618ru3b33zUkn+QTtiBFRVyoCNL+fe257FJOOYjGtdc8KOTk+\nKTt+vJ+1b9vm3SqfeMID/7HH/Ljhw2uC/pOfhJ49Iy1bpCkK90bEYvD0034Sl5cXdTXSbnr29B2k\nTjvNP1+zxkN+zhxfR3/LLf4P4phjPOhPOsmHc3I0wikdi/5FNiIW82BX36osN2IEXHQRPPoovPOO\nj8d/97u+rPIHP4Ajj/Tx+i9+0cfxKyujrlgEULg3SpOqUk/nzj4kc801fqXsxo0+KXP88TBrFpx3\nnq/AKS2FH//Yl1vqIiqJSJPhbmZ3mdlmM1vayPNmZjeY2RozW2xmRya/zPY3apS/+1a4S6P69/cz\n9ur+9C+9BFdeCV27+gvARz7im5F885u+kbi2F5R21Jwz97uByQd4fgowMn6bDtzS9rKil5fnFzgq\n3KVZcnJqztife87D/o9/9H1l77oLTjjBXwymTfPdqHbtirpiyXBNhnsI4VngnQMccgZwT3AvAL3N\nbECyCoyS2hBIq/Xt62f1Dz/sF1E99JCvq3/kETjzTL9a9qyz4M9/VlsESYlkjLkXAesSPq+IP1aP\nmU03s3IzK69Mg4mnkhJvPLhlS9SVSFrr1g0+/WlfbbN5Mzz1lJ/Bz5sH558PhYW+r+wtt+hKWUma\ndp1QDSHcFkIoDSGUFhYWtuePbhVNqkrS5eX5EM1NN/lmJPPm+eqbtWvhG9+AoiJfZvmrX/kyTJFW\nSka4rwcGJ3w+KP5Y2lO4S0rl5Hizs1/8wtfcLl3qE7J79sDll8PIkTBunPeuf/llrbyRFklGuD8K\nfDG+aqYM2BpCyIj3locc4u3BFe6ScmYwZoxPyM6f72fy11/vY/f/9V++nn74cPjOd+DZZ9XRUprU\nZG8ZM7sPmAQUAJuAnwF5ACGEW83MgBvxFTU7gQtDCE02jenovWWqnXiiz3e99FLUlUjWqqz0i6ge\nftjH6z/4wMfpTz8dPvMZb4LUpUvUVUo7aW5vGTUOa8Kll8LNN8P27b5Lk0iktm2D2bM96B9/3D/v\n2dO3Gfz0p/2j+t5ktOaGu65QbUIsBrt3a25LOoiePeGcc+C++/yMftYsmDrV2yKce64vsTzlFLjj\nDl+ZI1lLZ+5NePllH+7861/h7LOjrkakEfv2wb/+5Wf0Dz/sY/Y5OTBxom8KPGqU3w4/3Dcbz1XP\nwHSllr9JMnq0D8csXqxwlw6sUyf42Mf89utfe7/qhx/2M/pHHqnd0CwvDw49tCbwE28FBdH9DpJU\nCvcmdOniJzvq7S5po3rj8PHj4Yor/LF33oHVq31/2VWram6zZ/sEbbW+fWvO8BND/9BDvXGapA2F\nezPEYv6OVyRt9e3ra+rLymo/vm+fD+EkBv6qVb5ZyR/+UHNcp04+nFP3TP/ww329sFm7/jrSNIV7\nM8RiPn+1dSv06hV1NSJJ1KmTn5UfeqivtEn0/vv1Q3/VKu9wuXt3zXG9ejU8xDNyJOTnt+/vIx9S\nuDdD9ZWqS5b4PssiWeGgg7yr5dFH1358/35Yt6524K9c6ZuN/+lPNceZwdChtQP/sMP8Y1GRdq9K\nMYV7MyS2IVC4S9bLyfHQHjrUG54l2rHDx/brnu0//7w/V61rVz+zrw77ww6rud+nT/v+PhlK4d4M\nRUX+701tCESa0L07TJjgt0QheMfL6uBfvdpvixf7qp7EdgoFBbXDvvr+iBEa5mkBhXszmHn7X4W7\nSCuZ+V6zAwfCpEm1n6uqgtdfrx/8c+bA3XfX/h5DhzZ8tj94sIZ56lC4N1Ms5hvq7N+vf0MiSZWX\nVxPUp55a+7lt2+CVV2qH/qpVHvrbttUcl5/vZ/YNBX+/fu3663QUCvdmisW8v8zrr/vCAhFpBz17\n+iXiR9bZmjkE2LSpfugvW+ZN1vburTm2b9+asD/6aJg82V8IMpzCvZkSJ1UV7iIRM/M9afv3h098\novZze/fWrN1PDP6nn/bdsMD/J54yxYN+0iSfK8gwCvdmGjPG/z0tXuzN90Skg8rN9TPzESO8iVqi\nV1/1C7SeeMLHWW+80S9D//jHPeinTPELszLgoiw1DmuBUaO8B9ODD0ZdiYi02Z498NxzHvSzZ8Py\n5f74kCE1QX/88b7evwNRP/cUOPtsWLjQ53dEJMO8+WbNWf3TT/uEbW4uHHtszRBOLBb5Wb36uadA\nLObv6rZvj7oSEUm6IUNg+nR46CHYsgWeeQYuu8y3YpsxwxuxFRXBl77kPcDffTfqig9I4d4CJSU+\nSb9sWdSViEhK5eX5RO3VV/vb9fXrvZHaxz7mF11NneoXWx17LFx1FZSX+zrpDkTh3gKJK2ZEJIsM\nHAjTpsFf/uK98f/5T/jRj7xd8k9+4kss+/eH88+HmTNr98+PiFbLtMDQob7sVr3dRbJYbi4cc4zf\nrrzStzN86imflH3iCfjzn31cvrS0ZmJ24sR234RZE6otdNxxfoXqs89GXYmIdDj798P8+TUTsy+8\n4I/16QMnnuhBf9JJMGBAq3+EJlRTJBbzYZmIXhNFpCPLyfEhmp/8xIduKit9KOeMM/yM8MILfYjn\nhz9MfSkp/wkZJhbzTTvWrYu6EhHp8Pr2hXPO8cnYDRt8cvbqq339fIppzL2FEidVhwyJthYRSSPV\n7WVLStrlx+nMvYXGjfOPWjEjIh2Zwr2FevaE4cMV7iLSsTUr3M1sspmtMrM1ZjajgecnmdlWM1sY\nv/00+aV2HNWTqiIiHVWTY+5m1gm4CTgRqABeMrNHQwjL6xz6XAjh1HrfIAPFYt4yetcu3wpSRKSj\nac6Z+0RgTQjhtRDCB8D9wBmpLatji8V86eryui9vIiIdRHPCvQhIXPhXEX+srmPMbLGZzTazMQ19\nIzObbmZfAuI8AAAHrklEQVTlZlZe2QEuz20ttSEQkY4uWROqC4AhIYQY8Dvgbw0dFEK4LYRQGkIo\nLSwsTNKPbn/Dh0O3bgp3Eem4mhPu64HBCZ8Pij/2oRDC+yGE7fH7s4A8MytIWpUdTKdOvmmHwl1E\nOqrmXMT0EjDSzIrxUD8X+HziAWbWH9gUQghmNhF/0diS7GI7kljMt2M85hg/i+/evW0fu3XzydkM\n2N1LRDqAJsM9hLDXzL4JzAE6AXeFEJaZ2dfiz98KfBb4upntBXYB54aoOpK1k698Bd5+2zfu2LHD\n7+/YATt31nysqmr5923NC8OAAXDUUb71Yzs3nhORDkpdIVOoqspDPjHwG/vYnGMa+ppE3brBhAke\n9Ecd5R1HR41S4Ev72bHDV5EtXVr7tnu399MqK/PbRz7ijRKl5bSHahYIwdfar13rG8HMn++3l1+u\nCf7u3esH/mGHKfClbT74AFatqh/ir79e0zG1a1cYPdrnp/Ly4N//9mOqNywaNaom7MvK/Lhcdbtq\nksI9i+3bBytX1g/8Xbv8+e7d4cgj6wd+Tpo2o9i923dBq6jwj7t2+bumvXtrbomfJ+v+gZ4LAQ45\nBAYPhkGDaj4m3u/Vq+PPsezbB6+9Vj/EV6/23xM8kEeN8nBOvBUX1z+J2LbN/12+8ILf5s2r2bSo\nW7faZ/dlZb65kdSmcJda9u71wJ8/vyb0Fy6sCfwePeoH/siR0Qf+zp0e2nVv69bV3H/77ZZ9z9xc\nP5PMzW37/caeCwHeequmzo0b6+8B0KNH7bBv6ONBB7XPC0AIXmfdEF++3F88wesYPrx+iB92GHTu\n3Pqfu3ZtTdi/8IKfiFTPVw0dWjvsJ0yALl2S8iunLYW7NGnvXlixoubsvrzcA7/6f+aePf1/ptLS\nmsAfMSJ5gb99e/2grhvgDW0w369fzVlw4m3wYN8HoUePxoM3Jyeas+WqKg/4xN+37sfGXgAOFP7V\n7wBaorKyfogvXQrvv19zTFFR/RA/4gh/15dqu3d7wCcG/ptv+nOdO/u/ycTAHzq0478DSiaFu7TK\n3r1+tpYY+IsW1QT+QQfVD/xDD60d+CF4UBzobLuiwjc9qauwsPYQRkO3TO3nU/0C0Fj4r1vn7wbq\n/i/bs2f9IZ/qj927+zu2xBDfvLnma/v29TbWiSE+ZkzHm+zcsAFefLEm7F96qeZd5yGH1A770lJ/\nUcxUCndJmqoqP8NPHMNfuBD27PHnDzrIh3Ty8mqCaPv22t/DzP8nrBtCibeBAyE/v/1/v3RSVeVB\nd6B3AA29AHTvXv9MfOxY/2+Sjme9VVX+QpV4dr96tT+Xk+MvWImBn85zSnUp3CWlqqr8DL868Bcs\n8McbGioZNMjX4rd2XFZa5oMPaoaAtm3z6x+GDMmccGvMli2+Iqc67F98sebdYe/eMHGizxl07uy3\nvLya+8l+LC8vdS+aCncRyWr79/tyzcSw37jRX/yqqmo+pkpeXuMvAtOnw3e/27rv29xw16pSEclI\nOTk+CXzEEXDhhQ0fE0JN0CeGfuKtuY+15NhDDkn9769wF5GsZVZzRp1pMnwUTkQkOyncRUQykMJd\nRCQDKdxFRDKQwl1EJAMp3EVEMpDCXUQkAyncRUQyUGTtB8ysEnijlV9eALSwi3dG09+jNv09auhv\nUVsm/D2GhhAKmzoosnBvCzMrb05vhWyhv0dt+nvU0N+itmz6e2hYRkQkAyncRUQyULqG+21RF9DB\n6O9Rm/4eNfS3qC1r/h5pOeYuIiIHlq5n7iIicgAKdxGRDJR24W5mk81slZmtMbMZUdcTJTMbbGZz\nzWy5mS0zs4ujrilqZtbJzF42s8eiriVqZtbbzB4ws5VmtsLMPhp1TVExs+/E/x9Zamb3mVnGb8We\nVuFuZp2Am4ApwGjgc2Y2OtqqIrUXuDSEMBooAy7K8r8HwMXAiqiL6CB+CzwRQjgcKCFL/y5mVgR8\nGygNIYwFOgHnRltV6qVVuAMTgTUhhNdCCB8A9wNnRFxTZEIIG0MIC+L3t+H/8xZFW1V0zGwQcApw\nR9S1RM3MegEfB+4ECCF8EEJ4L9qqIpULdDWzXKAbsCHielIu3cK9CFiX8HkFWRxmicxsGDABeDHa\nSiJ1PXA5sD/qQjqAYqAS+EN8mOoOM+sedVFRCCGsB64F3gQ2AltDCE9GW1XqpVu4SwPMrAfwIHBJ\nCOH9qOuJgpmdCmwOIcyPupYOIhc4ErglhDAB2AFk5RyVmfXB3+EXAwOB7mZ2XrRVpV66hft6YHDC\n54Pij2UtM8vDg31mCOGhqOuJ0LHA6Wa2Fh+uO97M/hxtSZGqACpCCNXv5B7Awz4bnQC8HkKoDCFU\nAQ8Bx0RcU8qlW7i/BIw0s2Iz64xPijwacU2RMTPDx1RXhBCui7qeKIUQfhBCGBRCGIb/u/i/EELG\nn501JoTwFrDOzEbFH/oUsDzCkqL0JlBmZt3i/898iiyYXM6NuoCWCCHsNbNvAnPwGe+7QgjLIi4r\nSscC5wNLzGxh/LEfhhBmRViTdBzfAmbGT4ReAy6MuJ5IhBBeNLMHgAX4CrOXyYI2BGo/ICKSgdJt\nWEZERJpB4S4ikoEU7iIiGUjhLiKSgRTuIiIZSOEuIpKBFO4iIhno/wPO80pDBv7dJgAAAABJRU5E\nrkJggg==\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x125fa0850>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.title(\"loss\")\n",
    "plt.plot(history.history[\"loss\"], color=\"r\", label=\"train\")\n",
    "plt.plot(history.history[\"val_loss\"], color=\"b\", label=\"val\")\n",
    "plt.legend(loc=\"best\")\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Evaluate Network"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "best_model = load_model(BEST_MODEL)\n",
    "ytest_ = best_model.predict([Xtest_l, Xtest_r])[:, 0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-0.0220081029922 1.31901410495\n",
      "test MSE: 1.740, RMSE: 1.319\n"
     ]
    }
   ],
   "source": [
    "residuals = ytest_ - ytest\n",
    "mse = mean_squared_error(ytest, ytest_)\n",
    "print(residuals.mean(), residuals.std())\n",
    "print(\"test MSE: {:.3f}, RMSE: {:.3f}\".format(mse, math.sqrt(mse)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXoAAAD8CAYAAAB5Pm/hAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAEkRJREFUeJzt3X9sXfV5x/H3A4Rm4odokxClJJ09iYWSRVCw6KrQ1Rui\nZF26dBKlaQFRwZQpUH5oSAvQSvUkkKjUdaMMJmUtgorQlB9FoK2ioixW1JaVxhmUhMBGSyiOUpKm\nHW1UwZLw7A/fBCe245v76/h+/X5J0b333HN8nwPJx18/53u+jsxEklSuY6ouQJLUXga9JBXOoJek\nwhn0klQ4g16SCmfQS1LhDHpJKpxBL0mFM+glqXDHVV0AwOzZs7Onp6fqMiSpqwwNDf0yM+dMtt+U\nCPqenh42btxYdRmS1FUi4tV69rN1I0mFM+glqXAGvSQVbkr06Mezd+9ehoeHefPNN6supSNmzpzJ\n/PnzmTFjRtWlSCrMlA364eFhTjrpJHp6eoiIqstpq8xk9+7dDA8P09vbW3U5kgozZVs3b775JrNm\nzSo+5AEiglmzZk2bn14kddaUDXpgWoT8AdPpXCV11pQOeklS86Zsj36MgYGOf70TTzyRPXv2TPj+\ntm3bWLZsGZs3b677Yz/72c+ybNkyLr744rqPkaRmdE/QS1KrjDfQa/VgcgqxdVOHPXv2cMEFF3DO\nOeewePFiHnvssYPv7du3j0svvZT3v//9XHzxxfzud78DYGhoiI985COce+65XHTRRezYsaOq8iVN\ncwZ9HWbOnMmjjz7Kpk2bWL9+PTfeeCOZCcBLL73E1VdfzdatWzn55JO5++672bt3L9deey0PP/ww\nQ0NDXHnllXz+85+v+CwkTVe2buqQmdxyyy1s2LCBY445hu3bt/P6668DsGDBApYsWQLAZZddxle/\n+lWWLl3K5s2bufDCCwHYv38/8+bNq6x+SdObQV+HtWvXsmvXLoaGhpgxYwY9PT0H57wfPi0yIshM\nFi1axNNPP11FuZJ0CFs3dXjjjTc49dRTmTFjBuvXr+fVV99ZGfTnP//5wUB/4IEHOP/881m4cCG7\ndu06uH3v3r1s2bKlktolqXtG9BVeEb/00kv5+Mc/zuLFi+nr6+OMM844+N7ChQu56667uPLKKznz\nzDNZtWoVxx9/PA8//DDXXXcdb7zxBvv27eOGG25g0aJFlZ2DpOmre4K+Agfm0M+ePXvCNsyLL744\n7vazzz6bDRs2jNl+7733tqw+SaqHrRtJKpxBL0mFM+glqXAGvSQVzqCXpMIZ9JJUuK6ZXlnBKsUt\nN9myx5LUDo7om7R///6qS5CkIzLoj2Dbtm2cccYZY5Yh7unpYfXq1Zxzzjk89NBD/PSnP2Xp0qWc\ne+65fPjDHz54E9Urr7zChz70IRYvXswXvvCFis9G0nRl0E9ivGWIAWbNmsWmTZtYsWIFK1eu5M47\n72RoaIgvf/nLXH311QBcf/31rFq1iueff97VKyVVpmt69FUZbxligE996lPAyDIJP/zhD/nkJz95\n8Ji33noLgB/84Ac88sgjAFx++eWsXr26k6VLEmDQT2q8ZYgBTjjhBADefvttTjnlFJ599tm6jpek\nTrN1M4nxliEe7eSTT6a3t5eHHnoIGPklJc899xwAS5YsYd26dcDImvaSVIWuGdFXtUrxeMsQ33nn\nnYfss3btWlatWsWtt97K3r17WbFiBWeddRZ33HEHn/nMZ/jSl77E8uXLqzkBSdPepEEfEQuAbwBz\ngQTWZOYdEfEe4FtAD7ANuCQzf1075mbgKmA/cF1mfrct1XfAcccdx/3333/Itm3bth3yure3lyee\neGLMsb29vYcsb3zrrbe2pUZJOpJ6Wjf7gBsz80zgj4FrIuJM4Cbgqcw8HXiq9praeyuARcBS4O6I\nOLYdxUuSJjdp0GfmjszcVHv+W2ArcBqwHLivttt9wCdqz5cD6zLzrcx8BXgZOK/VhXdCT08Pmzdv\nrroMSWrKUV2MjYge4APAj4C5mbmj9tYvGGntwMg3gddGHTZc23bUMrORw7rSdDpXSZ1Vd9BHxInA\nI8ANmfmb0e/lSEodVVJFxMqI2BgRG3ft2jXm/ZkzZ7J79+5pEYCZye7du5k5c2bVpUgqUF2zbiJi\nBiMhvzYzv13b/HpEzMvMHRExD9hZ274dWDDq8Pm1bYfIzDXAGoC+vr4xaT5//nyGh4cZ75tAiWbO\nnMn8+fOrLkNSgeqZdRPA14GtmfmVUW89DlwB3F57fGzU9gci4ivAe4HTgWeOtrAZM2bQ29t7tIdJ\nkg5Tz4h+CXA58HxEHLj98xZGAv7BiLgKeBW4BCAzt0TEg8ALjMzYuSYzXeJRkioyadBn5veBie7j\nv2CCY24DbmuiLklSi7gEgiQVzqCXpMIZ9JJUOINekgpn0EtS4Qx6SSqcQS9JhTPoJalwBr0kFc6g\nl6TCGfSSVDiDXpIKZ9BLUuEMekkqnEEvSYUz6CWpcAa9JBXOoJekwhn0klQ4g16SCmfQS1LhDHpJ\nKpxBL0mFM+glqXAGvSQVzqCXpMIZ9JJUOINekgpn0EtS4Qx6SSqcQS9JhTPoJalwBr0kFc6gl6TC\nGfSSVDiDXpIKN2nQR8Q9EbEzIjaP2jYQEdsj4tnan4+Neu/miHg5Il6KiIvaVbgkqT71jOjvBZaO\ns/0fM/Ps2p/vAETEmcAKYFHtmLsj4thWFStJOnqTBn1mbgB+VefXWw6sy8y3MvMV4GXgvCbqkyQ1\nqZke/bUR8ZNaa+fdtW2nAa+N2me4tk2SVJFGg/5fgD8AzgZ2AP9wtF8gIlZGxMaI2Lhr164Gy5Ak\nTaahoM/M1zNzf2a+Dfwr77RntgMLRu06v7ZtvK+xJjP7MrNvzpw5jZQhSapDQ0EfEfNGvfwr4MCM\nnMeBFRHxrojoBU4HnmmuRElSM46bbIeI+CbQD8yOiGHgi0B/RJwNJLAN+BuAzNwSEQ8CLwD7gGsy\nc397Spck1WPSoM/MT4+z+etH2P824LZmipIktY53xkpS4Qx6SSqcQS9JhTPoJalwBr0kFc6gl6TC\nGfSSVDiDXpIKN+kNU5K628BAY++pHI7oJalwBr0kFc7WjTSVjddbsd+io2TQS/IbSuFs3UhS4Qx6\nSSqcQS9JhTPoJalwBr0kFc6gl6TCGfSSVDiDXpIKZ9BLUuEMekkqnEEvSYVzrRtJ5XDNnnE5opek\nwhn0klQ4g16SCmfQS1LhvBgrVWyia4VeQ1SrGPRSFUan+GD/yGN/fwWFaDow6KVC+BOAJmLQS6qb\nbabu5MVYSSqcI3pJzRkchIHBQ7e1eojvHa9NcUQvSYUz6CWpcJMGfUTcExE7I2LzqG3viYgnI+J/\nao/vHvXezRHxckS8FBEXtatwSVJ96unR3wv8M/CNUdtuAp7KzNsj4qba69URcSawAlgEvBf4XkT8\nYWbub23ZklrhYJv7wFz+A9v7Bztcidpp0qDPzA0R0XPY5uVAf+35fcAgsLq2fV1mvgW8EhEvA+cB\nT7em3A7zApCkAjTao5+bmTtqz38BzK09Pw14bdR+w7VtY0TEyojYGBEbd+3a1WAZkqTJND29MjMz\nIrKB49YAawD6+vqO+nhpuurED5UDg/3Qgc9RZzQ6on89IuYB1B531rZvBxaM2m9+bZskqSKNBv3j\nwBW151cAj43aviIi3hURvcDpwDPNlShJasakrZuI+CYjF15nR8Qw8EXgduDBiLgKeBW4BCAzt0TE\ng8ALwD7gGmfcSFK16pl18+kJ3rpggv1vA25rpihJtV78YdMegXfmu0l18s5YSSqci5pJ6gzvS6mM\nI3pJKpxBL0mFM+glqXAGvSQVzqCXpMIZ9JJUOINekgrnPHpJTRs4/A7egdrDQIcL0bgc0UtS4Qx6\nSSqcQS9JhTPoJalwBr0kFc6gl6TCOb1SarGJphQ61VBVcUQvSYVzRC91m8HBsdv6+ztdhbqIQS91\nyCGtm/F+F6zUJrZuJKlwBr0kFc7WjdQgZ9GoWziil6TCOaKXGuXsl0lNdAF6oH+ww5VMb47oJalw\nBr0kFc6gl6TCGfSSVDiDXpIK56wbaboZb7aQimbQS5Pwxih1O1s3klQ4g16SCmfQS1Lh7NFLJfPC\nq2gy6CNiG/BbYD+wLzP7IuI9wLeAHmAbcElm/rq5MiWVZODAujcDh20/7LVaoxWtmz/NzLMzs6/2\n+ibgqcw8HXiq9lqSVJF2tG6WA/215/cBg8DqNnyOpMJMNKKfYLPq1OyIPoHvRcRQRKysbZubmTtq\nz38BzG3yMyRJTWh2RH9+Zm6PiFOBJyPixdFvZmZGRI53YO0bw0qA973vfU2WIdVvwlHjBNulbtfU\niD4zt9cedwKPAucBr0fEPIDa484Jjl2TmX2Z2TdnzpxmypAkHUHDQR8RJ0TESQeeAx8FNgOPA1fU\ndrsCeKzZIiVJjWumdTMXeDQiDnydBzLziYj4MfBgRFwFvApc0nyZkqRGNRz0mfkz4Kxxtu8GLmim\nKKlp4zXcbcJrmnIJBEkqnEsgSDUO+FUqg17S1DLe+jz9nS6iLAa9ppSjnePunZTS5OzRS1LhDHpJ\nKpytG1Wi4Qufhx842A/9/WN3Gxy7zX6OpiuDXl3hYL6PF+Cd4C/wUBezdSNJhXNEL2nKm6gV570P\n9THoq+at+pLazKDvZvV+k/CbiTSt2aOXpMI5otf0Me6t9f2drkItNOYH01ovf6B/sMOVTG0GvdrK\nDpFUPYNeLWGgS1OXQd9JpqGkChj008SYecgDtYeBDhfSDbwLVoVx1o0kFc4RvdpnopGxM12kjjLo\nW6HkG5IOO4+BCVaLtN0hTV22biSpcI7o1XneuCR1lEE/zU3aYapq/XdJLWPQT1dTbVQ91epRVztk\nOvHAqKcDTEsGvaTu5ASAunkxVpIKZ9BLUuEMekkqnD16vcOep1rFv0tTiiN6SSqcI/opbKKpYNN1\nipikxjiil6TCOaLvFqN7ngODE+01/mjfu1vViE7cxGYvvyMM+ilgol8KUvf+ox3hLWm6OzgQOuzf\nUOm/TNygl6QjKOFaWduCPiKWAncAxwJfy8zb2/VZU83AYP+4o/JxNknv6IY2RjfUeLhurLnF2hL0\nEXEscBdwITAM/DgiHs/MF9rxecXxL2b3cnE2TUHtGtGfB7ycmT8DiIh1wHKg+4O+3p/XxvkHP2AD\nfXryG7cq1q6gPw14bdTrYeCDbfqslvXQxuxfu2Az0YWaI14UrUpJoVLvuZR0zo3yv0HHHW3uVNnr\nj8xs/ReNuBhYmpl/XXt9OfDBzPzcqH1WAitrLxcCL7W8kObNBn5ZdREtUMp5QDnnUsp5QDnn0o3n\n8fuZOWeyndo1ot8OLBj1en5t20GZuQZY06bPb4mI2JiZfVXX0axSzgPKOZdSzgPKOZdSzmM87boz\n9sfA6RHRGxHHAyuAx9v0WZKkI2jLiD4z90XE54DvMjK98p7M3NKOz5IkHVnb5tFn5neA77Tr63fI\nlG4tHYVSzgPKOZdSzgPKOZdSzmOMtlyMlSRNHa5eKUmFM+jHERFLI+KliHg5Im6qup5GRcQ9EbEz\nIjZXXUszImJBRKyPiBciYktEXF91TY2KiJkR8UxEPFc7l7+vuqZmRMSxEfFfEfFvVdfSjIjYFhHP\nR8SzEbGx6npazdbNYWrLN/w3o5ZvAD7djcs3RMSfAHuAb2TmH1VdT6MiYh4wLzM3RcRJwBDwiS79\nfxLACZm5JyJmAN8Hrs/M/6y4tIZExN8CfcDJmbms6noaFRHbgL7M7LZ59HVxRD/WweUbMvP/gAPL\nN3SdzNwA/KrqOpqVmTsyc1Pt+W+BrYzcfd11csSe2ssZtT9dOdqKiPnAXwBfq7oWHZlBP9Z4yzd0\nZaiUKCJ6gA8AP6q2ksbV2h3PAjuBJzOzW8/ln4C/A96uupAWSOB7ETFUu2u/KAa9ukZEnAg8AtyQ\nmb+pup5GZeb+zDybkTvGz4uIrmurRcQyYGdmDlVdS4ucX/t/8ufANbW2ZzEM+rEmXb5BnVfrZz8C\nrM3Mb1ddTytk5v8C64GlVdfSgCXAX9Z62+uAP4uI+6stqXGZub32uBN4lJEWbjEM+rFcvmGKqV3A\n/DqwNTO/UnU9zYiIORFxSu357zFy0f/Faqs6epl5c2bOz8weRv6N/EdmXlZxWQ2JiBNqF/mJiBOA\njwJdPVPtcAb9YTJzH3Bg+YatwIPdunxDRHwTeBpYGBHDEXFV1TU1aAlwOSOjxmdrfz5WdVENmges\nj4ifMDKoeDIzu3pqYgHmAt+PiOeAZ4B/z8wnKq6ppZxeKUmFc0QvSYUz6CWpcAa9JBXOoJekwhn0\nklQ4g16SCmfQS1LhDHpJKtz/A8Gp9qkEg4dtAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x1308a1110>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.hist(ytest, bins=50, color=\"r\", alpha=0.5, label=\"label\")\n",
    "plt.hist(ytest_, bins=50, color=\"b\", alpha=0.5, label=\"pred\")\n",
    "plt.legend(loc=\"best\")\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Pearson correlation label vs prediction: 0.473\n",
      "Spearman correlation label vs prediction: 0.425\n"
     ]
    }
   ],
   "source": [
    "pearson_corr = scipy.stats.pearsonr(ytest, ytest_)[0]\n",
    "spearman_corr = scipy.stats.mstats.spearmanr(ytest, ytest_)[0]\n",
    "print(\"Pearson correlation label vs prediction: {:.3f}\".format(pearson_corr))\n",
    "print(\"Spearman correlation label vs prediction: {:.3f}\".format(spearman_corr))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}