Fashion Minst - Deep1.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "import tensorflow as tf\n",
    "from tensorflow import keras"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2.0.0\n"
     ]
    }
   ],
   "source": [
    "print(tf.__version__)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "mnist = keras.datasets.fashion_mnist"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "module"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(mnist)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-labels-idx1-ubyte.gz\n",
      "32768/29515 [=================================] - 0s 2us/step\n",
      "Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-images-idx3-ubyte.gz\n",
      "26427392/26421880 [==============================] - 30s 1us/step\n",
      "Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-labels-idx1-ubyte.gz\n",
      "8192/5148 [===============================================] - 0s 2us/step\n",
      "Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-images-idx3-ubyte.gz\n",
      "4423680/4422102 [==============================] - 5s 1us/step\n"
     ]
    }
   ],
   "source": [
    "(X_train, y_train), (X_test, y_test) = mnist.load_data()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "((60000, 28, 28), (60000,))"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_train.shape,y_train.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "255"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.max(X_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "72.94035223214286"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.mean(X_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([9, 0, 0, ..., 3, 0, 5], dtype=uint8)"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_train"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "class_names = ['top', 'trouser', 'pullover', 'dress', 'coat', 'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Data Exploration"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(60000, 28, 28)"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_train.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(10000, 28, 28)"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_test.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.colorbar.Colorbar at 0x239fed6dd68>"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAATEAAAD4CAYAAACE9dGgAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAb+klEQVR4nO3dfZAd5XXn8e+Z0YzeAQkhIYQMmIiywWsLoiUk7HpFSGygnBJUQgy1RZQssYgLas0WlVrMHwu7LlJsykCSKptEBC2iCnCoAhacIsZayuW3lAWSQoFkxUEBBYRkCQFGQi+jmXvP/nF7zB3d6dM90/ele/T7UF1zp8/t7oc7M0fdT59+HnN3RESqqq/XDRARKUJJTEQqTUlMRCpNSUxEKk1JTEQqbVo3DzZo030Gs7t5yKlh9swwPG3psdTYkV/MiLc9HN+dtnrG3euM8Mis9H8n7eSReNtj8a/njN1DYdxH4v1PRUc5xDEfsiL7+Pxls/3d92q53rv5laHn3f2KIscrqlASM7MrgL8E+oG/dfd7ovfPYDa/ZpcXOWTnWMbPvZelKJ/6d2F43v1vp8a2fvsT4bYLt6QnQID+ofiX2Y7Vw/j+z8xK3/cX3g23fXfnvDD+ia+9EcZre/eF8aloo79QeB/vvlfjxec/luu9/YtfW1D4gAVN+nLSzPqBbwBXAucD15vZ+e1qmIj0hgP1nP9lMbOlZvY9M9tuZtvM7CvJ+rvM7G0zezlZrmra5qtmtsPMfmZmn886RpEzsYuBHe7+enLgbwGrgJ8W2KeI9JjjDHu+y8kcRoDb3H2Lmc0FNpvZhiR2v7t/vfnNyYnQdcAFwBnA/zOz89zTG1SkY38J8FbT97uSdWOY2Roz22Rmm4aJ+zBEpBzadSbm7nvcfUvy+iCwnXHyRJNVwLfcfcjd3wB20DhhSlUkiY3XidTSceTua919hbuvGGB6gcOJSDc4Ts3zLcCC0ZOUZFmTtl8zOxu4ENiYrLrFzF4xs3VmNtoBmuvkqFmRJLYLWNr0/ZnA7gL7E5GSqOO5FmD/6ElKsqwdb39mNgd4ErjV3Q8ADwDnAsuBPcC9o28dZ/PwrlqRJPYSsMzMzjGzQRrXsc8W2J+IlIADNTzXkoeZDdBIYI+6+1MA7r7X3WvuXgce5KNLxgmfHE26Y9/dR8zsFuB5GiUW69x922T3V1jREokCJRS1lReF8X/9Yvwx/8/LngrjRz0uFTh74J3U2MKb/iHcdvn03l3iP/TB6WF8+OP9YfxL17wVxn88lP5v9Jf/6T+H2y65byCM249fDuNVV8+ZoLKYmQEPAdvd/b6m9YvdfU/y7TXA1uT1s8BjZnYfjY79ZcCL0TEK1Ym5+3PAc0X2ISLl4sBw++oiLwVuAF41s9HMfweNkqzlyeF2AjcBuPs2M3uCRpXDCHBzdGcSulyxLyLl5xO4VMzcl/uPGL+fK/Xkx93vBu7OewwlMREZy6FWobFSlcREZIxGxX51KImJyHGM2rhXgOWkJCYiYzQ69pXERKSiGnViSmLdV/CWcP+CU8P4kcfnpMa+fNaT4baDFj9Mu/NYPJrJvmMnhfGth9KfyhjxuNZqZl88FM+ymXvD+K5j88P4cHD8esF/7W8/ujCMLxj4MDX2pxdsSI0BnPLw4TB+57bfCeOnX709jJdd0Z9NN02dJCYibaEzMRGpNMeoVWjkeiUxEWmhy0kRqSzHOJbRl1omSmIiMkaj2FWXkyJSYerYr6CTnolLNK479cepsY0Hzw23jcoMAGb2D4fxI7V4WJg+S2/7oMXTlkXbArxyaGkYn5ZRPhIZKLBtHvuOzU2N7R9OL5mB7D6hr13wTBj/xsW/G8Z58dU43kPuRs11JiYiFVbXmZiIVFWjY786qaE6LRWRrlDHvohUXk11YiJSVarYF5HKq+vupIhUVeMBcCWx0hn5zV8N41edGtf9bDl0dmpsVsZwNtOJa7UWDh4I4789Ox7W5Yz+9FqvAYt/GQ/W47bN6otr3IY8Hsg4OvrcvsFw28P1uH7u9ZH41/cfDn46fd+1+NhZFQZHPa7d+5c/nhHGzwsnIestxzJrG8vkhEliIpKPOyp2FZEqMxW7ikh1OToTE5GKU8e+iFSWYxoUUUSqqzFlW3VSQ3VaKiJdoslzS2nXb8Z1QadOS5/eC2DetPQpvLJqamb0xfVO+4fTx70CuO6bt4Xx2bvTa7Xm/ttQuO2HS6eH8Tlvx9t7X/zL3ncsvW216fHnNnxSHN93Yfzr+7+ufzQ1tvnQOeG2WbV/WWcq91/2eBh/gF8J473knEAV+2a2EzgI1IARd1/RjkaJSG+daGdil7n7/jbsR0RKwN1OnDMxEZl6Gh37J85jRw5818wc+Bt3X3v8G8xsDbAGYAazCh5ORDqvWmPsF23ppe5+EXAlcLOZffb4N7j7Wndf4e4rBog7kUWk9xod+5ZryWJmS83se2a23cy2mdlXkvXzzWyDmb2WfJ2XrDcz+ysz22Fmr5jZRVnHKJTE3H138nUf8DRwcZH9iUg51OjLteQwAtzm7p8ELqFxsnM+cDvwgrsvA15IvofGCdGyZFkDPJB1gEknMTObbWZzR18DnwO2TnZ/IlIOoxX77TgTc/c97r4leX0Q2A4sAVYB65O3rQeuTl6vAh7xhp8Ap5jZ4ugYRfrEFgFPm9nofh5z9+8U2F9HfeHKjWH8UD2+1I1qvYYyxrVaMO1gGH/tyKIwfsaf/2MYP/jFS1Jjey+eGW67+N5432/f/hthfMGrcQ3c8IL0cbe8P/4jmPXzuFbrrDvjQbmOfjH92Fl1YAsG4p/Z7uFTwviXT9kWxv/6V1elxnxzvG03TGCikAVmtqnp+7Xj9Y0DmNnZwIXARmCRu++BRqIzs4XJ25YAbzVttitZtyetAZNOYu7+OvCZyW4vIuXkDsP13Elsf576UDObAzwJ3OruB5KTn3HfOl6Ton2rxEJExmhcTrbv7qSZDdBIYI+6+1PJ6r1mtjg5C1sM7EvW7wKap50/E9gd7b8691FFpGtqyfOTWUsWa5xyPQRsd/f7mkLPAquT16uBZ5rW/0Fyl/IS4IPRy840OhMTkTFGSyza5FLgBuBVM3s5WXcHcA/whJndCLwJXJvEngOuAnYAh4E/yjqAkpiIHKd9l5Pu/iPSp125fJz3O3DzRI6hJCYiLTTGfgl9deEPw/jfZwzNMj0osZg3EE9bluXjM98J41s5NYz/8L5vpsberqUPIQTwn877b2H8jd9J3zfAZ1+9JoxvuODvUmOzMqZsu/OdC8L4Tz4TT5t2OCibOXPwvXDbrCnZhuvxn84zh5aE8T3/8eTU2Ombw007rnF38sR5dlJEphgNTy0ilafLSRGprDbfnew4JTERaaFBEUWkstyNESUxEakyXU6KSGWpT6xH/NLlYXzj0D+H8ayheAaslhqbYfFwNKcPfBDG/+nwWWE8y1W/+4epsb4jcds+tjT+Zb3qf3wujM+1uA7t94Y+nx7MmO7tF791XnxsfhLGf/B++vYr5/8s3DZrjPms+Dsj8TR8R389mCLwL8JNu0JJTEQqS3ViIlJ5qhMTkcpyh5H8gyL2nJKYiLTQ5aSIVJb6xESk8lxJTESqTB37PbD3T4fC+On9B8L4Tk4L40P19PGlFmXUge0bOSmMH67F42qNXB5PgnzktPS2HZkfd9AG/1sAHDr93DAeDLMGwLSj6RPV1AbjP5ShU+L40T/59TD+G3O+nxrbNxz/TM6bEQ7rTn88AQ8n9x8K46s/mT6F4PeJp9nrNHf1iYlIpRk13Z0UkSpTn5iIVJaenRSRavNGv1hVKImJSAvdnRSRynJ17ItI1elysgdGXpwXxv/3givD+BcXvhTGlw3uS40t7Y/nnfw/H3wqjA9lzGH43CN/HcaHPX2ss2GP23Y0Iz7D4n+RZ/XFhWZ9pG8/5HGR2YDFY3a9Phxvv+69S1NjS6a/H26bNUbcgI2E8e//4hNh/MfPfzo1dhb/GG7bDVW6O5l5zmhm68xsn5ltbVo338w2mNlrydc4g4hIZbg3kliepQzyXPg+DFxx3LrbgRfcfRnwQvK9iEwRdbdcSxlkJjF3/wFw/Jzvq4D1yev1wNVtbpeI9JB7vqUMJtsntsjd9wC4+x4zW5j2RjNbA6wBmMGsSR5ORLrFMeoVujvZ8Za6+1p3X+HuKwaIJ+MQkXLwnEsZTDaJ7TWzxQDJ1/RbdyJSLVOwY388zwKrk9ergWfa0xwRKYUKnYpl9omZ2ePASmCBme0C7gTuAZ4wsxuBN4FrO9nIPM78s7i25oM/i7dfd3o8NtWRTy9Njf18zdFw27s+/e0wvu3DM8L4ve/GdWavHU7tkmR2/7Fw2+lZA4J1UJ/FfwXRXJ8A7w7PDuO/Miv9AmH9jkvCbReuiucpzRbMK0k5asEiZTnLyiMzibn79Smhy9vcFhEpAQfq9fYkMTNbB3wB2Ofun0rW3QV8CXgnedsd7v5cEvsqcCNQA/6ruz+fdYzq3IIQke5wwC3fku1hWutMAe539+XJMprAzgeuAy5ItvmmWcZjGyiJicg42lUnllJnmmYV8C13H3L3N4AdwMVZGymJiUir/B37C8xsU9OyJucRbjGzV5LHGkcfW1wCvNX0nl3JutCUeQBcRNplQuUT+919xQQP8ADwNRpp8GvAvcB/gXEHMcs839OZmIi06mCJhbvvdfeau9eBB/noknEX0FwGcCawO2t/OhNLjPx8bxgfCOJLjlwYbjtjXVzGkDWK5snTDofxxdPTp4yb3hcPGTPsmf2moX6Lh/LpC37Ts469YOBgGD8wEk9tdtq09O2HXpwfbntCc/A23Z0cj5ktHn1sEbgGGB0h51ngMTO7DzgDWAa8mLU/JTERGUfbSizGqzNdaWbLaZzL7QRuAnD3bWb2BPBTYAS42T0YLC+hJCYirdpUjZ9SZ/pQ8P67gbsncgwlMRFpVZJHivJQEhORsUaLXStCSUxEWpRlwMM8lMREpFUH7062m5KYiLTIGGCkVE6cJGbxvyx90+NRZ+tHg+F2Ms69Xz+WPlQOwGDBWq5agZrlrDqvmpe3HrrIMEJBaV0uNi3+0/FaRmVAma/XSjRWWB4nThITkZxyj1BRCkpiItJKZ2IiUmlxL0OpKImJyFiqExORqtPdSRGptgolsfLePxcRyeHEORPLqMupDw1NetcDW98I4zsOLwrjM/vjeqf3R+KpySJZY5VF431BY8qZIqI6tKz6t6z/7znTJv8zGzxQ8FSjP2MctpG49q/sdDkpItXl6LEjEak4nYmJSJXpclJEqk1JTEQqTUlMRKrKXJeTIlJ1ujtZPZZR9+NB3U/twIfhtgcy6p1OGTgSxg/XBsP4rP5jqbGsOrCsOrIi80oCDFh6pVnN4lrr90dmhfHFg/GgYH3BU8xWq9CpRg9U6Uwss2LfzNaZ2T4z29q07i4ze9vMXk6WqzrbTBHpqg7OAN5ueR47ehi4Ypz197v78mR5rr3NEpGe8Y/6xbKWMshMYu7+A+C9LrRFRMpiip2JpbnFzF5JLjfnpb3JzNaY2SYz2zTM5J91E5HusXq+pQwmm8QeAM4FlgN7gHvT3ujua919hbuvGCCejENEZKImlcTcfa+719y9DjwIXNzeZolIT031y0kzW9z07TXA1rT3ikjFVKxjP7NOzMweB1YCC8xsF3AnsNLMltPIxTuBmzrYxq7weoGfSD0edetYPf6Y6xlzO9YzxjuParGyDNcHwviMAnM7AvQFHSdZ7c76/84aj2ww2H/h/pwivy9VUKH/vcwk5u7Xj7P6oQ60RUTKYiolMRE5sRjlufOYh5KYiIxVov6uPDRRiIi0atPdyZTHFueb2QYzey35Oi9Zb2b2V2a2I6lBvShPU5XERKRV+0osHqb1scXbgRfcfRnwQvI9wJXAsmRZQ6MeNZOSmIi0aFeJRcpji6uA9cnr9cDVTesf8YafAKccV841LvWJdcHKeT8L4z89fEYYn94XT/9VC0o0ssoYsoba6aWsth+szQjjUXlHRnWGdLZPbJG77wFw9z1mtjBZvwR4q+l9u5J1e6KdKYmJyFg+obuTC8xsU9P3a9197SSPPF5hYGY6VRITkVb5z8T2u/uKCe59r5ktTs7CFgP7kvW7gKVN7zsT2J21M/WJiUiLDj929CywOnm9Gnimaf0fJHcpLwE+GL3sjOhMTERatalPLOWxxXuAJ8zsRuBN4Nrk7c8BVwE7gMPAH+U5hpKYiIzVxhEqUh5bBLh8nPc6cPNEj6EkJiJjGNWq2FcSE5EWSmJV5J2rlzrq8XA3WU6eFk/pdjQYTidzyjWPf1sLT/kWbH84o1hrzrR4OPP3h+Mp3aIhjmoDBedV7ODvSykoiYlIpSmJiUhlVWwUCyUxEWmlJCYiVVbiR2pbKImJSAtdTopIdZVoOrY8lMREpJWSmDTbPzw3jGeNF3a4Phhvb+nbZ01rllXnlTVl2we1mWG8Fux/Vn9cB5Y1ld3P6yeF8cixUwrWiU1hqtgXkcqzCs2rqSQmImOpT0xEqk6XkyJSbUpiIlJlOhMTkWpTEhORyprYbEc9pyTWBVm1WkVFY4bVCx47a+7HrPHGIll1YNG8kXm2P1SfnhobiaeszOQVKkGYqKrViWXOdmRmS83se2a23cy2mdlXkvXzzWyDmb2WfJ3X+eaKSFe451tKIM+UbSPAbe7+SeAS4GYzOx+4HXjB3ZcBLyTfi8gU0OEp29oqM4m5+x5335K8PghspzG1+CpgffK29cDVnWqkiHSRT2ApgQn1iZnZ2cCFwEZg0ejElslMvgtTtlkDrAGYQTwmuoiUw5Ts2DezOcCTwK3ufsAs3wO07r4WWAtwks0vSe4WkUiVkliePjHMbIBGAnvU3Z9KVu81s8VJfDGwrzNNFJGucirVsZ95JmaNU66HgO3ufl9T6FlgNY0pyVcDz3SkhVNAVplCxmg4mWoZpQZFDATD/ED2lHCRrHZnfW51jz+4w1GJxaxy/AGWVVk67fPIczl5KXAD8KqZvZysu4NG8nrCzG4E3gSu7UwTRaTrplISc/cfkX6ucHl7myMivVa1YldV7IvIWO4aFFFEKq46OUxJTERa6XJSRKrLAV1OikilVSeHKYn9Ug8L97KmRSsiqxaryFA6ANMLtD1rurisoXim9cV1ZEc9/de7w6MjVZ4uJ0Wk0tp5d9LMdgIHgRow4u4rzGw+8HfA2cBO4Pfd/f3J7L9zpd4iUk2dGcXiMndf7u4rku/bNpSXkpiIjNEodvVcSwFtG8pLSUxEWtVzLrDAzDY1LWvG2ZsD3zWzzU3xMUN5AeMO5ZWH+sREpMUEzrL2N10iprnU3XcnYw5uMLN/Lta6sXQmJiJjtblPzN13J1/3AU8DF9PGobyUxETkOI1nJ/MsWcxstpnNHX0NfA7YykdDeUHBobx0OTkqa6TaAp2YBzLmB5s1eGzS+86SNV1cVo3aUR8I41ljfhWZri5rSrb+jGKmoXp62wsPweYVGvp0MtpXN7kIeDoZCXoa8Ji7f8fMXqJNQ3kpiYnIWG2cPNfdXwc+M876d2nTUF5KYiLSqiRDT+ehJCYiraqTw5TERKSV1avT56ckJiJjOaOFrJWgJCYiYxiFHynqKiUxEWmlJCYTMdAXz+0Y1TtBPCZYVh1XVrw/o4e3ljEmWNb2RfZdZCw0jSeWQUlMRCpLfWIiUnW6OykiFea6nBSRCnOUxESk4qpzNakkJiKtVCcmItU2lZKYmS0FHgFOp3GSudbd/9LM7gK+BLyTvPUOd3+uUw3tuA7+0DbvXxrGl575Xhg/XBsM49GYXVnjec3pH5r0vvPEo3kvh+rxr9+s/mLFXNGxvb/gz7tCf+QT5g616lxP5jkTGwFuc/ctyQiNm81sQxK7392/3rnmiUhPVChJZyaxZCaS0VlJDprZdmBJpxsmIj1UoSQ2oUF6zexs4EJgY7LqFjN7xczWmdm8lG3WjE7nNEx86SIiJeBA3fMtJZA7iZnZHOBJ4FZ3PwA8AJwLLKdxpnbveNu5+1p3X+HuKwaY3oYmi0hneWMOgTxLCeS6O2lmAzQS2KPu/hSAu+9tij8I/H1HWigi3eVUqmM/80zMGtOUPARsd/f7mtYvbnrbNTSmYRKRqcA931ICec7ELgVuAF41s5eTdXcA15vZchp5eydwU0daOAUsnfuLOD4Ql1jM6oundPv3M19PjQ1mlF4PZExrc3JfPFRPEYc9HmpnRsaUbN/+8JNhfMnA+6mxWeccCLfN1JdR/lHv3OfWFSVJUHnkuTv5Ixh3YKfq1oSJSKA8Z1l5qGJfRMZyQEPxiEil6UxMRKpr6j12JCInEgcvSQ1YHkpiItKqJNX4eSiJiUgr9YlVkMU1S0V+qBu3nhvGX5x+TryDD+Ip23ygwKl/Rrlz/4cZb8io9SKo9bKReNuMMjH6huP4sZPTd3Dapox2Z6l6HVjEXXcnRaTidCYmItXleK06Z5pKYiIy1uhQPBWhJCYirSpUYjGhQRFFZOpzwOuea8nDzK4ws5+Z2Q4zu73d7VUSE5GxvH2DIppZP/AN4ErgfBqj35zfzubqclJEWrSxY/9iYIe7vw5gZt8CVgE/bdcBzLt4K9XM3gH+rWnVAmB/1xowMWVtW1nbBWrbZLWzbWe5+2lFdmBm36HRpjxmAEebvl/r7mub9vV7wBXu/sfJ9zcAv+butxRpY7Ounokd/+Ga2SZ3X9HNNuRV1raVtV2gtk1W2drm7le0cXfjVRW39cxJfWIi0km7gObZo88EdrfzAEpiItJJLwHLzOwcMxsErgOebecBet2xvzb7LT1T1raVtV2gtk1WmdtWiLuPmNktwPNAP7DO3be18xhd7dgXEWk3XU6KSKUpiYlIpfUkiXX6MYQizGynmb1qZi+b2aYet2Wdme0zs61N6+ab2QYzey35Oq9EbbvLzN5OPruXzeyqHrVtqZl9z8y2m9k2M/tKsr6nn13QrlJ8blXV9T6x5DGEfwF+m8bt15eA6929bRW8RZjZTmCFu/e8MNLMPgt8CDzi7p9K1v058J6735P8AzDP3f97Sdp2F/Chu3+92+05rm2LgcXuvsXM5gKbgauBP6SHn13Qrt+nBJ9bVfXiTOyXjyG4+zFg9DEEOY67/wA4fnrwVcD65PV6Gn8EXZfStlJw9z3uviV5fRDYDiyhx59d0C4poBdJbAnwVtP3uyjXD9KB75rZZjNb0+vGjGORu++Bxh8FsLDH7TneLWb2SnK52ZNL3WZmdjZwIbCREn12x7ULSva5VUkvkljHH0Mo6FJ3v4jGU/c3J5dNks8DwLnAcmAPcG8vG2Nmc4AngVvd/UAv29JsnHaV6nOrml4ksY4/hlCEu+9Ovu4DnqZx+Vsme5O+ldE+ln09bs8vufted695Y9LCB+nhZ2dmAzQSxaPu/lSyuuef3XjtKtPnVkW9SGIdfwxhssxsdtLhipnNBj4HbI236rpngdXJ69XAMz1syxijCSJxDT367MzMgIeA7e5+X1Oop59dWrvK8rlVVU8q9pNbyH/BR48h3N31RozDzD5O4+wLGo9kPdbLtpnZ48BKGsOi7AXuBP4v8ATwMeBN4Fp373oHe0rbVtK4JHJgJ3DTaB9Ul9v2H4AfAq8CoyP33UGj/6lnn13QruspwedWVXrsSEQqTRX7IlJpSmIiUmlKYiJSaUpiIlJpSmIiUmlKYiJSaUpiIlJp/x9/nNm1l5zVRwAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 2 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.figure()\n",
    "plt.imshow(X_train[1])\n",
    "plt.colorbar()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([9, 0, 0, ..., 3, 0, 5], dtype=uint8)"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_train"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [],
   "source": [
    "X_train = X_train/255.0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [],
   "source": [
    "X_test = X_test/255.0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.colorbar.Colorbar at 0x239f97a79e8>"
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAS4AAAD8CAYAAADJwUnTAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAb3klEQVR4nO3dfZBc5XXn8e+Z0YzeAcEgkCUZMBZlA4vB0YIddmMRbEdQiTEVvyDvevEutrwua3edeF1LvFvA4toUcQLEW0XwjoMCpGwwie0gu2QTinWMQ9ZCEqZAghAUWYZBsoR4k5A0b91n/+gW9Lzc8/RM98y9d/T7VHVpus+9Tz/qmTlz73PPfR5zd0REyqQj7w6IiEyUEpeIlI4Sl4iUjhKXiJSOEpeIlI4Sl4iUjhKXiEwZM1tvZvvMbFtG3Mzsf5vZDjN7wsze3Uy7SlwiMpXuBFYH8cuAFfXHWuD2ZhpV4hKRKePuDwMvB5tcAdztNT8DTjCzJal2Z7Wrg83ottk+h/nT+ZYzw/y5YXjW8sHM2JFX58T7Ho7vnLBq4s6KRHh4XvbfRjt+ON53MP7xnLN7IIz7cNz+TNTPIQZ9wFpp47cume8vvVxpatutTwxsB/obXup1994JvN1S4PmG53311/ZEO7WUuMxsNfA1oBP4c3e/Kdp+DvO5yC5t5S2njiW+13neGnXuvwjDi259ITO27fvvCPdd/Fh20gPoHIh/gG2wGsb3v2tedtu//VK470u7FoXxd3zlF2G8sndfGJ+JNvlDLbfx0ssVHn3grU1t27nk2X53X9nC2433i5f8ZZt04jKzTuA24APUsuRmM9vg7k9Ntk0RyZ8DVeI/SG3UByxveL4M2J3aqZUxrguBHe6+090HgXupna+KSIk5zpBXmnq0wQbg39WvLr4HeM3dw9NEaO1Ucbxz04tGb2Rma6ldLWAO2acNIlIc7TriMrN7gFVAj5n1AdcDXQDu/nVgI3A5sAM4DPz7ZtptJXE1dW5aH6jrBTjOTtQcOiIF5ziVNo3puvuaRNyBz0+03VYS16TOTUWk+Krp8fFctZK4NgMrzOwM4AXgKuATbemViOTGgcpMTVzuPmxm64AHqJVDrHf37W3r2US1Ws7QwqFxZVV8l8I/fzz+mP/nJd8N4/0eX9Y/vevFzNjiz/4w3Pf82bPD+FS647VTw/jQ2zrD+GeufD6MPzKQfe3pcz//N+G+S2/pCuP2yONhvOxm8hEX7r6R2uCaiMwQDgwVfEr3aa2cF5Hic3zmniqKyAzlUCl23lLiEpGRapXzxabEJSKjGJVxyzSLQ4lLREaoDc4rcYlIidTquJS4pkeLl287e04K40fuWZAZ+9xp3wn37bb4ZtRdgz1hfN/gcWF826GlmbFhj2uh5nbE09qsmLs3jPcNnhjGh4L3r7b4V/3a/sVhvKfr9czYl855MNz3hDsPh/Hrt/9OGD/1w0+H8aJr9Xsz1WZO4hKRttARl4iUjmNUCj6ruxKXiIyhU0URKRXHGEyMjeZNiUtERqgVoOpUUURKRoPzJXHc/XE5xVUnPZIZ23TwzHDfqCQAYG7nUBg/UomnWOmw7L53W7xEV7QvwBOHlofxWYlSj0hXC/s2Y9/gwszY/qHs8hZIj/F85Zz7w/htF/5uGOfRJ+N4jtyNiuuIS0RKpqojLhEpk9rgfLFTQ7F7JyLTToPzIlJKFdVxiUiZqHJeREqpqquKIlImtZuslbgKYfg3fy2MX35SXJfz2KHTM2PzElPDzCaupVrcfSCMf2B+PEXKWzqza7G6LP4BPFiN+zavI65BG/B4kt/o3Rd2dIf7Hq7G9W07h+Mf3x8ePC+77Ur83qlqgH6Pa+v+6dNzwvhZj8bt58mxZO1h3o6ZxCUizXFHBagiUjamAlQRKRdHR1wiUkIanBeRUnFMEwmKSLnUlicrdmoodu9EJAdaELYw+n4zrts5aVb2UlYAi2ZlL1eVqnmZ0xHXI+0fyp43CuCqP/tiGJ+/O7uWauEvB8J9X18+O4wveCHe3zviH/COwey+VWbHn9vQcXF83wXxj++Na76ZGdt66Ixw31RtXuqI5NZL7gnjt/P2MJ4nZ4ZXzpvZLuAgUAGG3X1lOzolIvkq+hFXO9LqJe5+vpKWyMzgblS9o6lHM8xstZk9Y2Y7zOzaceJvNbMfm9nPzewJM7s81eYxc6ooIs2pDc6355YfM+sEbgM+APQBm81sg7s/1bDZ/wDuc/fbzexsYCNwetRuq0dcDvytmW01s7UZHV9rZlvMbMsQ8XiJiBRBbc75Zh5NuBDY4e473X0QuBe4YtQ2DhxX//p4YHeq0VaPuC52991mthh40Mz+0d0fHtEj916gF+A4OzFemUFEclcbnG96jKvHzLY0PO+t/84ftRR4vuF5H3DRqDZuoHYA9J+A+cD7U2/aUuJy9931f/eZ2feoZdeH471EpOgmUDm/PzG+PV4GHH0Aswa4091vNrP3An9pZue6Z089MulTRTObb2YLj34NfBDYNtn2RKQYjlbON/NoQh/QuMbdMsaeCl4D3Afg7v8PmAP0RI22csR1CvA9Mzvazrfc/UcttDelfvuyTWH8UDWuZ4pqsQYS80L1zDoYxp89ckoYf8tX/yGMH/z4ezJjey+cG+675Oa47Reu/fUw3vNkXKM21JM9b5V3xj/4834V11Kddn08qVX/x7PfO1Wn1dMVf892D50Qxj93wvYw/vVfGz3M8ybfGu87Hdq4WMZmYIWZnQG8AFwFfGLUNs8BlwJ3mtk7qSWuF6NGJ5243H0n8K7J7i8ixeQOQ9X2JC53HzazdcADQCew3t23m9mNwBZ33wB8EfiGmf0etdPIT7l7OB6ucggRGaF2qti+ynl330itxKHxtesavn4KuHgibSpxicgYRa+cV+ISkREmWA6RCyUuERmlvaeKU0GJS0TG0JzzBfEHi38axn+QmOZkdlAOsagrXqIr5W1zwyu/bOOkMP7TW/4sM/ZCJXs6HoD3nfV7YfwXv5PdNsBvPHllGH/wnG9nxuYllie7/sVzwvjP3hUvEXY4KHFZ1v1yuG9q+bGhavyrc/+hpWF8z78+PjN26tZw1ylXu6qo5clEpEQ0dbOIlJJOFUWkVHRVUURKSVcVRaRU3I1hJS4RKRudKopIqWiMaxr5xeeH8U0D/xjGU9PadFklMzbH4qldTu16LYz//PBpYTzl8t/9VGas40jct7cuj39AL7/ug2F8ocV1Yh8Z+K3sYGJps1fff1b83vwsjD/8Svb+q058Jtw3Ned6Kv7icLzkXP97g+Xw/jTcdVoocYlIqaiOS0RKSXVcIlIq7jDcpokEp4oSl4iMoVNFESkVjXGJSCm5EpeIlI0G56fJ3i8NhPFTOw+E8V2cHMYHqtnzM52SqNPaN3xcGD9cieelGr703WH8yMnZfTtyYjzIGvy3ADh06plhPJimDIBZ/dmLtVS641+OgRPieP9/fG8Y//UFP8mM7RuKvydnzdkTxjvHrGk60vGdh8L41e/MXi7vJ8RLyk01d41xiUjpGBVdVRSRstEYl4iUiu5VFJHy8do4V5EpcYnIGLqqKCKl4hqcF5Ey0qniNBl+dFEY/6Oey8L4xxdvDuMruvdlxpZ3xusq/sVr54bxgcQafRvv/noYH/LsucKGPO5bfyI+x+K/vPM64kKwDrL3H/C4CKzL4jmvdg7F+69/+eLM2NLZr4T7puZY67LhMP6TV98Rxh954LzM2Gn8Q7jvdCj6VcXk8aCZrTezfWa2reG1E83sQTN7tv5vnDVEpDTca4mrmUdemjmRvRNYPeq1a4GH3H0F8FD9uYjMEFW3ph55SSYud38YGL1e+RXAXfWv7wI+3OZ+iUiO3Jt75GWyY1ynuPseAHffY2aLszY0s7XAWoA5zJvk24nIdHGMasGvKk5579y9191XuvvKLuIFKUSkGLzJR14mm7j2mtkSgPq/2ZfcRKRc2jw4b2arzewZM9thZuOOh5vZx8zsKTPbbmbfSrU52cS1Abi6/vXVwP2TbEdEiqhNh1xm1gncBlwGnA2sMbOzR22zAvgD4GJ3Pwf4Qqrd5BiXmd0DrAJ6zKwPuB64CbjPzK4BngM+mv4vTK1lfxjXvrz2h/H+60+N53Y6ct7yzNiv1vaH+95w3vfD+PbX3xLGb34prgN79nDmECPzOwfDfWenJtSaQh0W/+RHa1kCvDQ0P4y/fV72icBdO94T7rv4ingdzrRg3USKUasVaWOpw4XADnffCWBm91K7uPdUwzafAW5z91dq7+3JM7hk4nL3NRmhS1P7ikj5OFCtNp24esxsS8PzXnfvbXi+FHi+4XkfcNGoNs4CMLNHgE7gBnf/UfSmM6ZyXkTaxIHmj7j2u/vKID5eQ6MPtWcBK6id2S0Dfmpm57r7q1mNFvuap4jkoo11XH1A4zjLMmD3ONvc7+5D7v4L4BlqiSyTEpeIjNW+eojNwAozO8PMuoGrqF3ca/Q3wCUAZtZD7dRxZ9SoThVFZJT23Yfo7sNmtg54gNr41Xp3325mNwJb3H1DPfZBM3sKqABfcveXonaVuERkrDZWl7r7RmDjqNeua/jagd+vP5qixFU3/Ku9YbwriC89ckG475z1cclBarbJ42cdDuNLZmcvjza7I55+ZcjjqWNSOi2eFqcj+A1IvXdP18EwfmA4Xsbr5FnZ+w88emK47zHNwZu/qpgLJS4RGYcSl4iUjWZAFZHSUeISkVKZWAFqLpS4RGQMLZYhIuWjq4oiUjaJiTtyd+wkLov/gnTMjmdnrfYHU9ckjqt3DmZPOwPQ3WKtVaWFO7dSdVgVL+5dYa1MyROUvjXFZsW/Ol6Jp+Qp9LlY3tObNuHYSVwi0iTT4LyIlJCOuESkdOIRhNwpcYnISKrjEpEy0lVFESmfgieu4l7rFhHJcOwccSXqZqoDA5NuumvbL8L4jsOnhPG5nXE90ivD8TJckdRcX9F8WVCbjrIVUZ1Yqj4t9f9eMGvy37PuAy0eUnQm5jEbjmvzik6niiJSLo5u+RGREtIRl4iUjU4VRaR8lLhEpHSUuESkTMx1qigiZaSriuVgibocD+pyKgdeD/c9kKhHOqHrSBg/XOkO4/M6BzNjqTqtVJ1XK+smAnRZdiVYxeL651eG54XxJd3xpFodwZ3CVin4IUXOin7ElaycN7P1ZrbPzLY1vHaDmb1gZo/XH5dPbTdFZFp5k4+cNHPLz53A6nFev9Xdz68/No4TF5Ey8jfHuVKPvCQTl7s/DLw8DX0RkaKYAUdcWdaZ2RP1U8lFWRuZ2Voz22JmW4aY/L1lIjJ9rNrcIy+TTVy3A2cC5wN7gJuzNnT3Xndf6e4ru4gXpBARacakEpe773X3irtXgW8AF7a3WyKSq5l4qmhmSxqeXglsy9pWREqmBIPzyTouM7sHWAX0mFkfcD2wyszOp5ZzdwGfncI+TguvtvBdqMazVg1W44+5mli7sJqY/zuqlUoZqnaF8TktrF0I0BEMhKT6nfp/p+bz6g7ab3l8ppWflzIo+H8vmbjcfc04L98xBX0RkaIoe+ISkWOLke8Vw2ZoznkRGanNY1xmttrMnjGzHWZ2bbDdR8zMzWxlqk0lLhEZq01XFc2sE7gNuAw4G1hjZmePs91C4D8Dm5rpnhKXiIzVvnKIC4Ed7r7T3QeBe4ErxtnuK8BXgf5mGlXiEpExJnCq2HP0zpj6Y+2oppYCzzc876u/9uZ7mV0ALHf3HzTbPw3OT4NVi54J408dfksYn90RL3VVCcopUiUHqWlr8pTq+8HKnDAelWIkKimk+auK+909GpMar6bljdbNrAO4FfhU0++IEpeIjOZtvarYByxveL4M2N3wfCFwLvB3ZgZwKrDBzD7k7luyGlXiEpGx2lfHtRlYYWZnAC8AVwGfeONt3F8Deo4+N7O/A/5rlLRAY1wiMo52lUO4+zCwDngAeBq4z923m9mNZvahyfZPR1wiMlYbK+frE41uHPXadRnbrmqmTSUuERkp55kfmqHEJSIjGMVfLEOJS0TGUOIqC5+6eqZ+j6eOSTl+Vrx8WX8wNU1yeTGPf0JbXt4s2P9wophqwax4qu9XhuLly6LpgipdLa4bOIU/L4WgxCUipaPEJSKlkvPsps1Q4hKRsZS4RKRsCnwLK6DEJSLj0KmiiJSLClBFpJSUuGT/0MIwnppv63C1O97fsvdPLeGVqsNKLU/2WmVuGK8E7c/rjOu0Usu2/ap6XBiPDJ7QYh3XDKbKeREpJSv4upFKXCIyksa4RKSMdKooIuWjxCUiZaMjLhEpHyUuESmV9q7yMyWSicvMlgN3U1s2qAr0uvvXzOxE4NvA6cAu4GPu/srUdbW8UrVUrYrm3Kq2+N6ptQ1T83VFUnVa0bqIzex/qDo7MzYcL8mY5AUvF2hFGeq4mlnlZxj4oru/E3gP8HkzOxu4FnjI3VcAD9Wfi8hM4N7cIyfJxOXue9z9sfrXB6ktMbQUuAK4q77ZXcCHp6qTIjK92rU82VSZ0BiXmZ0OXABsAk5x9z1QS25mtrjtvROR6TeTClDNbAHwHeAL7n6gvlx2M/utBdYCzCGeI1xEiqHog/NNrWRtZl3UktY33f279Zf3mtmSenwJsG+8fd29191XuvvKLrIHS0WkOKza3CMvycRltUOrO4Cn3f2WhtAG4Or611cD97e/eyIy7ZzCD843c6p4MfBJ4Ekze7z+2peBm4D7zOwa4Dngo1PTxfJLlRQkZpZJqiTKAlrRFUyZA+nlzyKpfqc+t6rHH9zhqBxiXsEHcXJW9HKIZOJy978n+1fr0vZ2R0QKoeyJS0SOLWUoQFXiEpGR3DWRoIiUULHzlhKXiIylU0URKRcHdKooIqVT7LylxPWGHIvpUkuAtSJVK9XKtDQAs1voe2pptNS0NrM64jqvfs/+8Z7imYZKr52nima2Gvga0An8ubvfNCr++8Cnqc1E8yLwH9z9l1GbU1e5KCKlZVVv6pFsx6wTuA24DDgbWFOfFqvRz4GV7n4e8NfAV1PtKnGJyEg+gUfahcAOd9/p7oPAvdSmxHrz7dx/7O6H609/BixLNapTRREZoVaA2vS5Yo+ZbWl43uvuvQ3PlwLPNzzvAy4K2rsG+GHqTZW4RGSs5m9B3e/uK4P4eAOZ42ZFM/u3wErgfak3VeISkTEmcMSV0gcsb3i+DNg95v3M3g/8d+B97j6QalRjXCIyUnvHuDYDK8zsDDPrBq6iNiXWG8zsAuD/AB9y93Hn9RtNR1wiMkr77lV092EzWwc8QK0cYr27bzezG4Et7r4B+GNgAfBX9ZmVn3P3D0XtKnEdlZqKuoVD5wOJtbDmdQ9Ouu2U1NJoqRqyfu8K46k5s1pZmi21/FhnothooJrd95anMPOCz23cqjbWNbr7RmDjqNeua/j6/RNtU4lLREaaCQvCisgxKMc7SZqhxCUiYxU7bylxichYVi32uaISl4iM5EykADUXSlwiMoLh7SxAnRJKXCIylhKXpHR1xGsXRvVIEM+plaqzSsU7E6O0lcScWqn9W2m7lbnENB9XghKXiJSKxrhEpIx0VVFESsZ1qigiJeMocYlICRX7TFGJS0TGUh2XiJRP2ROXmS0H7gZOpXYA2evuXzOzG4DPUFsHDeDL9Xl3ymkKv1Fb9y8P48uXvRzGD1e6w3g051VqPqwFnfEsuan9U/FoXceBavzjN6+ztWKr6L29s8Xvd8F/sVviDpVinys2c8Q1DHzR3R8zs4XAVjN7sB671d3/ZOq6JyK5KHhiTiYud98D7Kl/fdDMnqa25JCIzFQFT1wTmsDWzE4HLgA21V9aZ2ZPmNl6M1uUsc9aM9tiZluGSC7eISJ5c6DqzT1y0nTiMrMFwHeAL7j7AeB24EzgfGpHZDePt5+797r7Sndf2cXsNnRZRKaW1+bUb+aRk6auKppZF7Wk9U13/y6Au+9tiH8D+MGU9FBEppdT+MH55BGX1dYLugN42t1vaXh9ScNmVwLb2t89EcmFe3OPnDRzxHUx8EngSTN7vP7al4E1ZnY+tfy8C/jslPRwBli+8NU43hWXQ8zriJcv+5dzd2bGuhMl0F2J5VyO74invWnFYY+nrZmTWH7s+6+/M4wv7XolMzbvjAPhvkkdiVKN6tR9btOi4IPzzVxV/HsYd2Kk8tZsiUhAN1mLSNk4oGltRKR0dMQlIuUyM275EZFjiYPnWKPVDCUuERkrx6r4ZihxichYGuMqCYtrilr5Rm7admYYf3T2GXEDr8XLk3lXC4f1iRLkztcTGyRqsQhqsWw43jdRxkXHUBwfPD67gZO3JPqdUvY6rYi7riqKSAnpiEtEysXxSrGPKJW4RGSko9PaFJgSl4iMVfByiAlNJCgiM58DXvWmHs0ws9Vm9oyZ7TCza8eJzzazb9fjm+oTloaUuERkJG/fRIJm1gncBlwGnE1tVpmzR212DfCKu78duBX4o1S7SlwiMoZXKk09mnAhsMPdd7r7IHAvcMWoba4A7qp//dfApfV5ADOZT+NlTzN7Efhlw0s9wP5p68DEFLVvRe0XqG+T1c6+nebuJ7fSgJn9iFqfmjEH6G943uvuvQ1tfQRY7e6frj//JHCRu69r2GZbfZu++vN/rm+T+ZlM6+D86A/UzLa4+8rp7EOzitq3ovYL1LfJKlrf3H11G5sb78hp9NFSM9uMoFNFEZlKfUDjisjLgN1Z25jZLOB4IJwWWIlLRKbSZmCFmZ1hZt3AVcCGUdtsAK6uf/0R4P96Ygwr7zqu3vQmuSlq34raL1DfJqvIfWuJuw+b2TrgAaATWO/u283sRmCLu2+gthjPX5rZDmpHWlel2p3WwXkRkXbQqaKIlI4Sl4iUTi6JK3ULQJ7MbJeZPWlmj5vZlpz7st7M9tXrXI6+dqKZPWhmz9b/XVSgvt1gZi/UP7vHzezynPq23Mx+bGZPm9l2M/sv9ddz/eyCfhXicyuTaR/jqt8C8E/AB6hdBt0MrHH3p6a1IxnMbBewMip+m8a+/AbwOnC3u59bf+2rwMvuflM96S9y9/9WkL7dALzu7n8y3f0Z1bclwBJ3f8zMFgJbgQ8DnyLHzy7o18cowOdWJnkccTVzC4AA7v4wY+tZGm+PuIvaD/60y+hbIbj7Hnd/rP71QeBpYCk5f3ZBv2SC8khcS4HnG573UaxvngN/a2ZbzWxt3p0ZxynuvgdqvwjA4pz7M9o6M3uifiqZy2lso/pMAxcAmyjQZzeqX1Cwz63o8khcEy7vn2YXu/u7qd3N/vn6KZE053bgTOB8YA9wc56dMbMFwHeAL7j7gTz70micfhXqcyuDPBJXM7cA5Mbdd9f/3Qd8j9qpbZHsrY+VHB0z2Zdzf97g7nvdveK1Rfm+QY6fnZl1UUsO33T379Zfzv2zG69fRfrcyiKPxNXMLQC5MLP59UFTzGw+8EFgW7zXtGu8PeJq4P4c+zLC0aRQdyU5fXb1KVHuAJ5291saQrl+dln9KsrnVia5VM7XL/f+KW/eAvC/pr0T4zCzt1E7yoLa7VDfyrNvZnYPsIraFCN7geuBvwHuA94KPAd81N2nfZA8o2+rqJ3uOLAL+OzRMaVp7tu/An4KPAkcne3uy9TGk3L77IJ+raEAn1uZ6JYfESkdVc6LSOkocYlI6ShxiUjpKHGJSOkocYlI6ShxiUjpKHGJSOn8f32EYqeSQhqgAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 2 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.figure()\n",
    "plt.imshow(X_train[1])\n",
    "plt.colorbar()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Building the Model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras import Sequential\n",
    "from tensorflow.keras.layers import Flatten, Dense"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = Sequential()\n",
    "model.add(Flatten(input_shape = (28, 28)))\n",
    "model.add(Dense(128, activation = 'relu'))\n",
    "model.add(Dense(10, activation = 'softmax'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Model: \"sequential\"\n",
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "flatten (Flatten)            (None, 784)               0         \n",
      "_________________________________________________________________\n",
      "dense (Dense)                (None, 128)               100480    \n",
      "_________________________________________________________________\n",
      "dense_1 (Dense)              (None, 10)                1290      \n",
      "=================================================================\n",
      "Total params: 101,770\n",
      "Trainable params: 101,770\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "model.summary()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Model compilation"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.compile(optimizer='adam', loss = 'sparse_categorical_crossentropy', metrics = ['accuracy'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 60000 samples\n",
      "Epoch 1/10\n",
      "60000/60000 [==============================] - 16s 260us/sample - loss: 0.5010 - accuracy: 0.8232\n",
      "Epoch 2/10\n",
      "60000/60000 [==============================] - 7s 112us/sample - loss: 0.3786 - accuracy: 0.8640\n",
      "Epoch 3/10\n",
      "60000/60000 [==============================] - 7s 117us/sample - loss: 0.3383 - accuracy: 0.8778\n",
      "Epoch 4/10\n",
      "60000/60000 [==============================] - 7s 115us/sample - loss: 0.3153 - accuracy: 0.8850\n",
      "Epoch 5/10\n",
      "60000/60000 [==============================] - 7s 110us/sample - loss: 0.2945 - accuracy: 0.8909\n",
      "Epoch 6/10\n",
      "60000/60000 [==============================] - 7s 114us/sample - loss: 0.2811 - accuracy: 0.8956\n",
      "Epoch 7/10\n",
      "60000/60000 [==============================] - 7s 111us/sample - loss: 0.2678 - accuracy: 0.9003\n",
      "Epoch 8/10\n",
      "60000/60000 [==============================] - 6s 108us/sample - loss: 0.2578 - accuracy: 0.9053\n",
      "Epoch 9/10\n",
      "60000/60000 [==============================] - 7s 123us/sample - loss: 0.2477 - accuracy: 0.9077\n",
      "Epoch 10/10\n",
      "60000/60000 [==============================] - 7s 121us/sample - loss: 0.2376 - accuracy: 0.9107\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<tensorflow.python.keras.callbacks.History at 0x239f99bb828>"
      ]
     },
     "execution_count": 37,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(X_train, y_train, epochs = 10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "10000/1 [================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================] - 1s 72us/sample - loss: 0.2626 - accuracy: 0.8875\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.8875\n"
     ]
    }
   ],
   "source": [
    "test_loss, test_acc = model.evaluate(X_test, y_test)\n",
    "print(test_acc)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.metrics import accuracy_score"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [],
   "source": [
    "y_pred = model.predict_classes(X_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.8875"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "accuracy_score(y_test, y_pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}