for_blog_post.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Makine Öğrenimi Uygulaması: ENRON Suçlu Bulucu"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Bu çalışmanın amacı makine öğrenimi sürecinde konseptlerin anlaşılması amacıyla gerçek dünyadan gerçek verilerin kullanıldığı bir uygulama örneği sunmaktır. Uygulama aynı zamanda Udacity - \"Intro to Machine Learning\" dersinin final projesidir. Projenin amacı basit bir ifadeyle, üst düzey yöneticilerin eposta ve mali durum bilgilerini içeren Enron veri setinin makineye öğretilerek bir kişinin suçlu olup olmadığının tahminini yapan bir modellemenin geliştirilmesidir. Python 2 programlama dilinde yazılan projede; veri analizi, işleme ve görselleştirmede Numpy, Pandas, matplotlib, seaborn kütüphaneleri, makine öğrenimi için scikit-learn kütüphanesi kullanılmıştır. Çalışmanın anlaşılabilmesi betimsel ve kestirimsel istatistik ile yeterli seviye Python programlama dili bilgisi gerektirmektedir. \n",
    "<br /><br />Belirtilen internet adresinden indirdiğimiz, veri setini ve proje boyunca kullanacağımız yardımcı kod dosyalarını barındıran dosyayı Python'a tanıtıyoruz. Proje süresince yararlanacağımız ilgili Python kütüphanelerini \"import\" ettikten sonra veri setini içeren \"final_project_dataset.pkl\" adlı veri dosyasını üzerinde çalışmaya başlamak için okutuyoruz. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import os\n",
    "os.chdir('/home/tuna/PycharmProjects/IntroMachineLearning/ud120-projects/final_project/')\n",
    "import sys\n",
    "sys.path.append(\"../tools/\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/tuna/anaconda3/envs/py27/lib/python2.7/site-packages/sklearn/cross_validation.py:44: DeprecationWarning: This module was deprecated in version 0.18 in favor of the model_selection module into which all the refactored classes and functions are moved. Also note that the interface of the new CV iterators are different from that of this module. This module will be removed in 0.20.\n",
      "  \"This module will be removed in 0.20.\", DeprecationWarning)\n"
     ]
    }
   ],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "import seaborn as sns\n",
    "import pickle\n",
    "from feature_format import featureFormat\n",
    "from feature_format import targetFeatureSplit\n",
    "from sklearn import cross_validation\n",
    "from sklearn.model_selection import train_test_split\n",
    "from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score\n",
    "from sklearn import preprocessing\n",
    "from tester import test_classifier\n",
    "from sklearn.pipeline import Pipeline\n",
    "from sklearn.model_selection import GridSearchCV"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "with open(\"final_project_dataset.pkl\", \"r\") as data_file:\n",
    "    data_dict = pickle.load(data_file)\n",
    "ayirac = '-----------------------------------------------------------------------------------------------------------'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Veri setini anlama"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Her analizin başlangıcında olduğu gibi veri setine dair temel bilgileri edinerek başlıyoruz, buna göre veri setinde \"dictionary\" formatında 146 veri noktası bulunmaktadır. Bu veri noktalarının her biri Enron'un üst düzey yetkililerini temsil etmektedir. İlk veri noktasının anahtar(key) ve değerlerine(values) baktığımızda anahtarın kişinin soyadı ve adı, değerlerin bu kişiye ait toplamda 21 özellikten(features) oluşan eposta ve mali bilgileri olduğu görülmektedir. İlerleyen aşamalarda analize tabi tutulacak yeni özellik çıkarımları yapabilmek için en başında bu özelliklerin neler olduğunu incelemenin ve yorumlamanın faydası olacaktır. İlgili özelliklere baktığımızda bir önceki blog gönderimde de bahsettiğim üzere özellikler eposta, mali durum bilgileri ve kişinin suçlu olup olmadığını gösteren üç ana başlık altında toplanmaktadır.(Bu noktadan itibaren suçlu kişiler veri setinde olduğu gibi \"POI\" olarak geçecektir.)  **Eposta** özelliklerini incelersek;\n",
    "<br />*'to_messages'*            : İlgili kişiye gelen e-posta sayısı\n",
    "<br />*'from_messages'*          : İlgili kişinin gönderdiği e-posta sayısı \n",
    "<br />*'from_this_person_to_poi'*: İlgili kişiden POI'ye gönderilen eposta sayısı\n",
    "<br />*'from_poi_to_this_person'*: POI'den ilgili kişiye gönderilen eposta sayısı\n",
    "<br />*'shared_receipt_with_poi'*: İlgili kişinin POI ile birlikte gönderim listesinde yer aldığı eposta sayısı\n",
    "<br />*'email_address'*          : İlgili kişinin eposta adresini ifade etmektedir.\n",
    "<br />Tamamı Amerikan doları cinsinden mali durum bilgilierini gösteren özellikler incelendiğinde ilgili kişinin maaş, bonus, vadeli ödeme gibi **ödemeler**le(*'salary'*,*'deferral_payments'*,*'total_payments'*, *'bonus'*, *'expenses'*, *'loan_advances'*, *'director_fees'*, *'deferred_income'*, *'long_term_incentives'*) birlikte şirket **hisse senetleriyle**(*'exercised_stock_options'*, *'restricted_stock'*, *'restricted_stock_deferred'*, *'total_stock_value'*) ilgili özellikler bulunmaktadır. Veri dosyasının içinde yer alan pdf formatındaki mali tablo incelendiğinde görülecektir ki \n",
    "*'total_payments'*; *'salary'*,*'deferral_payments'*,*'total_payments'*, *'bonus'*, *'expenses'*, *'loan_advances'*, *'director_fees'*,  *'long_term_incentives'* değerlerinin toplamından *'deferred_income'* değerinin çıkarılmasıyla elde edilmiştir. Aynı şekilde, *'total_stock_value'*; *'exercised_stock_options'*, *'restricted_stock'*, *'restricted_stock_deferred'* değerlerinin toplamına eşittir. Bunu fark etmemiz, birbiriyle yüksek korelasyona sahip özellikleri belirleyerek analiz esnasında uygulayacağımız yönteme veya algoritmaya göre onları dışarıda tutmak veya dahil etme seçeneğini elde tutmaktır.  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<type 'dict'>\n",
      "Enron veri setindeki veri noktalarının: 146\n"
     ]
    }
   ],
   "source": [
    "print type(data_dict)\n",
    "print \"Enron veri setindeki veri noktalarının:\", len(data_dict)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Her bir kişi için özellik sayısı: 21\n"
     ]
    }
   ],
   "source": [
    "print \"Her bir kişi için özellik sayısı:\", len(data_dict[data_dict.keys()[0]])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "METTS MARK\n"
     ]
    }
   ],
   "source": [
    "print data_dict.keys()[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'salary': 365788, 'to_messages': 807, 'deferral_payments': 'NaN', 'total_payments': 1061827, 'exercised_stock_options': 'NaN', 'bonus': 600000, 'restricted_stock': 585062, 'shared_receipt_with_poi': 702, 'restricted_stock_deferred': 'NaN', 'total_stock_value': 585062, 'expenses': 94299, 'loan_advances': 'NaN', 'from_messages': 29, 'other': 1740, 'from_this_person_to_poi': 1, 'poi': False, 'director_fees': 'NaN', 'deferred_income': 'NaN', 'long_term_incentive': 'NaN', 'email_address': 'mark.metts@enron.com', 'from_poi_to_this_person': 38}\n"
     ]
    }
   ],
   "source": [
    "print data_dict.values()[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Veri setinde yer alan 146 Enron üst düzey yöneticisinden kaçının \"POI\"(Person of Interest) olduğunu belirliyoruz. Buna göre 146 kişiden 18'i POI'dir. \"POI\" ne demek tekrar hatırlamak gerekirse; haklarında dava açılmış, hukuki uzlaşıya varılmış, devlet ile itiraf anlaşması yapmış veya savcı dokunulmazlığı karşılığında tanıklık etmiş, kısaca skandala yol açan dolandırıcılığa karışmış kişilerdir. Elbette gerçekte Enron skandalına karışan POI sayısı daha fazla, buradaki 18 değeri proje amaçlı oluşturulmuş veri setinde yer alan POI'leri yansıtmaktadır.  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "POI sayısı: 18\n",
      "POI olmayanların sayısı: 128\n"
     ]
    }
   ],
   "source": [
    "count_poi = 0\n",
    "count_nonpoi = 0\n",
    "for person in data_dict:\n",
    "    if data_dict[person]['poi']:\n",
    "        count_poi += 1\n",
    "    else:\n",
    "        count_nonpoi += 1\n",
    "print \"POI sayısı:\", count_poi\n",
    "print \"POI olmayanların sayısı:\", count_nonpoi"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Veri setini araştırmada dikkat çeken bir husus da *'NaN'* değerleri. Halihazırda gelen verisetindeki bu değerler ilk bakışta eksik/olmayan değerleri ifade etse de Numpy formatında *'NaN'* olmadığı için makine bunları da bir değer olarak algılayıp tüm veri setinde hiçbir eksik veri yokmuş gibi görmektedir. Bu durumu düzeltmek için *NaN* değerlerini Numpy formatında *'NaN'*a dönüştürerek her bir özellik için var olan değerlerin sayısını görüntülüyoruz. Çok az veriye sahip özelliklerin belirlenmesi, oluşturacağımız modele olumsuz etki gösterme ihtimali nedeniyle duruma göre analiz dışı tutmamız açısından önemli. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "Index: 146 entries, ALLEN PHILLIP K to YEAP SOON\n",
      "Data columns (total 21 columns):\n",
      "salary                       95 non-null float64\n",
      "to_messages                  86 non-null float64\n",
      "deferral_payments            39 non-null float64\n",
      "total_payments               125 non-null float64\n",
      "exercised_stock_options      102 non-null float64\n",
      "bonus                        82 non-null float64\n",
      "restricted_stock             110 non-null float64\n",
      "shared_receipt_with_poi      86 non-null float64\n",
      "restricted_stock_deferred    18 non-null float64\n",
      "total_stock_value            126 non-null float64\n",
      "expenses                     95 non-null float64\n",
      "loan_advances                4 non-null float64\n",
      "from_messages                86 non-null float64\n",
      "other                        93 non-null float64\n",
      "from_this_person_to_poi      86 non-null float64\n",
      "poi                          146 non-null bool\n",
      "director_fees                17 non-null float64\n",
      "deferred_income              49 non-null float64\n",
      "long_term_incentive          66 non-null float64\n",
      "email_address                111 non-null object\n",
      "from_poi_to_this_person      86 non-null float64\n",
      "dtypes: bool(1), float64(19), object(1)\n",
      "memory usage: 23.0+ KB\n"
     ]
    }
   ],
   "source": [
    "# Pandas .info() ile veri setine ait genel bilgiler\n",
    "enron_data = pd.DataFrame.from_dict(data_dict, orient = 'index')\n",
    "enron_data.replace('NaN', np.nan, inplace = True)\n",
    "enron_data.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Veri setimiz binlerce veya onbinlerce satır ve sütundan oluşmadığından tamamını görüntüleyip bir göz atmanın yararı olacaktır. Bir önceki kod hücresinde görüleceği üzere veri yapıları için uygun bir kütüphane olan Pandas'ı kullandım. Python sözlüğü(dictionary) türündeki veriyi Pandas'ı kullanarak *'enron_data'* olarak adlandırdığım bir DataFrame'e dönüştürdüm. İnceleme sonucunda dikkatimi, kişi adları arasında bir kişiye ait olmadığı anlaşılan **'THE TRAVEL AGENCY IN THE PARK'** çekti. Kısa bir araştırma sonucunda bu verinin Enron yönetim kurulu başkanı Kenneth Lay'in kız kardeşine ait şirkete ait olduğunu, Enron'un şirket çapında yaptığı gezilerin organizasyonu için bu şirkete ödeme yaptığını öğrendim. Bu veri noktasını bir kişiyi temsil etmediği için bir sonraki bölüm olan aykırı verilerin tespitinde veri setinden çıkardım. Ancak ifade etmek gerekir ki, hukuki davalarda işletmelerin de bir \"kişi\" olarak görülebildiği durumlarda bu veri noktasının kalması tercih edilirdi. Bir veri noktasının veri setinden çıkarılması karşılaşılan durumun, problemin türüne göre, özelliğine göre değişir. Fark edilen bir diğer veri noktası da **'LOCKHART EUGENE E'**dir. Bu kişiye ait hiçbir veri bulunmasa da veri setinde yer almıştır, herhangi bir etkiye sahip olmadığı için o da veri setinden çıkarılmıştır.     "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>salary</th>\n",
       "      <th>to_messages</th>\n",
       "      <th>deferral_payments</th>\n",
       "      <th>total_payments</th>\n",
       "      <th>exercised_stock_options</th>\n",
       "      <th>bonus</th>\n",
       "      <th>restricted_stock</th>\n",
       "      <th>shared_receipt_with_poi</th>\n",
       "      <th>restricted_stock_deferred</th>\n",
       "      <th>total_stock_value</th>\n",
       "      <th>...</th>\n",
       "      <th>loan_advances</th>\n",
       "      <th>from_messages</th>\n",
       "      <th>other</th>\n",
       "      <th>from_this_person_to_poi</th>\n",
       "      <th>poi</th>\n",
       "      <th>director_fees</th>\n",
       "      <th>deferred_income</th>\n",
       "      <th>long_term_incentive</th>\n",
       "      <th>email_address</th>\n",
       "      <th>from_poi_to_this_person</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>ALLEN PHILLIP K</th>\n",
       "      <td>201955.0</td>\n",
       "      <td>2902.0</td>\n",
       "      <td>2869717.0</td>\n",
       "      <td>4484442.0</td>\n",
       "      <td>1729541.0</td>\n",
       "      <td>4175000.0</td>\n",
       "      <td>126027.0</td>\n",
       "      <td>1407.0</td>\n",
       "      <td>-126027.0</td>\n",
       "      <td>1729541.0</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2195.0</td>\n",
       "      <td>152.0</td>\n",
       "      <td>65.0</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-3081055.0</td>\n",
       "      <td>304805.0</td>\n",
       "      <td>phillip.allen@enron.com</td>\n",
       "      <td>47.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>BADUM JAMES P</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>178980.0</td>\n",
       "      <td>182466.0</td>\n",
       "      <td>257817.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>257817.0</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>BANNANTINE JAMES M</th>\n",
       "      <td>477.0</td>\n",
       "      <td>566.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>916197.0</td>\n",
       "      <td>4046157.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1757552.0</td>\n",
       "      <td>465.0</td>\n",
       "      <td>-560222.0</td>\n",
       "      <td>5243487.0</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>29.0</td>\n",
       "      <td>864523.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-5104.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>james.bannantine@enron.com</td>\n",
       "      <td>39.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>BAXTER JOHN C</th>\n",
       "      <td>267102.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1295738.0</td>\n",
       "      <td>5634343.0</td>\n",
       "      <td>6680544.0</td>\n",
       "      <td>1200000.0</td>\n",
       "      <td>3942714.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>10623258.0</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2660303.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-1386055.0</td>\n",
       "      <td>1586055.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>BAY FRANKLIN R</th>\n",
       "      <td>239671.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>260455.0</td>\n",
       "      <td>827696.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>400000.0</td>\n",
       "      <td>145796.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-82782.0</td>\n",
       "      <td>63014.0</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>69.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-201641.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>frank.bay@enron.com</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>BAZELIDES PHILIP J</th>\n",
       "      <td>80818.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>684694.0</td>\n",
       "      <td>860136.0</td>\n",
       "      <td>1599641.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1599641.0</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>874.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>93750.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>BECK SALLY W</th>\n",
       "      <td>231330.0</td>\n",
       "      <td>7315.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>969068.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>700000.0</td>\n",
       "      <td>126027.0</td>\n",
       "      <td>2639.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>126027.0</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>4343.0</td>\n",
       "      <td>566.0</td>\n",
       "      <td>386.0</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>sally.beck@enron.com</td>\n",
       "      <td>144.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>BELDEN TIMOTHY N</th>\n",
       "      <td>213999.0</td>\n",
       "      <td>7991.0</td>\n",
       "      <td>2144013.0</td>\n",
       "      <td>5501630.0</td>\n",
       "      <td>953136.0</td>\n",
       "      <td>5249999.0</td>\n",
       "      <td>157569.0</td>\n",
       "      <td>5521.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1110705.0</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>484.0</td>\n",
       "      <td>210698.0</td>\n",
       "      <td>108.0</td>\n",
       "      <td>True</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-2334434.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>tim.belden@enron.com</td>\n",
       "      <td>228.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>BELFER ROBERT</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-102500.0</td>\n",
       "      <td>102500.0</td>\n",
       "      <td>3285.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>44093.0</td>\n",
       "      <td>-44093.0</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>3285.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>BERBERIAN DAVID</th>\n",
       "      <td>216582.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>228474.0</td>\n",
       "      <td>1624396.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>869220.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2493616.0</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>david.berberian@enron.com</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>10 rows × 21 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                      salary  to_messages  deferral_payments  total_payments  \\\n",
       "ALLEN PHILLIP K     201955.0       2902.0          2869717.0       4484442.0   \n",
       "BADUM JAMES P            NaN          NaN           178980.0        182466.0   \n",
       "BANNANTINE JAMES M     477.0        566.0                NaN        916197.0   \n",
       "BAXTER JOHN C       267102.0          NaN          1295738.0       5634343.0   \n",
       "BAY FRANKLIN R      239671.0          NaN           260455.0        827696.0   \n",
       "BAZELIDES PHILIP J   80818.0          NaN           684694.0        860136.0   \n",
       "BECK SALLY W        231330.0       7315.0                NaN        969068.0   \n",
       "BELDEN TIMOTHY N    213999.0       7991.0          2144013.0       5501630.0   \n",
       "BELFER ROBERT            NaN          NaN          -102500.0        102500.0   \n",
       "BERBERIAN DAVID     216582.0          NaN                NaN        228474.0   \n",
       "\n",
       "                    exercised_stock_options      bonus  restricted_stock  \\\n",
       "ALLEN PHILLIP K                   1729541.0  4175000.0          126027.0   \n",
       "BADUM JAMES P                      257817.0        NaN               NaN   \n",
       "BANNANTINE JAMES M                4046157.0        NaN         1757552.0   \n",
       "BAXTER JOHN C                     6680544.0  1200000.0         3942714.0   \n",
       "BAY FRANKLIN R                          NaN   400000.0          145796.0   \n",
       "BAZELIDES PHILIP J                1599641.0        NaN               NaN   \n",
       "BECK SALLY W                            NaN   700000.0          126027.0   \n",
       "BELDEN TIMOTHY N                   953136.0  5249999.0          157569.0   \n",
       "BELFER ROBERT                        3285.0        NaN               NaN   \n",
       "BERBERIAN DAVID                   1624396.0        NaN          869220.0   \n",
       "\n",
       "                    shared_receipt_with_poi  restricted_stock_deferred  \\\n",
       "ALLEN PHILLIP K                      1407.0                  -126027.0   \n",
       "BADUM JAMES P                           NaN                        NaN   \n",
       "BANNANTINE JAMES M                    465.0                  -560222.0   \n",
       "BAXTER JOHN C                           NaN                        NaN   \n",
       "BAY FRANKLIN R                          NaN                   -82782.0   \n",
       "BAZELIDES PHILIP J                      NaN                        NaN   \n",
       "BECK SALLY W                         2639.0                        NaN   \n",
       "BELDEN TIMOTHY N                     5521.0                        NaN   \n",
       "BELFER ROBERT                           NaN                    44093.0   \n",
       "BERBERIAN DAVID                         NaN                        NaN   \n",
       "\n",
       "                    total_stock_value           ...            loan_advances  \\\n",
       "ALLEN PHILLIP K             1729541.0           ...                      NaN   \n",
       "BADUM JAMES P                257817.0           ...                      NaN   \n",
       "BANNANTINE JAMES M          5243487.0           ...                      NaN   \n",
       "BAXTER JOHN C              10623258.0           ...                      NaN   \n",
       "BAY FRANKLIN R                63014.0           ...                      NaN   \n",
       "BAZELIDES PHILIP J          1599641.0           ...                      NaN   \n",
       "BECK SALLY W                 126027.0           ...                      NaN   \n",
       "BELDEN TIMOTHY N            1110705.0           ...                      NaN   \n",
       "BELFER ROBERT                -44093.0           ...                      NaN   \n",
       "BERBERIAN DAVID             2493616.0           ...                      NaN   \n",
       "\n",
       "                    from_messages      other  from_this_person_to_poi    poi  \\\n",
       "ALLEN PHILLIP K            2195.0      152.0                     65.0  False   \n",
       "BADUM JAMES P                 NaN        NaN                      NaN  False   \n",
       "BANNANTINE JAMES M           29.0   864523.0                      0.0  False   \n",
       "BAXTER JOHN C                 NaN  2660303.0                      NaN  False   \n",
       "BAY FRANKLIN R                NaN       69.0                      NaN  False   \n",
       "BAZELIDES PHILIP J            NaN      874.0                      NaN  False   \n",
       "BECK SALLY W               4343.0      566.0                    386.0  False   \n",
       "BELDEN TIMOTHY N            484.0   210698.0                    108.0   True   \n",
       "BELFER ROBERT                 NaN        NaN                      NaN  False   \n",
       "BERBERIAN DAVID               NaN        NaN                      NaN  False   \n",
       "\n",
       "                   director_fees  deferred_income  long_term_incentive  \\\n",
       "ALLEN PHILLIP K              NaN       -3081055.0             304805.0   \n",
       "BADUM JAMES P                NaN              NaN                  NaN   \n",
       "BANNANTINE JAMES M           NaN          -5104.0                  NaN   \n",
       "BAXTER JOHN C                NaN       -1386055.0            1586055.0   \n",
       "BAY FRANKLIN R               NaN        -201641.0                  NaN   \n",
       "BAZELIDES PHILIP J           NaN              NaN              93750.0   \n",
       "BECK SALLY W                 NaN              NaN                  NaN   \n",
       "BELDEN TIMOTHY N             NaN       -2334434.0                  NaN   \n",
       "BELFER ROBERT             3285.0              NaN                  NaN   \n",
       "BERBERIAN DAVID              NaN              NaN                  NaN   \n",
       "\n",
       "                                 email_address from_poi_to_this_person  \n",
       "ALLEN PHILLIP K        phillip.allen@enron.com                    47.0  \n",
       "BADUM JAMES P                              NaN                     NaN  \n",
       "BANNANTINE JAMES M  james.bannantine@enron.com                    39.0  \n",
       "BAXTER JOHN C                              NaN                     NaN  \n",
       "BAY FRANKLIN R             frank.bay@enron.com                     NaN  \n",
       "BAZELIDES PHILIP J                         NaN                     NaN  \n",
       "BECK SALLY W              sally.beck@enron.com                   144.0  \n",
       "BELDEN TIMOTHY N          tim.belden@enron.com                   228.0  \n",
       "BELFER ROBERT                              NaN                     NaN  \n",
       "BERBERIAN DAVID      david.berberian@enron.com                     NaN  \n",
       "\n",
       "[10 rows x 21 columns]"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Veri setinin Pandas ile 'DataFrame' tablo şeklinde gösterimi\n",
    "#pd.options.display.max_rows = 150\n",
    "# Blog gönderisinde ilk 10 satır gösterilmiştir.\n",
    "enron_data.head(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Aykırı verilerin yakalanması"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Diğer değerlerle karşılaştırıldığında veri setine uygun olmadığı belirlenen aşırı değerlere sahip aykırı veriler (outliers), yapacağımız istatistiksel analizlerde ve modellemelerde olumsuz etkiye sebep olacağından bu değerlerin tespit edilerek veri setinden ayıklanması önceliklidir. Aykırı verilere sebep olan nedenler arasında verinin toplanma türüne göre alıcı/sensör bozuklukları, veri girişinde yapılan hatalar zaman zaman göz ardı veya tolere edilebilirken; uçuk ve anormal durumlara mutlaka dikkat edilmeli ve sebepleri araştırılmalıdır. Veri setimizde aykırı verilerin tespitinde makine öğreniminin önemli araçlarından biri olan korelasyonu kullanacağız. Buna göre herhangi iki özellik arasındaki ilişkiyi görselleştirerek varsa aykırı değeri belirleyeceğiz. Ders içindeki uygulamada olduğu gibi *'salary'* ve *'feature'* özelliklerini seçtim."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAe8AAAFjCAYAAAAU+4NuAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJzt3Xt0VPXd7/HP3HJzxiQjM3JVMApoCh6ilWqUCE9iAWuP\nz1M0EQWseGm1S7Falwu1sWooUrFVy6oeqrZWVCpNbStoKk/p8UIUr9Dk6BNARUBXMmOuQ65zOX/Q\nTo2ZhIm6E36T92stV7PnN7Pzna/bfvL77T2zbbFYLCYAAGAM+3AXAAAABofwBgDAMIQ3AACGIbwB\nADAM4Q0AgGEIbwAADGNceNfV1am4uFiPP/74gM/7+c9/rrKyMpWWlmrt2rVDVB0AANZzDncBg9He\n3q4777xTp59++oDPq6ur02uvvaannnpK0WhU5557rs4//3z5fL4hqhQAAOsYNfNOS0vT2rVr5ff7\n44/t2rVLixcv1pIlS3T11VertbVVHo9HXV1d6u7uVldXl+x2uzIzM4excgAAvjpGhbfT6VRGRkav\nx+68807dcccd+u1vf6vCwkKtW7dOY8aM0dy5czV79mzNnj1bZWVlcrvdw1Q1AABfLaOWzRPZsWOH\nbrvtNklSd3e3pk2bpr179+qFF17Q5s2bFQ6HVVZWpvnz5+uoo44a5moBAPjyjA/vzMxMPfbYY7LZ\nbPHHNm3apJNPPjm+VD5lyhTV1dUd8lw5AAAmMGrZPJGpU6fqxRdflCRt3LhR1dXVOuaYY1RTU6No\nNKqenh7V1dVpwoQJw1wpAABfDZtJdxWrqanR3Xffrf3798vpdOroo4/WsmXLtHr1atntdqWnp2v1\n6tXKycnR/fffr61bt0qS5s6dq0svvXR4iwcA4CtiVHgDAIAUWDYHAGCkIbwBADCMMVebBwJtlu07\nNzdLTU3tlu0/ldCrwaFfyaNXg0O/kmdyr3w+T8LHmXlLcjodw12CMejV4NCv5NGrwaFfyUvFXhHe\nAAAYxtLwHugOYFu3btWCBQtUWlqqNWvWWFkGAAApxbLwPtQdwO666y498MADevLJJ/XKK69o165d\nVpUCAEBKsSy8E90B7F/27t2r7OxsjRkzRna7XUVFRaqurraqFAAAUoplV5s7nU45nYl3HwgE5PV6\n49ter1d79+4dcH+5uVmWXnTQ3xV96IteDQ79Sh69Ghz6lbxU65UxHxWz8jJ/n89j6UfRUgm9Ghz6\nlTx6NTj0K3km9+qw+qiY3+9XMBiMb9fX1ydcXgcAAH0NS3iPHz9eoVBI+/btUzgc1pYtW1RYWDgc\npQAAYBzLls0/fwewqqoqzZkzR+PHj1dJSYluv/123XDDDZKk+fPna9KkSVaVAgCApboj3WrpalN2\nukdpjjTLf58xdxWz8nyFyedDhhq9Ghz6lTx6NTj0K3lW9ioSjahy10btCNSqqatZuek5mu7L138d\nf64c9i9/kXV/57yNuWANAIDDTeWujfr7vpfj241dTfHtCyZ/27Lfy9ejAgDwBXRHurUjUJtw7B/B\nWnVHui373YQ3AABfQEtXm5q6mhOONXY2q6XLutMahDcAAF9AdrpHuek5Cce8GTnKTrfui2EIbwAA\nvoA0R5qm+/ITjk0blW/pVedcsAYAwBf0X8efK+ngOe7GzmZ5M3I0bVR+/HGrEN4AAHxBDrtDF0z+\ntv533twh/Zw34Q0AwJeU5kiTL+uoIft9nPMGAMAwhDcAAIYhvAEAMAzhDQCAYQhvAAAMQ3gDAGAY\nwhsAAMMQ3gAAGIbwBgDAMIQ3AACGIbwBADAM4Q0AgGEIbwAADEN4AwBgGMIbAADDEN4AABiG8AYA\nwDCENwAAhiG8AQAwDOENAIBhCG8AAAxDeAMAYBjCGwAAwxDeAAAYhvAGAMAwhDcAAIYhvAEAMAzh\nDQCAYQhvAAAMQ3gDAGAYwhsAAMMQ3gAAGIbwBgDAMIQ3AACGIbwBADAM4Q0AgGEIbwAADEN4AwBg\nGKeVO1+xYoW2b98um82m5cuXa/r06fGxdevW6c9//rPsdru+9rWv6ZZbbrGyFAAAUoZlM+9t27Zp\nz549Wr9+vSoqKlRRUREfC4VCevjhh7Vu3To9+eST2r17t9555x2rSgEAIKVYFt7V1dUqLi6WJOXl\n5amlpUWhUEiS5HK55HK51N7ernA4rI6ODmVnZ1tVCgAAKcWyZfNgMKj8/Pz4ttfrVSAQkNvtVnp6\nuq655hoVFxcrPT1d5557riZNmjTg/nJzs+R0OqwqVz6fx7J9pxp6NTj0K3n0anDoV/JSrVeWnvP+\nrFgsFv85FArpoYce0vPPPy+3260lS5bovffe09SpU/t9fVNTu2W1+XweBQJtlu0/ldCrwaFfyaNX\ng0O/kmdyr/r7o8OyZXO/369gMBjfbmhokM/nkyTt3r1bEyZMkNfrVVpamk499VTV1NRYVQoAACnF\nsvAuLCxUVVWVJKm2tlZ+v19ut1uSNG7cOO3evVudnZ2SpJqaGk2cONGqUgAASCmWLZsXFBQoPz9f\nZWVlstlsKi8vV2VlpTwej0pKSrR06VItXrxYDodDM2bM0KmnnmpVKQAApBRb7LMnow9jVp6vMPl8\nyFCjV4NDv5JHrwaHfiXP5F4N+TlvAABgDcIbAADDEN4AABiG8AYAwDCENwAAhiG8AQAwDOENAIBh\nCG8AAAxDeAMAYBjCGwAAwxDeAAAYhvAGAMAwhDcAAIYhvAEAMAzhDQCAYQhvAAAMQ3gDAGAYwhsA\nAMMQ3gAAGIbwBgDAMIQ3AACGIbwBADAM4Q0AgGEIbwAADEN4AwBgGMIbAADDEN4AABiG8AYAwDCE\nNwAAhiG8AQAwDOENAIBhCG8AAAxDeAMAYBjCGwAAwxDeAAAYhvAGAMAwhDcAAIYhvAEAMAzhDQCA\nYQhvAAAMQ3gDAGAYwhsAAMMQ3gAAGIbwBgDAMIQ3AACGIbwBADCM08qdr1ixQtu3b5fNZtPy5cs1\nffr0+Ngnn3yiH/7wh+rp6dFJJ52kO+64w8pSAABIGZbNvLdt26Y9e/Zo/fr1qqioUEVFRa/xlStX\n6rLLLtOGDRvkcDj08ccfW1UKAAApxbLwrq6uVnFxsSQpLy9PLS0tCoVCkqRoNKo333xTc+bMkSSV\nl5dr7NixVpUCAEBKsSy8g8GgcnNz49ter1eBQECS1NjYqCOOOEI//elPddFFF2n16tVWlQEAQMqx\n9Jz3Z8VisV4/19fXa/HixRo3bpyuvPJK/f3vf9fZZ5/d7+tzc7PkdDosq8/n81i271RDrwaHfiWP\nXg0O/UpeqvXKsvD2+/0KBoPx7YaGBvl8PklSbm6uxo4dq2OOOUaSdPrpp2vnzp0DhndTU7tVpcrn\n8ygQaLNs/6mEXg0O/UoevRoc+pU8k3vV3x8dli2bFxYWqqqqSpJUW1srv98vt9stSXI6nZowYYI+\n/PDD+PikSZOsKgUAgJRi2cy7oKBA+fn5Kisrk81mU3l5uSorK+XxeFRSUqLly5fr5ptvViwW0+TJ\nk+MXrwEAgIHZYp89GX0Ys3LJw+QllaFGrwaHfiWPXg0O/Uqeyb0a8mVzAABgDcIbAADDEN4AABiG\n8AYAwDCENwAAhiG8AQAwDOENAIBhCG8AAAxDeAMAYBjCGwAAwxDeAAAYhvAGAMAwhDcAAIYhvAEA\nMAzhDQCAYZIK75aWFu3cuVOS9NJLL2nNmjUKBAKWFgYAABJLKrx/9KMfqaGhQR9++KFWrlypnJwc\n3XLLLVbXBgAAEkgqvDs6OlRYWKjnn39el1xyiS6++GL19PRYXRsAAEgg6fBubGxUVVWVzj77bMVi\nMbW0tFhdGwAASCCp8D7vvPN0zjnn6Bvf+IbGjBmjNWvWaObMmVbXBgAAErDFYrHYYF/U1tYmj8dj\nRT39CgTaLNu3z+exdP+phF4NDv1KHr0aHPqVPJN75fMlzlpnMi9euHChbDZbn8fXrVv35aoCAACD\nllR4L1u2LP5zT0+PXn31VWVlZVlWFAAA6F9S4X3aaaf12i4sLNQVV1xhSUEAAGBgSYX33r17e21/\n8skn+uCDDywpCAAADCyp8F6yZEn8Z5vNJrfbrR/84AeWFQUAAPqXVHj/7W9/s7oOAACQpKTCe+fO\nnXr66afV0tKiz36ybNWqVZYVBgAAEkv6avN58+bpxBNPtLoeAABwCEmF96hRozjHDQDAYSKpr0ed\nNWuWXn75ZXV3dysajcb/AQAAQy+pmfevfvUrhUKhXo/ZbDa9++67lhQFAAD6l1R4v/HGG1bXAQAA\nkpRUeB84cEC/+c1v9I9//EM2m00zZszQ4sWLlZGRYXV9AADgc5I6533bbbcpFAqprKxMF154oQKB\ngG699VarawMAAAkkNfMOBoO6995749uzZ8/WokWLLCsKAAD0L6mZd0dHhzo6OuLb7e3t6urqsqwo\nAADQv6Rm3qWlpZo/f77y8/MlSbW1tbruuussLQwAACSWVHjPnz9f9fX12rhxo7q6unThhRfqm9/8\nptW1AQCABJJaNr/22mv10UcfadGiRVq6dKl2796t66+/3uraAABAAknNvEOhkH7961/HtxcuXKiL\nL77YsqIAAED/kpp5T5w4UQ0NDfHtQCCgY4891rKiAABA/waceS9cuFA2m01dXV0qKSnRcccdJ5vN\npg8++EAnnXTSUNUIAAA+Y8DwXrZs2VDVAQAAkjRgeJ922mlDVQcAAEhSUue8AQDA4cPS8F6xYoVK\nS0tVVlamHTt2JHzO6tWr+apVAAAGwbLw3rZtm/bs2aP169eroqJCFRUVfZ6za9cuvf7661aVAABA\nSrIsvKurq1VcXCxJysvLU0tLi0KhUK/nrFy5ki97AQBgkCwL72AwqNzc3Pi21+tVIBCIb1dWVuq0\n007TuHHjrCoBAICUlNQ3rH0VYrFY/Ofm5mZVVlbq0UcfVX19fVKvz83NktPpsKo8+Xwey/adaujV\n4NCv5NGrwaFfyUu1XlkW3n6/X8FgML7d0NAgn88nSXr11VfV2Nioiy++WN3d3froo4+0YsUKLV++\nvN/9NTW1W1WqfD6PAoE2y/afSujV4NCv5NGrwaFfyTO5V/390WHZsnlhYaGqqqokHbyFqN/vl9vt\nliTNnTtXmzZt0u9//3v98pe/VH5+/oDBDQAA/s2ymXdBQYHy8/NVVlYmm82m8vJyVVZWyuPxqKSk\nxKpfCwBAyrPFPnsy+jBm5ZKHyUsqQ41eDQ79Sh69Ghz6lTyTezXky+YAAMAahDcAAIYhvAEAMAzh\nDQCAYQhvAAAMQ3gDAGAYwhsAAMMQ3gAAGIbwBgDAMIQ3AACGIbwBADAM4Q0AgGEIbwAADEN4AwBg\nGMIbAADDEN4AABiG8AYAwDCENwAAhiG8AQAwDOENAIBhCG8AAAxDeAMAYBjCGwAAwxDeAAAYhvAG\nAMAwhDcAAIYhvAEAMAzhDQCAYQhvAAAMQ3gDAGAYwhsAAMMQ3gAAGIbwBgDAMIQ3AACGIbwBADAM\n4Q0AgGEIbwAADEN4AwBgGMIbAADDEN4AABiG8AYAwDCENwAAhiG8AQAwDOENAIBhCG8AAAxDeAMA\nYBinlTtfsWKFtm/fLpvNpuXLl2v69OnxsVdffVX33nuv7Ha7Jk2apIqKCtnt/C0BAMChWJaW27Zt\n0549e7R+/XpVVFSooqKi1/iPf/xj3X///Xrqqad04MABvfTSS1aVAgBASrEsvKurq1VcXCxJysvL\nU0tLi0KhUHy8srJSo0ePliR5vV41NTVZVQoAACnFsvAOBoPKzc2Nb3u9XgUCgfi22+2WJDU0NOiV\nV15RUVGRVaUAAJBSLD3n/VmxWKzPY59++qm+973vqby8vFfQJ5KbmyWn02FVefL5PJbtO9XQq8Gh\nX8mjV4NDv5KXar2yLLz9fr+CwWB8u6GhQT6fL74dCoV0xRVXaNmyZTrzzDMPub+mpnZL6pQO/ksN\nBNos238qoVeDQ7+SR68Gh34lz+Re9fdHh2XL5oWFhaqqqpIk1dbWyu/3x5fKJWnlypVasmSJZs2a\nZVUJAACkJMtm3gUFBcrPz1dZWZlsNpvKy8tVWVkpj8ejM888U88884z27NmjDRs2SJK+9a1vqbS0\n1KpyAABIGZae877xxht7bU+dOjX+c01NjZW/GgCAlMW3ogAAYBjCGwAAwxDeAAAYhvAGAMAwhDcA\nAIYhvAEAMAzhDQCAYQhvAAAMQ3gDAGAYwhsAAMMQ3gAAGIbwBgDAMIQ3AACGIbwBADAM4Q0AgGEI\nbwAADEN4AwBgGMIbAADDEN4AABiG8AYAwDCENwAAhiG8AQAwDOENAIBhCG8AAAxDeCcQ7epSd0OD\nol1dw10KAAB9OIe7gMNJLBJR4OmnFHr7LYUbG+X0euWeUSDfBWWyORzDXR4AAJII714CTz+l5s0v\nxLfDn34a3/aXXZzwNd2RqNp6wvK4nEpzsJABALAe4f1P0a4uhd5+K+FY6O23Neo/F8ienh5/LBKL\n6bmPgnq3OaTm7rBy0pw6MceteceMksNmG6qyAQAjEFPFfwq3tCjc2Jh4rKlR4ZaWXo8991FQWxua\n1dQdVkxSU3dYWxua9dxHwSGoFgAwkhHe/+TMzpbT6008luuVMzs7vt0dierd5lDC577bHFJ3JGpJ\njQAASIR3nD09Xe4ZBQnH3DNm9Foyb+sJq7k7HN+2RaJytIdli0TV3B1WW0840W4AAPhKcM77M7K/\nc6GanenSW29IwQY5c71yz5gh3wVlvZ7ncTmVk+ZUU2ePsne2KDPYIWdnVOEMu2JHH6Ej/hdXpgMA\nrEN4S4pEY3p2T+DgxWfHnqzs4ws0JcOh+ROPlisjo8/z0xx2nZjjVu1LH+rIfQfij7s6o9KeNr3x\nf9/XmcUnDOVbAACMICybS3r6vX29Lj5r7onotbZuVdW39fuakjG5ym1M/CUuH9YF1dMTsahaAMBI\nN+LDuzsS1Tv1zZIkp8I6Um1y6uA564EuPus80KNIe+Jz26G2LrWHuq0pGAAw4o34ZfO2nrCaOrp0\nuu1tTbLvk1vtCilLH0TH67XuGWrrCesoR1qf12W50+Q+Ml2h1r6zb7cnXVnuvq8BAOCrMOJn3h6X\nU2enbdfJjjodaWuX3SYdaWvXyY46FTm3y+NK/PeNy+XQpMmjEo5NnDxKLhcXrQEArDHiZ95OW0ST\nbPsTjk207VM03K2G1qiy3elK/1wgnzEnT9LBc9yhti65PemaOHlU/HEAAKww4sM70tMmVyTxF66k\nRdq0+Wf36xlHgXKzMzVjsk+lc46Xw35wwcJut+vM4hM0s+g4tYe6leVOY8YNALDciF82d7g8SsvI\niW/3xGJqikTVE4sp1hbW5H3vanbwDX3a2qXNb+zT+r/t6rMPl8uh7NxMghsAMCRGfHjb7S5ljzpR\n0VhMm9s79evWdv2f1nb9urVdm5vaFY3EdMKBfXJGD15Z/nZdUF2f+RhYNNqjnq5GRaM9w/UWAAAj\nzIhfNpck/7GFeuL//bfeivw7lFujMb2d7VCswK0z3wzJHelQs92jprZOtYS65MvJUNP+v6qj+X8U\n6WmRw5WtzJwpyh13jmy2Ef83EQDAQqSMpLA9UzsiiT/a9f6ULPXM8uuA8+A3reV6MpTtTlfT/r8q\nFNimSM/Bu41FeloUCmxT0/6/DlndAICRifCWtK5mt8Kxjvh2LGJXtDNDsYhNrZJiJ2VpzpSPJEkz\nJo+SyxFVR/P/JNxXR3MdS+gAAEuN+PDujkS165UG2aNZisVscnyQpwkf+5XZI8keU7THqQ37MzTN\n+7HOOXW0Succr0hPW3zG/XmRnhZFevr/WlUAAL6sEX/OO9Daoe6sNKU5J+j8T1vlm9qojIwedXZm\nKtBwpH7vblCjp1FPBsbqqjOzFIlJTpdHDld2wgB3uLLlcHmG4Z0AAEYKS2feK1asUGlpqcrKyrRj\nx45eY1u3btWCBQtUWlqqNWvWWFlGvyLRqP7w13fVlp2m//z0gI7Na1NWVo/sdikrq0fHTmzXhSG/\nJKn1iCb97r8/1n01e7Rpb7Mysqck3GdmzmTZ7a6hfBsAgBHGsvDetm2b9uzZo/Xr16uiokIVFRW9\nxu+66y498MADevLJJ/XKK69o166+n5+2UjgS1i9+96waP2rTMW/s1agxBxI+z+fvUWa3TeG0Drla\nWtTc0a2tDc2qjsyQ23eaHK4cSTY5XDly+05T7rhzhvR9AABGHsuWzaurq1VcXCxJysvLU0tLi0Kh\nkNxut/bu3avs7GyNGTNGklRUVKTq6modf/zxVpXTt76tG9TVcJSOjtiUm3ZAGRmJLzLLyOiRv8Gl\nT9JtyjiQJntXVJEsu95tadc5XztHOWP/Q5GeNjlcHmbcAIAhYdnMOxgMKjc3N77t9XoVCAQkSYFA\nQF6vN+HYUOjs6lSss16ZkYPfiBa2p6mzM3Hwdna61JDZI3fT0YqmuRRNP9iy5u6w2nrCsttdcqV7\nCW4AwJAZsgvWYrHYl3p9bm6WnM6v5utH9+5vVnZaj9JlkyQd6HarLZCurGP7zr4DDS5FvCfKF5yk\njlGZijkOhrc3M02TxuYq3THyLtj3+bggbzDoV/Lo1eDQr+SlWq8sC2+/369gMBjfbmhokM/nSzhW\nX18vv98/4P6amtq/uuJiGZIjJpsjLEVcikYdaokcqe49Lh3lO6CMjG51dqbp00CWnj/6bB0Rdql9\nVEitx2fHdzHFk6XWxsTnyVOZz+dRIMBH4ZJFv5JHrwaHfiXP5F7190eHZdPGwsJCVVVVSZJqa2vl\n9/vldrslSePHj1coFNK+ffsUDoe1ZcsWFRYWWlVKHxnpGWq3T9Cx4+rjj+3alad/HJmv9dF52thw\n5sH/HTdPMVem/DlZcnxtlGx2m3LTnDrDn6N5xyS+lzcAAFazbOZdUFCg/Px8lZWVyWazqby8XJWV\nlfJ4PCopKdHtt9+uG264QZI0f/58TZo0yapSEvr6zAV6LbJeY6N79XHgKEW7MtT1Tqcik1u0z3uU\n5MxUrsuhk3I9mnfMKEWiMbX1hOVxOZU2ApfKAQCHD1vsy56MHiJWLXl0dnWquelj7dz9vkLuTGU5\nvTpx/Hg50tMJ6gRMXn4aDvQrefRqcOhX8kzuVX/L5iP+G9Yy0jM0bdrJGj36uOEuBQCApDCtBADA\nMIQ3AACGIbwBADAM4Q0AgGEIbwAADEN4AwBgGMIbAADDEN4AABiG8AYAwDCENwAAhiG8AQAwjDE3\nJgEAAAcx8wYAwDCENwAAhiG8AQAwDOENAIBhCG8AAAxDeAMAYBjncBcwlFasWKHt27fLZrNp+fLl\nmj59enxs69atuvfee+VwODRr1ixdc801w1jp4WGgfs2ZM0ejR4+Ww+GQJN1zzz06+uijh6vUw0Jd\nXZ2uvvpqXXrppbrkkkt6jXF89TZQrzi2elu1apXefPNNhcNhXXXVVTrnnHPiYxxXfQ3Ur5Q6tmIj\nxGuvvRa78sorY7FYLLZr167YhRde2Gt83rx5sY8//jgWiURiF110UWznzp3DUeZh41D9mj17diwU\nCg1HaYelAwcOxC655JLYrbfeGvvd737XZ5zj698O1SuOrX+rrq6OXX755bFYLBZrbGyMFRUV9Rrn\nuOrtUP1KpWNrxCybV1dXq7i4WJKUl5enlpYWhUIhSdLevXuVnZ2tMWPGyG63q6ioSNXV1cNZ7rAb\nqF/oKy0tTWvXrpXf7+8zxvHV20C9Qm9f//rXdd9990mSjjzySHV0dCgSiUjiuEpkoH6lmhET3sFg\nULm5ufFtr9erQCAgSQoEAvJ6vQnHRqqB+vUv5eXluuiii3TPPfcoNsK/qM/pdCojIyPhGMdXbwP1\n6l84tg5yOBzKysqSJG3YsEGzZs2KL/lyXPU1UL/+JVWOrRF1zvuzTP6XNhw+369rr71WZ511lrKz\ns3XNNdeoqqpKc+fOHabqkEo4tvravHmzNmzYoEceeWS4SzFCf/1KpWNrxMy8/X6/gsFgfLuhoUE+\nny/hWH19/Yhf0huoX5J0/vnn66ijjpLT6dSsWbNUV1c3HGUageNrcDi2envppZf04IMPau3atfJ4\nPPHHOa4S669fUmodWyMmvAsLC1VVVSVJqq2tld/vl9vtliSNHz9eoVBI+/btUzgc1pYtW1RYWDic\n5Q67gfrV1tampUuXqru7W5L0+uuv64QTThi2Wg93HF/J49jqra2tTatWrdJDDz2knJycXmMcV30N\n1K9UO7ZGzLJ5QUGB8vPzVVZWJpvNpvLyclVWVsrj8aikpES33367brjhBknS/PnzNWnSpGGueHgd\nql+zZs1SaWmp0tPTddJJJxm79PRVqamp0d133639+/fL6XSqqqpKc+bM0fjx4zm+PudQveLY+rdN\nmzapqalJy5Ytiz82c+ZMTZkyheMqgUP1K5WOLW4JCgCAYUbMsjkAAKmC8AYAwDCENwAAhiG8AQAw\nDOENAIBF6urqVFxcrMcff7zf59TU1GjRokXxf04//XS99dZbA+6Xq80B9HHzzTfrlFNO0QUXXDDc\npQDGam9v11VXXaWJEydqypQpfe6gl0hra6uuvvpqPfbYY7Lb+59fM/MGAMACiW7Cs2vXLi1evFhL\nlizR1VdfrdbW1l6vefjhh7VkyZIBg1saQV/SAox09fX1uvHGGyVJnZ2dKi0t1cSJE3XPPfcoLS1N\nnZ2dKi8vV35+fq/X3XffffG7VY0ePVo/+9nP5HK5VFBQoAULFigajaqmpkbXX3+9Zs6cKUm6/PLL\ntWjRIhUVFQ3tmwQOI06nU05n75i98847dccdd2jixIlat26d1q1bp+9///uSDv53+fLLL+u66647\n9L4tqRjAYee5557Tcccdp5/85Cfq6urS008/rebmZt1+++2aOnWqnn32WT300EO6//77468Jh8PK\nzMzUE088IbvdrqVLl+rll1/W7Nmz1d7erqKiIhUWFuqZZ57RH//4R82cOVPNzc364IMPdNZZZw3j\nuwUOTzt27NBtt90mSeru7ta0adPiY5s3b9bZZ599yFm3RHgDI8ZZZ52lJ554QjfffLOKiopUWlqq\n2tparVp4fKpkAAACD0lEQVS1Sl1dXWpra1N2dnav1zidTtntdi1cuFBOp1Pvv/++mpqaJB2801xB\nQYEkad68efrFL36hAwcO6IUXXtB5552X1P8BASNNZmamHnvsMdlstj5jW7Zs0UUXXZTUfvivCxgh\n8vLytHHjRn37299WdXW1Fi1apJtuuklXXHGF1q1bp+uvv77Pa95880394Q9/0COPPKLHH39cp556\naq9xl8slSUpPT1dJSYleeOEFVVVV6Tvf+c6QvCfANFOnTtWLL74oSdq4cWP8lJR08KrzqVOnJrUf\nZt7ACPGXv/xF48aN0xlnnKGZM2dqzpw5am5u1gknnKBIJKLnn38+fself/n00081btw4ZWVlaf/+\n/XrnnXd0xhlnJNx/aWmpbrnlFrndbk2YMGEo3hJwWEt0E55ly5Zp9erVWrt2rdLT07V69er481tb\nW+N3bzwUPioGjBDvvvuuysvLlZaWplgspnnz5qmtrU3PPvusxo4dq6VLl+qmm27SZZddpvfee0+n\nnHKK5s+fr6VLl8pms+mEE07QtGnTtGbNGj366KOaO3euamtre12Qs2DBAn33u9/VueeeO4zvFEh9\nhDeAr8S+fft05ZVX6k9/+lN8OR2ANVg2B/ClPfjgg9q0aZPuvPNOghsYAsy8AQAwDFebAwBgGMIb\nAADDEN4AABiG8AYAwDCENwAAhiG8AQAwzP8HXYM6OaBCWUMAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0xac9dec8c>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Seçilen iki özelliğin görselleştirilmesi\n",
    "features = ['salary', 'bonus']\n",
    "data = featureFormat(data_dict, features)\n",
    "\n",
    "for point in data:\n",
    "    salary = point[0]\n",
    "    bonus = point[1]\n",
    "    plt.scatter(salary, bonus)\n",
    "    \n",
    "plt.xlabel(\"salary\")\n",
    "plt.ylabel(\"bonus\")\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Grafikte görüldüğü üzere değerlerin çoğunluğu sol altta birikirken, tek bir değer grafiğin sağ üst köşesinde yer almaktadır. Anormal bir durum olduğu aşikar. Bu değeri alt hücrede yer alan kodlarla belirlediğimizde, verinin **'TOTAL'**e ait olduğu anlaşılmıştır. Bu demek oluyor ki, veri setinde yer alan tüm kişilere ait özelliklerin değerleri toplamı da veri setine dahildir. Dolayısıyla analiz ve modellemelerde olumsuz etki yaratacağından **'TOTAL'**, veri setinden çıkarılmıştır. Aynı zamanda, daha önce bahsedildiği üzere hiçbir değere sahip olmayan **'LOCKHART EUGENE E'**, herhangi bir etki yaratmayacağından bu aşamada veri setinden çıkarılmıştır.  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "TOTAL\n"
     ]
    }
   ],
   "source": [
    "# En yüksek 'salary' değerinin bulunması\n",
    "salary = []\n",
    "for k in data_dict:\n",
    "    if data_dict[k]['salary'] != 'NaN':\n",
    "        salary.append(data_dict[k]['salary'])\n",
    "for k in data_dict:\n",
    "    if data_dict[k]['salary'] == max(salary):\n",
    "        print k"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'bonus': 97343619,\n",
       " 'deferral_payments': 32083396,\n",
       " 'deferred_income': -27992891,\n",
       " 'director_fees': 1398517,\n",
       " 'email_address': 'NaN',\n",
       " 'exercised_stock_options': 311764000,\n",
       " 'expenses': 5235198,\n",
       " 'from_messages': 'NaN',\n",
       " 'from_poi_to_this_person': 'NaN',\n",
       " 'from_this_person_to_poi': 'NaN',\n",
       " 'loan_advances': 83925000,\n",
       " 'long_term_incentive': 48521928,\n",
       " 'other': 42667589,\n",
       " 'poi': False,\n",
       " 'restricted_stock': 130322299,\n",
       " 'restricted_stock_deferred': -7576788,\n",
       " 'salary': 26704229,\n",
       " 'shared_receipt_with_poi': 'NaN',\n",
       " 'to_messages': 'NaN',\n",
       " 'total_payments': 309886585,\n",
       " 'total_stock_value': 434509511}"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Belirlenen aykırı ve diğer verilerin veri setinden çıkarılması\n",
    "data_dict.pop('THE TRAVEL AGENCY IN THE PARK', 0)\n",
    "data_dict.pop('LOCKHART EUGENE E', 0)\n",
    "data_dict.pop('TOTAL', 0)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Tespit edilen aykırı değer **'TOTAL'**in veri setinden çıkarılması sonrasında *'salary'* ve *'bonus'* özelliklerimizi bu işlem sonrası tekrar görselleştirdiğimizde veri noktaları yoğunluğunun dışındaki bazı değerler dikkat çekiyor. Bu değerlerin kime ait olduğunu öğrenmek için *'salary'*, yani maaş miktarlarına göre en yüksek 4 değeri ve *'bonus'* miktarlarına göre en yüksek 3 değeri sıraladığımızda, ikisinde de 'SKILLING JEFFREY K' ve 'LAY KENNETH L'e ait değerler olduğunu saptıyoruz. Görsele ilk bakışta hem X hem de Y ekseninde bu iki değer uç noktalarda gözükse de bu değerlere sahip iki isim Enron'un CEO'su ve yönetim kurulu başkanı olarak skandalın kilit isimleri olması nedeniyle araştırmamızda önem arz ediyor. Çünkü Jeffrey Skilling ve Kenneth Lay'i analizin dışında tutmak tüm Enron hikayesini değiştirmek anlamına gelir. Veri setinde aykırı değer tespitini tamamlayarak bir sonraki aşama olan özellik(feature) seçimine geçiyoruz."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAgkAAAFYCAYAAADZWG83AAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJzs3X141PWd7//nd25DyEwmk0wsIIIRuWkLEQ7LTSClVGGL\n7bq4Faoptuda7W/9KV09J4tS1nrw2p8LLSdenu5ytb3EnuZiV+GS326XthioR+BXlzQuDUuxC2Jc\nrAg2M5NkkpnczP3vD8xAzJdJ0ExuyOvxl9/v5zuf+czbhLznc2uk0+k0IiIiIh9hGekGiIiIyOik\nJEFERERMKUkQERERU0oSRERExJSSBBERETGlJEFERERM2Ua6AaNNIBAe8jqLivJpa+sa8nqvF4pP\ndorPwBSj7BSf7MZ7fHw+11XL1JMwDGw260g3YVRTfLJTfAamGGWn+GSn+FydkgQRERExpSRBRERE\nTClJEBEREVNKEkRERMSUkgQRERExpSRBRERETClJEBEREVNKEkRERMSUkgQRERExlbNtmTs7O3ni\niSdob28nHo/zyCOPMGPGDB5//HGSySQ+n48dO3bgcDjYv38/tbW1WCwW1q9fz7p164jH42zevJmL\nFy9itVrZtm0bU6dO5cyZM2zduhWAWbNm8fTTTwOwa9cu6urqMAyDjRs3smLFCsLhMNXV1YTDYfLz\n86mpqcHj8eTqI8s4l4pGSbS3YyssxOJ0jnRzREQ+sZwlCf/8z//MzTffTHV1Nc3NzXzjG99g/vz5\nVFVVsWbNGp599ln27dvH2rVr2blzJ/v27cNut3PPPfewatUqDh8+jNvtpqamhtdff52amhqee+45\nnnnmGbZs2cK8efOorq7m6NGjlJWVceDAAfbs2UMkEqGqqorly5dTW1vLokWLePDBB9m7dy/PP/88\nmzZtytVHlnEqnUwSeHkPkRONJFpbsXm9FMxfgG/dvRhWbfcqImNXzoYbioqKCIVCAHR0dFBUVERD\nQwO33347ACtXrqS+vp6TJ08yd+5cXC4XeXl5LFiwgMbGRurr61m1ahUAFRUVNDY2EovFuHDhAvPm\nzetTR0NDA5WVlTgcDrxeL1OmTKGpqalPHb3Pigy1wMt7CL36SxItLZBOk2hpIfTqLwm8vGekmyYi\n8onkLEn40pe+xMWLF1m1ahUbNmzgiSeeoLu7G4fDAUBxcTGBQIBgMIjX6828zuv19rtvsVgwDINg\nMIjb7c48ey11FBcX4/f7c/VxZZxKRaNETjSalkVOnCAVjQ5zi0REhk7Ohhv+5V/+hcmTJ/PCCy9w\n5swZtmzZ0qc8nU6bvu5a7g/Fsx9VVJSfkxPBsh3FKWM3Pt0fdJJobTUtS7S14rYmmOAr+cTvM1bj\nM5wUo+wUn+wUH3M5SxIaGxtZvnw5ALNnz8bv9zNhwgR6enrIy8ujubmZ0tJSSktLCQaDmdf5/X5u\nu+02SktLCQQCzJ49m3g8TjqdxufzZYYwgD51nDt3zvR+IBDA5XJl7g0kF2eK+3wuAoHwkNd7vRjL\n8Uklbdi83ktDDR9hK/LSkbQR+YSfbSzHZ7goRtkpPtmN9/hkS5ByNtwwbdo0Tp48CcCFCxeYOHEi\ny5Yt4+DBgwAcOnSIyspKysvLOXXqFB0dHXR2dtLY2MjChQtZtmwZdXV1ABw+fJjFixdjt9spKyvj\n+PHjfepYsmQJR44cIRaL0dzcjN/vZ8aMGX3q6H1WZChZnE4K5i8wLSuYP1+rHERkTDPSg+2Hv0ad\nnZ1s2bKFlpYWEokEjz76KLfccgtPPPEE0WiUyZMns23bNux2O3V1dbzwwgsYhsGGDRu46667SCaT\nPPnkk7z77rs4HA62b9/OpEmTaGpq4qmnniKVSlFeXs63v/1tAHbv3s3PfvYzDMPgscceY+nSpXR2\ndrJp0yZCoRBut5sdO3bgcmXvUspFNjnes9SBjPX4XF7dcIJEWyu2Ii8F8+cP2eqGsR6f4aAYZaf4\nZDfe45OtJyFnScJYpSRh+F0v8cnVPgnXS3xySTHKTvHJbrzHJ1uSkLM5CSLjjcXpxDGIeS8iImOF\ntmUWERERU0oSRERExJSSBBERETGlJEFERERMKUkQERERU0oSRERExJSSBBERETGlJEFERERMKUkQ\nERERU0oSRERExJSSBBERETGlJEFERERMKUkQERERU0oSRERExJSSBBERETGlJEFERERMKUkQERER\nU0oSRERExJSSBBERETGlJEFERERMKUkQERERU0oSRERExJSSBBERETGlJEFERCTHYskULT0xYsnU\nSDflmthyVfHLL7/M/v37M9dvvvkmBw4c4PHHHyeZTOLz+dixYwcOh4P9+/dTW1uLxWJh/fr1rFu3\njng8zubNm7l48SJWq5Vt27YxdepUzpw5w9atWwGYNWsWTz/9NAC7du2irq4OwzDYuHEjK1asIBwO\nU11dTTgcJj8/n5qaGjweT64+soiISB/JdJpX3gtyOhQhFEvgcdiY4ylgzU0lWA1jpJs3ICOdTqdz\n/SZvvPEGr7zyCj09PXzuc59jzZo1PPvss3zqU59i7dq13H333ezbtw+73c4999zDP/zDP3D48GF+\n+9vf8j/+x//g9ddfZ9++fTz33HPcf//9bNq0iXnz5lFdXc1dd91FWVkZjz76KHv27CESiVBVVcUv\nfvELfvCDH5CXl8eDDz7I3r17ee+999i0aVPWtgYC4SH//D6fKyf1Xi8Un+wUn4EpRtkpPtnlMj4/\n/32AY/5Qv/sVpR6+PM2Xk/e8Vj6f66plwzLcsHPnTh5++GEaGhq4/fbbAVi5ciX19fWcPHmSuXPn\n4nK5yMvLY8GCBTQ2NlJfX8+qVasAqKiooLGxkVgsxoULF5g3b16fOhoaGqisrMThcOD1epkyZQpN\nTU196uh9VkREZDjEkilOhyKmZadDkTEx9JCz4YZev/3tb5k0aRI+n4/u7m4cDgcAxcXFBAIBgsEg\nXq8387zX6+1332KxYBgGwWAQt9udeba3Do/HM2AdxcXF+P3+AdtbVJSPzWYdks9+pWyZmig+A1F8\nBqYYZaf4ZJeL+Pg7o4RiCdOy9lgCuysP30TnkL/vUMp5krBv3z7uvvvufvevNspxLfeH4tmPamvr\nGtRz10JdfdkpPtkpPgNTjLJTfLLLVXziyRQeh402k0Sh0GEjHu4h0BUb8ve9ViM63NDQ0MD8+fMB\nyM/Pp6enB4Dm5mZKS0spLS0lGAxmnvf7/Zn7gUAAgHg8TjqdxufzEQpdHtu5Wh1X3u+to/eeiIjI\ncHBYLczxFJiWzfEU4LCO/gWGOW1hc3MzEydOzAwxVFRUcPDgQQAOHTpEZWUl5eXlnDp1io6ODjo7\nO2lsbGThwoUsW7aMuro6AA4fPszixYux2+2UlZVx/PjxPnUsWbKEI0eOEIvFaG5uxu/3M2PGjD51\n9D4rIiIyXNbcVEJFqYcihw0DKHLYqCj1sOamkpFu2qDkdLghEAj0mSvwrW99iyeeeIK9e/cyefJk\n1q5di91up7q6mgceeADDMHjkkUdwuVzceeedHDt2jPvuuw+Hw8H27dsB2LJlC0899RSpVIry8nIq\nKioAWL9+PRs2bMAwDLZu3YrFYsmshKiqqsLtdrNjx45cflwREZE+rIbBl6f5WH1jMeF4ApfdNiZ6\nEHoNyxLIsURLIIef4pOd4jMwxSg7xSe78R6fEV8CKSIiImOPkgQRERExpSRBRERETClJEBEREVNK\nEkRERMSUkgQRERExpSRBRERETClJEBEREVNKEkRERMSUkgQRERExpSRBRERETClJEBEREVNKEkRE\nRMSUkgQRERExpSRBRERETClJEBEREVNKEkRERMSUkgQRERExpSRBRERETClJEBEREVNKEkRERMSU\nkgQRERExpSRBRERETClJEBEREVO2XFa+f/9+du3ahc1m4y//8i+ZNWsWjz/+OMlkEp/Px44dO3A4\nHOzfv5/a2losFgvr169n3bp1xONxNm/ezMWLF7FarWzbto2pU6dy5swZtm7dCsCsWbN4+umnAdi1\naxd1dXUYhsHGjRtZsWIF4XCY6upqwuEw+fn51NTU4PF4cvmRRURErhs560loa2tj586dvPjii/zw\nhz/k//yf/8P3v/99qqqqePHFF5k2bRr79u2jq6uLnTt38pOf/ITdu3dTW1tLKBTi5z//OW63m5de\neomHHnqImpoaAJ555hm2bNnCnj17iEQiHD16lPPnz3PgwAFefPFFfvSjH7Ft2zaSySS1tbUsWrSI\nl156idWrV/P888/n6uOKiIhcd3KWJNTX17N06VIKCgooLS3lb/7mb2hoaOD2228HYOXKldTX13Py\n5Enmzp2Ly+UiLy+PBQsW0NjYSH19PatWrQKgoqKCxsZGYrEYFy5cYN68eX3qaGhooLKyEofDgdfr\nZcqUKTQ1NfWpo/dZERERGZycDTe8//779PT08NBDD9HR0cG3vvUturu7cTgcABQXFxMIBAgGg3i9\n3szrvF5vv/sWiwXDMAgGg7jd7syzvXV4PJ4B6yguLsbv9+fq44qIiFx3cjonIRQK8fd///dcvHiR\nr3/966TT6UzZlf99pWu5PxTPflRRUT42m3VQz14Ln8815HVeTxSf7BSfgSlG2Sk+2Sk+5nKWJBQX\nFzN//nxsNhs33XQTEydOxGq10tPTQ15eHs3NzZSWllJaWkowGMy8zu/3c9ttt1FaWkogEGD27NnE\n43HS6TQ+n49QKJR59so6zp07Z3o/EAjgcrky9wbS1tY1tIHg0g9fIBAe8nqvF4pPdorPwBSj7BSf\n7MZ7fLIlSDmbk7B8+XJ+/etfk0qlaGtro6uri4qKCg4ePAjAoUOHqKyspLy8nFOnTtHR0UFnZyeN\njY0sXLiQZcuWUVdXB8Dhw4dZvHgxdrudsrIyjh8/3qeOJUuWcOTIEWKxGM3Nzfj9fmbMmNGnjt5n\nRUREZHBy1pNwww038Md//MesX78egCeffJK5c+fyxBNPsHfvXiZPnszatWux2+1UV1fzwAMPYBgG\njzzyCC6XizvvvJNjx45x33334XA42L59OwBbtmzhqaeeIpVKUV5eTkVFBQDr169nw4YNGIbB1q1b\nsVgs3H///WzatImqqircbjc7duzI1ccVERG57hjpwQ7WjxO56HIa711ZA1F8slN8BqYYZaf4ZDfe\n4zMiww0iIiIytilJEBEREVNKEkRERMSUkgQRERExpSRBRERklIrHk7S3dROPJ0fk/XO646KIiIhc\nu1QqxbHX3uHc2SCRjigFbic3zyyh4gu3YLEM3/d7JQkiIiKjzLHX3uHU8QuZ60hHNHO9/I5bh60d\nGm4QEREZReLxJOfOBk3L3j0bHNahByUJIiIio0hXJEakI2paFglH6YrEhq0tShJERERGkfwCBwVu\np2lZgctJfoFj2NqiJEFERGQUsdut3DyzxLRs+swS7HbrsLVFExdFRERGmYov3AJcmoMQCUcpcDmZ\n/uHqhuGkJEFERGSUsVgsLL/jVhavKKMrEiO/wDGsPQi9lCSIiIiMUna7lcKiCSP2/pqTICIiIqaU\nJIiIiIgpJQky6sSSKVp6YsSSqZFuiojIuKY5CTJqJNNpXnkvyOlQhFAsgcdhY46ngDU3lWA1jJFu\nnojIuKMkQUaNV94Lcswfyly3xRKZ6y9P841Us0RExi0NN8ioEEumOB2KmJadDkU09CAiMgKUJMio\nEI4nCMUSpmWhWIJw3LxMRERyR0mCjAouuw2Pw3z0y+Ow4bJrZExEZLgpSZBRwWG1MMdTYFo2x1OA\nw6ofVRGR4aavZzJqrLnp0oEmZqsbRERk+OUsSWhoaODRRx/l1ltvBWDmzJk8+OCDPP744ySTSXw+\nHzt27MDhcLB//35qa2uxWCysX7+edevWEY/H2bx5MxcvXsRqtbJt2zamTp3KmTNn2Lp1KwCzZs3i\n6aefBmDXrl3U1dVhGAYbN25kxYoVhMNhqqurCYfD5OfnU1NTg8fjydVHlk/Iahh8eZqP1TcWE44n\ncNlt6kEQERlBOf0XeNGiRezevZvdu3fzne98h+9///tUVVXx4osvMm3aNPbt20dXVxc7d+7kJz/5\nCbt376a2tpZQKMTPf/5z3G43L730Eg899BA1NTUAPPPMM2zZsoU9e/YQiUQ4evQo58+f58CBA7z4\n4ov86Ec/Ytu2bSSTSWpra1m0aBEvvfQSq1ev5vnnn8/lx5Uh4rBaKM5zKEEQERlhw/qvcENDA7ff\nfjsAK1eupL6+npMnTzJ37lxcLhd5eXksWLCAxsZG6uvrWbVqFQAVFRU0NjYSi8W4cOEC8+bN61NH\nQ0MDlZWVOBwOvF4vU6ZMoampqU8dvc+KiIjI4OR0TkJTUxMPPfQQ7e3tbNy4ke7ubhwOBwDFxcUE\nAgGCwSBerzfzGq/X2+++xWLBMAyCwSButzvzbG8dHo9nwDqKi4vx+/25/LgiIiLXlZwlCdOnT2fj\nxo2sWbOG8+fP8/Wvf51kMpkpT6fTpq+7lvtD8exHFRXlY7MN/ZndPp9ryOu8nig+2Sk+A1OMslN8\nslN8zOUsSbjhhhu48847AbjpppsoKSnh1KlT9PT0kJeXR3NzM6WlpZSWlhIMBjOv8/v93HbbbZSW\nlhIIBJg9ezbxeJx0Oo3P5yMUurxt75V1nDt3zvR+IBDA5XJl7g2kra1rCKNwic/nIhAID3m91wvF\nJzvFZ2CKUXaKT3bjPT7ZEqSczUnYv38/L7zwAgCBQICWlhb+7M/+jIMHDwJw6NAhKisrKS8v59Sp\nU3R0dNDZ2UljYyMLFy5k2bJl1NXVAXD48GEWL16M3W6nrKyM48eP96ljyZIlHDlyhFgsRnNzM36/\nnxkzZvSpo/dZERERGRwjPdh++GsUiUT4q7/6Kzo6OojH42zcuJE5c+bwxBNPEI1GmTx5Mtu2bcNu\nt1NXV8cLL7yAYRhs2LCBu+66i2QyyZNPPsm7776Lw+Fg+/btTJo0iaamJp566ilSqRTl5eV8+9vf\nBmD37t387Gc/wzAMHnvsMZYuXUpnZyebNm0iFArhdrvZsWMHLlf2LqVcZJPjPUsdiOKTneIzMMUo\nO8Unu/Een2w9CTlLEsYqJQnDT/HJTvEZmGKUneKT3XiPz4gMN4iIiMjYpiRBRERETClJEBEREVNK\nEkRERMSUkgQRERExpSRBRERETClJEBEREVNKEkRERMSUkgQRERExpSRBRERETClJEBEREVNKEkRE\nRMSUkgQRERExpSRBRERETClJEBEREVNKEkRERMSUkgQRERExNagkob29nbfffhuAX/3qV+zcuZNA\nIJDThomIiMjIGlSSsGnTJvx+P++++y7bt2/H4/Hw13/917lum4wT8ViC9rZu4vHkSDdFRESuYBvM\nQ93d3Sxbtowf/vCHbNiwgfvuu49XX301122T61wqleLYa+/w3juttLd1U+B2cvPMEiq+cAsWi0bC\nRERG2qD+Je7u7qa1tZWDBw/y+c9/nnQ6TXt7e67bJte5Y6+9w6njF2hv6wYg0hHl1PELHHvtnRFu\nmYiIwCCThD/5kz9h9erVLFmyhEmTJrFz504WL16c67bJdSweT3LubNC07N2zQQ09iIiMAoMabvjG\nN77BN77xjT7XLpcrZ42S619XJEakI2paFglH6YrEKCyaMMytEhGRKw0qSaiqqsIwjH73//Ef/3HI\nGyTjQ36BgwK30zRRKHA5yS9wjECrRETkSoNKEh577LHMf8fjcX7961+Tn5+fs0bJ9c9ut3LzzBJO\nHb/Qr2z6zBLsdusItEpERK40qCRh0aJFfa6XLVvGN7/5zQFf19PTw5e//GUefvhhli5dyuOPP04y\nmcTn87Fjxw4cDgf79++ntrYWi8XC+vXrWbduHfF4nM2bN3Px4kWsVivbtm1j6tSpnDlzhq1btwIw\na9Ysnn76aQB27dpFXV0dhmGwceNGVqxYQTgcprq6mnA4TH5+PjU1NXg8nmsMj+RSxRduAeD8O620\nh7opcDmZ/uHqBhERGXmDShLOnz/f5/qDDz7g3LlzA77uBz/4AYWFhQB8//vfp6qqijVr1vDss8+y\nb98+1q5dy86dO9m3bx92u5177rmHVatWcfjwYdxuNzU1Nbz++uvU1NTw3HPP8cwzz7BlyxbmzZtH\ndXU1R48epaysjAMHDrBnzx4ikQhVVVUsX76c2tpaFi1axIMPPsjevXt5/vnn2bRp08cIkeSKxWJh\n+R234vnKBH7/biv5BQ71IIiIjCKDnrjYyzAMCgoK2LhxY9bXvPPOOzQ1NfH5z38egIaGhsw3/5Ur\nV/LjH/+Ym2++mblz52YmQS5YsIDGxkbq6+tZu3YtABUVFWzZsoVYLMaFCxeYN29epo76+noCgQCV\nlZU4HA68Xi9TpkyhqamJ+vp6/vZv/zbz7EMPPXQNYZHhZHfYNElRRGQUGlSS8Nprr11zxd/97nf5\nzne+w09/+lPg0l4LDselyWjFxcUEAgGCwSBerzfzGq/X2+++xWLBMAyCwSButzvzbG8dHo9nwDqK\ni4vx+/2DandRUT4229B/m/X5tBokG8UnO8VnYIpRdopPdoqPuUElCW+//TYvv/wy7e3tpNPpzP3v\nfe97ps//9Kc/5bbbbmPq1Kmm5VfW8XHvD8WzZtraugb97GD5fC4CgfCQ13u9UHyyU3wGphhlp/hk\nN97jky1BGvTqhjVr1jBnzpxBveGRI0c4f/48R44c4Q9/+AMOh4P8/Hx6enrIy8ujubmZ0tJSSktL\nCQYvb6jj9/u57bbbKC0tJRAIMHv2bOLxOOl0Gp/PRygUyjx7ZR1Xzo+48n4gEMDlcmXuiYiIyOAN\nKkkoKSkZcA7ClZ577rnMf//d3/0dU6ZM4cSJExw8eJA//dM/5dChQ1RWVlJeXs6TTz5JR0cHVquV\nxsZGtmzZQiQSoa6ujsrKSg4fPszixYux2+2UlZVx/PhxFi5cyKFDh7j//vuZPn06//t//2++9a1v\n0dbWht/vZ8aMGSxbtoy6ujoefvjhzPuJiIjI4A0qSfjc5z7H66+/zqJFi7DZLr/kWg7h+da3vsUT\nTzzB3r17mTx5MmvXrsVut1NdXc0DDzyAYRg88sgjuFwu7rzzTo4dO8Z9992Hw+Fg+/btAGzZsoWn\nnnqKVCpFeXk5FRUVAKxfv54NGzZgGAZbt27FYrFw//33s2nTJqqqqnC73ezYseNa4iIiIjLuGelB\nDNgvXLiQSCTS94WGwenTp3PWsJGSi3Gp8T7eNRDFJzvFZ2CKUXaKT3bjPT6feE7C8ePHh6wxIiIi\nMjYMKkno7OzkJz/5CadOncIwDObPn8/Xv/518vLyct0+ERERGSGDmlTwne98h0gkwr333sv69esJ\nBAI8+eSTuW6biIiIjKBB9SQEg0GeffbZzPXKlSu5//77c9YoERERGXmD6kno7u6mu7s7c93V1UU0\n2v+IXxEREbl+DKon4atf/Sp33nknn/nMZwD43e9+x6OPPprThomIiMjIGlSScOedd9Lc3MwvfvEL\notEo69ev54//+I9z3TYREREZQYMabvjLv/xL3nvvPe6//34eeOAB3nnnHf7bf/tvuW6biIiIjKBB\n9SREIhF27dqVua6qquJrX/tazholIiIiI29QPQnTp0/vc9RyIBBg2rRpOWuUiIiIjLysPQlVVVUY\nhkE0GmXVqlWUlZVhGAbnzp3j05/+9HC1UUREREZA1iThscceG652iIiIyCiTNUlYtGjRcLVDRERE\nRpnBn/UsIiIi44qSBBERETGlJEFERERMKUkQERERU0oSRERExJSSBBERETGlJEFERERMKUmQcSGV\nihOPtpJKxUe6KSIiY8agDngSGavS6RRtFw7RHXqLZLwdq72QCZ5ZFE1ZjWEoRxYRyUZJglzX2i4c\nIhJ4I3OdjLdnrr03fnGkmiUiMiboq5Rct1KpON2ht0zLukNnNfQgIjKAnPUkdHd3s3nzZlpaWohG\nozz88MPMnj2bxx9/nGQyic/nY8eOHTgcDvbv309tbS0Wi4X169ezbt064vE4mzdv5uLFi1itVrZt\n28bUqVM5c+YMW7duBWDWrFk8/fTTAOzatYu6ujoMw2Djxo2sWLGCcDhMdXU14XCY/Px8ampq8Hg8\nufrIMsok42GS8farlLWTjIexOL3D2qZUNEqivR1bYSEWp3NY3zsXovEk7ZEohQVOnHbrSDdHRIZY\nzpKEw4cP89nPfpZvfvObXLhwgT//8z9nwYIFVFVVsWbNGp599ln27dvH2rVr2blzJ/v27cNut3PP\nPfewatUqDh8+jNvtpqamhtdff52amhqee+45nnnmGbZs2cK8efOorq7m6NGjlJWVceDAAfbs2UMk\nEqGqqorly5dTW1vLokWLePDBB9m7dy/PP/88mzZtytVHllHGandhtReaJgpWeyFWu2vY2pJOJgm8\nvIfIiUYSra3YvF4K5i/At+5eDOvY++OaTKXY+1oTJ84GaO2I4nU7mT/Tx1e/MAOrRR2UIteLnP02\n33nnnXzzm98E4IMPPuCGG26goaGB22+/HYCVK1dSX1/PyZMnmTt3Li6Xi7y8PBYsWEBjYyP19fWs\nWrUKgIqKChobG4nFYly4cIF58+b1qaOhoYHKykocDgder5cpU6bQ1NTUp47eZ2X8sFjsTPDMMi2b\n4JmJxWIftrYEXt5D6NVfkmhpgXSaREsLoVd/SeDlPcPWhqG097UmXj3+Pi0dUdJAS0eUV4+/z97X\nmka6aSIyhHKe8t9777381V/9FVu2bKG7uxuHwwFAcXExgUCAYDCI13u5y9fr9fa7b7FYMAyDYDCI\n2+3OPHstdRQXF+P3+3P9cWWUKZqymgLfIqx2D2BgtXso8C2iaMrqYWtDKholcqLRtCxy4gSpaHTY\n2jIUovEkJ84GTMtOnA0SjSeHuUUikis5X92wZ88eTp8+zaZNm0in05n7V/73la7l/lA8+1FFRfnY\nbEPf/evzDV/X9liUy/iUlq4jlYwRj3Zgd7qxWB05ey8z3R90kmhtNS1LtLXitiaY4CvJWsdo+vn5\nINhJa9iRr0uVAAAgAElEQVQ8sWkL92B12PGVTBzmVo2uGI1Gik92io+5nCUJb775JsXFxUyaNIk5\nc+aQTCaZOHEiPT095OXl0dzcTGlpKaWlpQSDwczr/H4/t912G6WlpQQCAWbPnk08HiedTuPz+QiF\nQplnr6zj3LlzpvcDgQAulytzbyBtbV1DGwgu/fAFAuEhr/d6MXzxcUJnFBjeb+6ppA2b13tpqOEj\nbEVeOpI2Ilk+/2j7+UnGk3hdTlo6+sexyJVHMhYf9vaOthiNNopPduM9PtkSpJwNNxw/fpwf//jH\nAASDQbq6uqioqODgwYMAHDp0iMrKSsrLyzl16hQdHR10dnbS2NjIwoULWbZsGXV1dcClSZCLFy/G\nbrdTVlbG8ePH+9SxZMkSjhw5QiwWo7m5Gb/fz4wZM/rU0fusyHCzOJ0UzF9gWlYwf/6YW+XgtFuZ\nP9NnWjZ/ZolWOYhcR4z0YPvhr1FPTw9//dd/zQcffEBPTw8bN27ks5/9LE888QTRaJTJkyezbds2\n7HY7dXV1vPDCCxiGwYYNG7jrrrtIJpM8+eSTvPvuuzgcDrZv386kSZNoamriqaeeIpVKUV5ezre/\n/W0Adu/ezc9+9jMMw+Cxxx5j6dKldHZ2smnTJkKhEG63mx07duByZe9SykU2Od6z1IGMh/hcXt1w\ngkRbK7YiLwXz5w9qdcNojM/l1Q1B2sI9FLnymD+zZMRWN4zGGI0mik924z0+2XoScpYkjFVKEobf\neIrPx9knYTTHZ7TskzCaYzQaKD7Zjff4ZEsStC2zyDCyOJ04BjE3Zqxw2q2UFuWPdDNEJEe064mI\niIiYUpIgIiIippQkiIiIiCklCSIjIJZM0dITI5ZMjXRTRESuShMXRYZRMp3mlfeCnA5FCMUSeBw2\n5ngKWHNTCVbDGOnmiYj0oSRBZBi98l6QY/7Lu4a2xRKZ6y9PM9+gSERkpGi4QcRENJ7E39Y1pIcV\nxZIpTocipmWnQxENPYjIqKOeBJErXN5JMEBrRxSv28n8mb4h2UkwHE8QiiVMy0KxBOF4guJhPnxK\nRCQbJQkiV9j7WhOvHn8/c93SEc1cV90x8xPV7bLb8DhstJkkCh6HDZddv44iMrpouEHkQ9F4khNn\nA6ZlJ84GP/HQg8NqYY6nwLRsjqcAh1W/jiIyuuiri8iH2iNRWk2OPwZoC/fQHol+4i2I19xUAmC6\nukFEZLRRkiDyocICJ163kxaTRKHIlUdhwSc/0tlqGHx5mo/VNxYTjidw2W3qQRCRUUv/Ool8yGm3\nMn+m+TLE+TNLhvSUQ4fVQnGeQwmCiIxq6kkQucJXvzADuDQHoS3cQ5Erj/kzSzL3RUTGEyUJIlew\nWixU3TGTr6y4hfZIlMIC55D2IIiIjCVKEkRMOO3WTzxJUURkrNOAqIiIiJhSkiAiIiKmlCSIiIiI\nKSUJIiIiYkpJgoiIiJhSkiAiIiKmlCSIiIiIqZzuk/C9732P3/zmNyQSCf7iL/6CuXPn8vjjj5NM\nJvH5fOzYsQOHw8H+/fupra3FYrGwfv161q1bRzweZ/PmzVy8eBGr1cq2bduYOnUqZ86cYevWrQDM\nmjWLp59+GoBdu3ZRV1eHYRhs3LiRFStWEA6Hqa6uJhwOk5+fT01NDR6PJ5cfWa4TsWRKZyuIyMcW\njyfpisTIL3BgH8MbsuUsSfj1r3/N22+/zd69e2lra+Puu+9m6dKlVFVVsWbNGp599ln27dvH2rVr\n2blzJ/v27cNut3PPPfewatUqDh8+jNvtpqamhtdff52amhqee+45nnnmGbZs2cK8efOorq7m6NGj\nlJWVceDAAfbs2UMkEqGqqorly5dTW1vLokWLePDBB9m7dy/PP/88mzZtytVHlutAMp3mlfeCpqc0\nWg1jpJsnIqNcKpXi2GvvcO5skEhHlAK3k5tnllDxhVuwWMbeF46ctfiP/uiP+F//638B4Ha76e7u\npqGhgdtvvx2AlStXUl9fz8mTJ5k7dy4ul4u8vDwWLFhAY2Mj9fX1rFq1CoCKigoaGxuJxWJcuHCB\nefPm9amjoaGByspKHA4HXq+XKVOm0NTU1KeO3mdFsnnlvSDH/CHaYgnSQFsswTF/iFfeC45000Rk\nDDj22jucOn6ByIenyUY6opw6foFjr70zwi37eHKWJFitVvLzL21ru2/fPj73uc/R3d2Nw+EAoLi4\nmEAgQDAYxOv1Zl7n9Xr73bdYLBiGQTAYxO12Z569ljqKi4vx+/25+rhyHYglU5wORUzLTocixJKp\nYW6RiIwl8XiSc2fNv1C8ezZIPJ4c5hZ9cjk/u+HVV19l3759/PjHP2b16tWZ++l02vT5a7k/FM9+\nVFFRPjbb0I8f+XyuIa/zejIa4uPvjBKKJUzL2mMJ7K48fBOdw9yqS0ZDfEY7xSg7xSe7oYhPa7CT\nSDhqWhYJR8lz2PGWTPzE7zOccpok/OpXv+KHP/whu3btwuVykZ+fT09PD3l5eTQ3N1NaWkppaSnB\n4OXMy+/3c9ttt1FaWkogEGD27NnE43HS6TQ+n49QKJR59so6zp07Z3o/EAjgcrky9wbS1tY1tEHg\n0g9fIBAe8nqvF6MlPvFkCo/DRptJolDosBEP9xDoig17u0ZLfEYzxSg7xSe7oYpPPJ6kwOXMDDVc\nqcDlpCcWH5X/H7IlSDkbbgiHw3zve9/jRz/6UWZFQUVFBQcPHgTg0KFDVFZWUl5ezqlTp+jo6KCz\ns5PGxkYWLlzIsmXLqKurA+Dw4cMsXrwYu91OWVkZx48f71PHkiVLOHLkCLFYjObmZvx+PzNmzOhT\nR++zIlfjsFqY4ykwLZvjKdAqBxHJym63cvPMEtOy6TNLxuQqh5z1JBw4cIC2tjYee+yxzL3t27fz\n5JNPsnfvXiZPnszatWux2+1UV1fzwAMPYBgGjzzyCC6XizvvvJNjx45x33334XA42L59OwBbtmzh\nqaeeIpVKUV5eTkVFBQDr169nw4YNGIbB1q1bsVgs3H///WzatImqqircbjc7duzI1ceV68Samy79\ngputbhARGUjFF24BLs1BiISjFLicTP9wdcNYZKQHO1g/TuSiK0hdfdmNxviMpn0SssUnlYqTjIex\n2l1YLPZhbtnoMRp/hkYTxSe7XMRnLO2TkG24IecTF0XGIofVQrHVMdLNuKp0OkXbhUN0h94iGW/H\nai9kgmcWRVNWYxgaFhEZaXa7lcKiCSPdjE9MSYKMKqPpG/xo1nbhEJHAG5nrZLw9c+298Ysj1SwR\nuc4oSZBRQTsdDl4qFac79JZpWXfoLKnJt4/roQcRGTr6qiajgnY6HLxkPEwy3n6VsnaScY09i8jQ\nUJIgIy6qnQ6vidXuwmovvEpZIVa7Ns0RkaGhJEFGXHtP/Ko7HYZiCcJx87LxymKxM8Ezy7Rsgmem\nhhpEZMhoToKMuMI8+1V3OvQ4bLjs+jH9qKIpl7Y47w6dvWJ1w8zMfRGRoaB/fWXEOT/c6fCYP9Sv\nTDsdmjMMC94bv0hq8u3aJ0FEckZJgowKH3enw7G0YUkuWCx2LM5LJ52molES7e3YCguxOEfmICoR\nub4oSZBRwWoYfHmaj9U3Fg9qn4RUKsWx197h3NkgkY4oBW4nN3+49anFMr56HtLJJIGX9xA50Uii\ntRWb10vB/AX41t2LYR1/iZOIDB0lCTKqDHanw2OvvcOp4xcy15GOaOZ6+R235qx9o1Hg5T2EXv1l\n5jrR0pK5Lr33ayPVLBG5Doyvr1xyXYjHk5w7a75/wrtng8TjyWFu0chJRaNETjSalkVOnCAVNT/b\nXkRkMJQkyJjTFYmZntcOEAlH6YrEhrlFIyfR3k6itdW8rK2VRLv5pksiIoOhJEHGnPwCBwVu84l5\nBS4n+QXZhytiyRiBrhZiybGfTNgKC7F5veZlRV5sheabLomIDIbmJMiYY7dbuXlmSZ85Cb2mzyy5\n6iqHZCrJPzX9gt8GfkdbNESR08M832f4sxlfwmoZmxP8LE4nBfMX9JmT0GvivHla7SAin4iSBBmT\nKr5wC3BpDkIkHKXA5WT6h6sbruafmn7Bkfdfz1y3Rtsy1+tm3pXbBueQb929wKU5CIm2VqyeIqwT\nJ9L525O0Hzms1Q4i8rEpSZAxyWKxsHhFGXPKJ0Ea3EUTsu6TEEvG+G3gd6Zlp4K/409v+SKOQayq\nGI0Mq5XSe79Gyd33kGhvp+1QHe1HXsuUa7WDiHxcShJkzPk4eyS0R8O0Rfvv6AjQ2hOiPRrGl1+c\ny2bnnMXpxFZYSOepk6blkRMnKLn7Hg09iMigaeKijDm9eyT0rnDo3SPh2Gvv9Hu2d5LiBJuTIqfH\ntL5Cp4cJtok5bfNw0WoHERlK6kmQMWWgPRIWryjDbreaTlKcYJ8A0bZ+r+tKTeEHpz/IbANtNYxc\nfwwAovEk7ZEohQVOnEO0pXTvaodES0v/Mq12EJFrpCRBxpTB7JFQWDTBdJIi0TamFEymJ9FNS08I\nw5iI3TadPOdi2mKJzAFTX57my+lnSKZS7H2tiRNnA7R2RPG6ncyf6eOrX5iB9RNuKZ1ttUPB/Pka\nahCRa6IkQcaU3j0SzBKFiS4nnfEE1p7uq05S7El089iCR/jhf/wn4YQTw+j7K3A6FGH1jcU5O3ky\nloyx+5dn+Nd/v9wb0tIR5dXj7wNQdcfMT/weH13tYCvyUjB/fua+iMhgKUmQMSXbHgnv98T5zo//\nDY/LTjj/Bmw3hTCMdJ9nWntCtPT00JmciNmoQiiWIBxPDOr8iGvRO/zx7384zQf/8Rkgv98zJ84G\n+cqKWz7x0MNHVztonwQR+biUJMiY89E9ErBb+CCW4HwsBUBbOA7h6aRJ45j2Vp/XevM8TJroxuPo\npC2W6Fe3x2HDZR/6X4ve4Y9UzwSI5Zk+0xbuoT0SpbSofwLxcVicThylpUNSl4iMT1rdIKPOQNsm\nWywWlt9xK1/95iK+8ucL+U+nhfNmz4V8uKITsSYv/5jP8JThsFiY4ykwrXuOp2DIhxqu3KPBsEfB\n0WP6XJErj8IC82/80XgSf1sX0Q8Pr/rotYhILuS0J+Hs2bM8/PDD/Nf/+l/ZsGEDH3zwAY8//jjJ\nZBKfz8eOHTtwOBzs37+f2tpaLBYL69evZ926dcTjcTZv3szFixexWq1s27aNqVOncubMGbZu3QrA\nrFmzePrppwHYtWsXdXV1GIbBxo0bWbFiBeFwmOrqasLhMPn5+dTU1ODxmC+Dk5F3rdsm2+1W0jYL\nLeG+yYTFSLNq5jlml7ZQmGfQHi3k7UgexxxtvPGHRt5u+0/m+j7NEt8S3mrvIhRL4HHYMqsbhtqV\nezQY1hTWomaSzTf3e27+zJJ+Qw3JVIrnf3qKfz15gdaOKEUuBxMnOOjqiQ/5pEcRkY/K2b8qXV1d\n/M3f/A1Lly7N3Pv+979PVVUVL774ItOmTWPfvn10dXWxc+dOfvKTn7B7925qa2sJhUL8/Oc/x+12\n89JLL/HQQw9RU1MDwDPPPMOWLVvYs2cPkUiEo0ePcv78eQ4cOMCLL77Ij370I7Zt20YymaS2tpZF\nixbx0ksvsXr1ap5//vlcfVwZAr1d8q3RNtKkM9sm/1PTL676msICJ96PHPa0auY5lk6/SFF+FIsF\niibEWeQLszRamKn36Pv/SjTWwKOfncZ/nzuNRz87jS9P8+Vk+WOh09Vnjwb7TWex3nAOHF1AimK3\nkzsW3shXvzCj32v3vtbE/l/9Jy0dUdJAazjGeX8kc9076XHva01D3m4RkZwlCQ6Hg+eff57SK8ZE\nGxoauP322wFYuXIl9fX1nDx5krlz5+JyucjLy2PBggU0NjZSX1/PqlWrAKioqKCxsZFYLMaFCxeY\nN29enzoaGhqorKzE4XDg9XqZMmUKTU1NferofVZGp4G2Tb7a0IPTbmX+zMtLFu2WJLNL++8RAHCr\nK95n6OFU8HdAguI8R85WMwA4rA7m+T6TuTaMS3Ml8ua+zudWd/P/fHMJVXfM7NcTEI0nOXE2MKj3\nOHE2qKEHERlyORtusNls2Gx9q+/u7sbhuDRrvLi4mEAgQDAYxHvFUbder7fffYvFgmEYBINB3G53\n5tneOjwez4B1FBcX4/f7B2x3UVE+NtvQH4Lj87mGvM7ribUgddVtk9t6QlgLUvgKzGO4cf188ic4\n+PWbH5DoaaUwz3wfhUJnjIlhJx3W7kHVO5BoMkV7T5zCPDvOAZKMvyi+l/yTdo6//1uCXa2U5HtZ\neOM87i//ylVPoPwg2Elr2PyzfFRbuAerw46v5PrYOfLj0O9YdopPdoqPuRFb3ZBOpz/x/aF49qPa\n2roG9dy18PlcBALhIa/3euHzuUhGLBQ5PZc2PfqIojwPyYiFQHeYVCpOMh7Gandhsdgzz3xp0VSW\n3VpCZ6KH8O9/R2Fe/8mB7VEHnZaQab3XIplO88p7QU6HIv3mM5gNV8TjSboiMVbfsJpVk26nPRqm\n0OnCYXXQ2nL1n7dkPInX5aTlKptHXanIlUcyFh+3P2f6HctO8cluvMcnW4I0rElCfn4+PT095OXl\n0dzcTGlpKaWlpQSDlzeW8fv93HbbbZSWlhIIBJg9ezbxeJx0Oo3P5yMUuvyP/JV1nDt3zvR+IBDA\n5XJl7sno1Nslf+Uuib3mlnwGu8VG6/t1dIfeIhlvx2ovZIJnFoWT7qD+8Lk+hz3dOMNlmiR8EHGQ\ntKX61PtxTn585b1gZndG4Kq7NX6cg6iu1DuU0rvRUjZmkx5FRD6pYZ0OXVFRwcGDBwE4dOgQlZWV\nlJeXc+rUKTo6Oujs7KSxsZGFCxeybNky6urqADh8+DCLFy/GbrdTVlbG8ePH+9SxZMkSjhw5QiwW\no7m5Gb/fz4wZM/rU0fusjF5/NuNLfP7G5RTnFWFgUJxXxOdvXM6Xpn2Ri+8cIBJ4g2T80gFFyXg7\nkcAbnG7Y1+ewp65IFzfkt3OuxU17t4NkCtq7HZxrcTOlKIIdg1JbIasn3sbaqXeQikaJ+f2kolf/\ntn7lcsNYMsXpUMT0udOhCLHk5STkWg6iupqvfmEGd1WWUezOw2KA1+VkamkBxW4nFgOK3XlXnfQ4\nlAYTJxG5/hjpwfbDX6M333yT7373u1y4cAGbzcYNN9zA//yf/5PNmzcTjUaZPHky27Ztw263U1dX\nxwsvvIBhGGzYsIG77rqLZDLJk08+ybvvvovD4WD79u1MmjSJpqYmnnrqKVKpFOXl5Xz7298GYPfu\n3fzsZz/DMAwee+wxli5dSmdnJ5s2bSIUCuF2u9mxYwcuV/Zxp1x0OY33rqyBfDQ+sWSM9miYAnsB\n/3z095xq+gP3zq2nKL//H6junjyO/Oq/kEpd+hadP6GbFcv/DYsFYkmDrpidfEcchzVNOgXpUyUk\nT79DsrUV48NdCNM9PdiKiymYvwDfunsxrJfqMjtj4dOzfTS5DMx+aQzgv8+dRnGeg3g8yZ7n3zDd\nPtrldvLVby7CPshv/j6fi/cvhvocBpWLw6HMpJNJAi/vIXKikURrKzavt1+cRgP9jmWn+GQ33uOT\nbbghZ0nCWKUkYfhdGZ8r//j9v0ff4dXj71M0oZtvLf8NZj30qRQcff2P6OqeAIDFkmTFsuPkmyQU\niX8Nk/j37KsFPHesovTerwHw4qtn+3f1Wwxu/NwUEtb+cw+KHDYe/ew0HFYL7W3dvPijBtP3MAy4\n7/9aTGHRhKxt6TWSPz/+Pf9oeljUlXEaDfQ7lp3ik914j8+omZMgcjVm39o7e+IARKIO2nucpj0J\n0VgePVEHllQCZ7KLHms+b/u9lE//gHjaShcTyKcbWyJO9zsR7P1q6Cty4gQld99D3GK7tPzQksSw\nR0nHnZCyQipNNNCF9VP9VxHM8uRnllJmO4iqwOUkv2Boz4bIhVQ0SuREo2lZb5x0JoTI9U1JgowK\ne19r6vOt/coZ/fGUlTP+YpZOv9jvdbHkVG5pPk5J53nyEhFevWEx//L2TN4uvIWuiV66LBPIT3VT\nGnyPz4X/acB2JNpaSbS302abQHvhv+Oc3ozh7CEdzSPZdgOJ87MI/EcLhe73cDinYLEUkEpFSCR+\nT0+PDbgLyH4Q1fSZJYMeahhJifZ2Eq2t5mUfxklnQ4hc35QkyIjriSUG3DTol2cvbWM8q7SFwrwo\nPT1Omv3FxC5MZHr7aQDihpWmvMlMvMVD0HV5P40uy0TOF82gs8CNK9KR9X1sRV5shYUcPfcK9km/\nz9w38nqwfHid8t9MNHaMWNLAYuSTSncBSd5sKWJt8ouZFRMfPYiqwOVk+oerG8YCW2EhNq+XREv/\nzal64yQi1zclCTLi2jqitA6wF0AqbXDwrTJee3sa05wxiqN5pFJW8pKdTDWsWNNJItYJdDgKKCnp\nP9aftNv5/bQyPvu7f8/6PgXz55OwGbzZctq03Frkh7gTw5r6sF2XxzFbe0K0R8P48ouBywdRLV5R\nRlckRn6BY0z0IPSyOJ0UzF9gOiehYP58DTWIjANKEmTEFbkvnb9gtmlQnsPKBLuVts4YDsCTsuLp\nzifFpYmDPZYJRK352K0RUt4kXkcYa97UzOvT6QSpdBcWI5/fLFpNT7yZsosdeDq76JrooiCZgJ5u\nbN5iCubPx7fuXoLR0FV3f7Q4u/Hc8gc64v3LvHkeCp39JwDZ7dbMJMXhWpUwVHzr7gUuzUFItLVi\nK/Jm4iQi1z8lCTKi0ukUgf/8Bbd6A7R0+PqVL583iT+tmM4//vjfiEViWOm7qiAv3cnxLzp5xz2B\nDsBFPZ7oWULOL9ET+w3xxLukU5186vxc3G03EEqt4o2boiQ8E5m5vIw7p/lItLdjKyzMfDPuPZDJ\nbPfH4glFfNo7m19d7H8OSLbNmcwmZo6F0xsNq5XSe79Gyd339IuTiFz/lCTIiGq7cIhI4A1W3Qrp\nVIy3/MW09zjwTIT/MuemzB/RT88uNZ0E2PNfTvKm/fIf2TBpwokgrtReYqlLuy5+6r05lDTfmHnG\nHpuA3Z+i8PfdWGY6+02+G2j3x96jq08Ff0drTwhvnidz/2rMJmb2XlfdMXOQ0Ro5Fmf/OInI9U9J\nggy73rMM8vINukNvAWC1wJo557h95u+JRB0UFkxg2twVme2LPzoJ0D3Rwk03GvzCGYFU//eIfJgg\nGEkL7rYbTNvx+7eDLPl8mek8gd4/+GaJgNViZd3Mu/jTW77Y5xyGq8l2muOJs0G+suKWMTH0ICLj\nj5IEGTb9zzKwU+IpZs6s9sxGSQ5rCm9+D6SiJONhLM7LJ4Euv+NWFi2fhn/PS0RP/5bW5ggdK81n\n2PfuEGaP52GP5Zk+EwlH6YrETDc1Gkwi4LA6MpMUs2mPXH1iZlu4h/ZIlNKi/AHrEREZbkoSZNj0\nnmXQK9IRJ9JxaRjgM3P+s8+zVnshVnv/SYChn75M1+uHAch3GrijKTqc/cf0jVSatMUgbu8h7ujB\nEev/R3gwmxpdmQikotGPNS5fWHD1iZlFrjwKCzTGLyKjk5IEGRbxeJJzZ4OmZc3+YmbPfBer9fK4\nwYTCGX2OggaIRrrwnzyD9cMlj0bSytQ/OPndtBSQ7PNsSThFoNBK2pqio6iZkuab+73vYDc1+qTn\nF2Q7zVGnN4rIaKYkQYZFVyRmukUxXDqkqb2rEK+rjUvHJKXpCp0Fw0LRlNWk05d6Ic6daSbiXolz\nYieRmycQ/lQhnQVuvLEwifi7hFNv4OpMUHYhyrLfdnPqodX8rusczTe9hc3iYGJrKbaondQEK4VT\nC1m8cnCbGgVe3tNnr4BES0vmerDnF/Se0njibJC2cA9FrjzmzyzJ+emNIiKfhJIEyYmPds1f7SwD\nSyoByU7ebraz2AW9swlSiQ4igTcA+I8zt1wepjAs/GHOFCI3XR6KSOYVYuSVc9vpGEv/9RD2JNiK\nS1g3527uthn887l3+XdXkkjKgiWaIuW0cNFq4eD7LXx5Wv9llx/9HENxfoHVYqHqjpl8ZcUtY2qf\nBBEZ35QkyJDK1jU//ZYi3jzxBwCMdIoZwX/LnLlAi434B/nYlhVjWC7vhRBueZtzZy9PTkxZDLpN\ndlQE8E+ZgWG8BiSYUD6PlmQEJw5+H7FiGAZpKyTzL89fOB2KsPrG4syhTGaG+vwCp92qSYoiMmYo\nSZAhdbWu+a633mJSVxch42b8E6cxre1Nbuo4c/mFkQTJ3146V8FeWZK53RXp6dP7kHJaSOb1/QZu\nJFNYoik6J7iITZ5Km8/CP0x9n5Zff5eJhpWY9VYm5C3DMPomA6FYgnA8QXGW5Ys6v2D8iSVThOMJ\nXHZb1gRSZDxQkiBDJlvXfOz8ewDMIsiM4G8wMosU+0qe68K2JIVh7z1yOa/PMIUlmsLakySZb4NU\nmsK325kQ7MbWkyKVZ+XEzEUc9x2B+KX6O9NJSJwh2eWnIP/uPomCx2HDaU0R6Gq56l4HOr9g/Eim\n07zyXpDToQihWAKPw8YcTwFrbirBahgDVyByHVKSIEMmW9f8laxmux/1iiRIdyUxCi/9MXcV39rn\nyGVLKs2EYDeRm1wUvt2O+/3Oy/X2JOl5dwKf6p7NH6b1PaAplWqlp6eeCROWZe7ZaOa7b+yhLRqi\nyOlhnu/yZklX0vkF48Mr7wU55r98ZkdbLJG5Hmjuisj1SkmCDJlsXfODVuCg2ygg35KPq/hWiqas\npmLypaLe3RZvbI7S5c0jEewxrcLVdgPNN75F2to3GUkkz0H6j/A48rAbAZpa/pneiZKt0bbMNszr\nZt7V53U6v+D6F0umOB2KmJYNZu6KyPVKP/UyZHq75vsx2ezoaj7Im8mR+sX8f/+6kP84cwvp9OXd\nFtc/uJA774qyYtm/scLxc6w9CdM6HLE87PH+uyym0938if0o//ecUlojh8FkyONU8HfE/v/27j04\nqvJu4Ph375vdbJLNZbmkXMNNLVCpDoZAYxWwvmhn5BWwTop936ptaau9SprJNDjOiFzsaGk7OiBT\nxd45tfwAABL2SURBVFIol1Z5peEi0MH3jVxEU2BEGhQYAuRCks1mk72d87x/hKRZcxK5JFlIfp//\n9uw5Z8/z2032t895nt+jRbpsn93nkwShHwpEYzREjD9PbWNXhBiIJEkQPSpr3iOkzZyFNSMTzGZs\nM7OxjE823Pei3UuDNRnMZmLuVM6m3sLHKa1JRlNjmKOHK/m/Pafa92+qfhdCBzDpDTgdEZKcxj0J\nEXuIqK3zcx6ziVEZIwhpkS6Xgq4LNeAPB6622eIm57FZSbMbd6ym2a14bNLpKgYm+eT3M4kcmd22\ncJP3Px8h86GHidbXUluzidjY1gGB2mfN0BSDZCvRYR7WR79BmjuJZQsn8uYbR2ls6jxW4fTJWqbm\nj8Zi0dsXgwKwWHQG+S5x+uyXOh2j+5o63WoAuDUlm0HD7ieqx7pcCjrdmUaqo3M5aNG/2S1mbklL\njhuT0OaWtGS51SAGLEkS+olEjszuvHCTg1HjMrkzLx3tQiMmswnbjEysd+mtgxJdFmwWM+73Ykya\nMBhzaoZhggDQGIxQWd9MlieCFvXHPXfL+Nb1HqqqM2gJJ+HxOBg5LpOpd09n6ykb/6w9jj8cwOvw\nMCnzy8wd+yAmk/kLl4LubkVH0X/dP7x16q3R35AQA5VJKWU8F22Aqqnp+a7mrCxPr5y3o/85U2P4\nK2iaL63XR2a/t/tfcQs3tfnyV4cwekhppy93AH/IyfHgA8y7ZwIZXjerlu6Jq4egTNAwJoWQz4Xm\ntJBqtzBcq+AuDmA2xX9kldlLypceIznFHbcWQ0SLdLmCo6ZrbK14p8uloG8kffH5udn1ZIz6Y50E\n+Qx1b6DHJyur695T6UnoBxI5Mru7hZvO/KuO8WPHo9Uf7PTckKETmTjiVgBsdmvcNEdoTRA6ll5u\niGg0MAplCpNn+TDuXJ6MsXgzUjq9RndLOV/JUtBiYLJbzN0W2BJiIOn3ScLzzz9PeXk5JpOJoqIi\nJk2a1KevH45qXKgNEguHsNCMxebptLrhtWpbH8HvdBmOzLZEo2j+ehqDmaS4HVwKNmCNOkhLSb6i\n1Q+7+yXeprkpgr8xRBSwARY6lFQOhGl25JKUaSLm/wQt6sdiSyUpbRze7Nlx55l2T+tiS6dP1tIY\njBDyGZcuPmPKIdd6BnOsvstzXY3uEonroetRtGigR99vIYToa/06STh48CBnzpxh48aNnDp1iqKi\nIjZu3Ngnr63pOhv3VPDRySq+OvQTbh1UR4ojhMWeiittPN7s2Z3KBF+pz6+PQJYPzwMFNNpap/2Z\ndJ07ynYz/PRJ3E1+LmxP4h+Dbey93YEl6iIzOJR8791Mv2csZnPna2jriv9nzfFuCw1pus62Q2c5\nblKEFdiBNBTDMWHChOa0sObMRVKTxjEhbTKzBtmw21MMvzTbpjneOWMkO/dUcK6LaZMB3YZ7zH+T\nZg7dkF/ASunUV+6kpaFjUnR977cQQiRKv/6vVVZWxsyZMwHIycnB7/fT1GTcLd/TNu6pYPfhc3x1\nyCfkjjhPqjOEyQR61E9TzUHqK3de87nb1keIXboESkF1Fdkfl7c/f0fZbm47dghPkx8z4GhsYeLJ\nRmZ82ETM2cLFjFPsqno3bnphR1sr3mHfufeoC9ejUO2FhrZWvNOpjXuOVBK+PEQgAlQDZy/XHwhm\nONEtZuojMcqqA+yu0r/wS/3Q/tOcPVoNsRbD562mCKl2JzZH+g2XIADUV+6kqeZg+zgMrQfebyGE\nSJR+nSTU1tbi9XrbH6enp1NTU9PrrxuOanx4sgabWWOCz7j6YEvDSXQ9etXn7mp9hDsP7+HL0Y9J\ni9Yx/PQnBkfC6Mow1ljrF3jAW8Wpf10kGtXi9oloEf5Zc9zw+I6FhtraaKQBaBjqwj82fvGjjxua\niGhdl2T+9/iGGJHoGcN9YrHTwI1Z2EbXo3HTNDu61vdbCCESqV/fbvi8K5nI4fW6sFqvb3T7hdog\ndYEwac4Iqc6w4T5a1E+aR8fhuro5+S0XgobrI1iSzOQ5PiTaqKM1NRoemxzUcbdo+D1WovYWGsKN\nOO020jPd7ftcbKrpstBQfagBS7JOVrKnvY1GIkD9CA9Wc/zUS38khs3jJMvduWJhVpaHutogTYEw\nUXuIltj/osIxrNYRmM3J6HoTsdgZIpGDWJLvJSv5xqtlEG6u5VzUOPbX+n636W70sWglMeqexKd7\nEh9j/TpJ8Pl81Nb+e+R9dXU1WVndTwesr2++7tfVohrpHgeNTRr+kAOvq/OXqcWWSkPAjDl4ddNu\ndM1quD6CatagWcfmNqF7rBDo/Gu7yW0mmNSaANkiSaQ5UghFonFTfzTN3GWhIa8zDa3JTE1LoL2N\nlxo7t82aZMViMKYg1W4lGghR0xxf9rht+lE0qpHscaA3aVjDTkKm9yFyCLPJha6aAY0Mp7f9Gm40\num7GYksxnPJ5re83yPSsKyEx6p7Ep3sDPT7dJUj9+nZDXl4eO3bsAOD48eP4fD6Sk41LBPckh83C\n7eOyiOoWTlQbj5xPSht3TffUu1wfIaawRryYbGYso4xnBnya7SBmbf1176kfRM7YwZ1mObQVGjLS\nsdBQWxuNjBiWislgyuUXVa6z2SyMGpeJWbeQUj/o8lYNXQUArdM13GjMZhtJaeMNn7vW91sIIRLJ\nsmTJkiWJvojeMmTIECoqKvjtb3/L/v37KSkpITOz++ppzc3Gi/tcrVtHemkJx/jwTBK6HsbjjGK3\nxLDYU3FnTL482v3aKiG6brkNPdRCzN+IHg5hTc8gJS+PQf/xX+gqghqko7c0Q4uCiEY4JYmPR7j4\nx+0ubBEXPv8I7sm8h7x7xhhewwTvGFpiYQKRAKFYmAynl6mD72DumDmYO4zQb2ujvylCOBIjPcVJ\n3sTBPPGNCUQ0RVM0RljT8dqtTMlI4f7hmZgNXs/tdrTH/UsjvUTCMSznPbTEwuj2MJo5RrrTy9Qh\nna/hRuP0jEbXQmjRIEoPY7Gl4c6YdF3vd8f4CGMSo+5JfLo30OPjNrgF3EYqLn5OT3c5haMaFruN\nWKi51+okfH7p4rY5+ibdjh5oxpqaSsxq6pU6CW1t9DeFSU124IireHhlleuMuvra1oGwJkGz3nzT\nFTvqyToJA70r9EpIjLon8eneQI+PVFxMIIfNQlamm5oaHei8fPH1aFu6uNN2sw2zI731QVLr7RU7\nMCSl877dudJCQw6bBZ+38y2O66lcZ7NZSPUmAeAm6ZrOkUhx74EQQtykbtx+WyGEEEIklCQJQggh\nhDAkSYIQQgghDEmSIIQQQghDkiQIIYQQwpAkCUIIIYQwJEmCEEIIIQxJkiCEEEIIQ5IkCCGEEMKQ\nJAlCCCGEMCRJghBCCCEMyQJPQgghhDAkPQlCCCGEMCRJghBCCCEMSZIghBBCCEOSJAghhBDCkCQJ\nQgghhDAkSYIQQgghDFkTfQH93fPPP095eTkmk4mioiImTZqU6EvqFcuXL+eDDz4gFovxve99j4kT\nJ/LMM8+gaRpZWVmsWLECu93O22+/zeuvv47ZbGb+/PnMmzePaDRKYWEh58+fx2KxsHTpUoYNG8aJ\nEydYsmQJAOPHj+fZZ58FYM2aNZSWlmIymfjRj35Efn5+Alt+5UKhEA888ACLFi0iNzdX4tPB22+/\nzZo1a7BarTz11FOMHz9e4nNZMBhk8eLF+P1+otEoP/zhDxkzZozEBzh58iSLFi3iO9/5DgUFBVy4\ncKFP4xIIBPj5z39OIBDA5XLx4osvkpaWlsCI9AIles2BAwfUk08+qZRSqqKiQs2fPz/BV9Q7ysrK\n1OOPP66UUqqurk7l5+erwsJCtX37dqWUUi+++KL605/+pILBoJo9e7ZqbGxULS0tas6cOaq+vl5t\n3bpVLVmyRCml1P79+9XTTz+tlFKqoKBAlZeXK6WU+tnPfqb27dunzp49qx566CEVDofVpUuX1H33\n3adisVgCWn31fvOb36i5c+eqLVu2SHw6qKurU7Nnz1aBQEBVVVWp4uJiiU8H69atUytXrlRKKXXx\n4kV13333SXyUUsFgUBUUFKji4mK1bt06pZTq87isWrVKrV69Wiml1IYNG9Ty5cv7Ogy9Tm439KKy\nsjJmzpwJQE5ODn6/n6ampgRfVc+78847efnllwFISUmhpaWFAwcOcO+99wLw9a9/nbKyMsrLy5k4\ncSIejwen08mUKVM4cuQIZWVlzJo1C4Bp06Zx5MgRIpEIlZWV7T0vbec4cOAAM2bMwG63k56eTnZ2\nNhUVFYlp+FU4deoUFRUV3H333QASnw7KysrIzc0lOTkZn8/Hc889J/HpwOv10tDQAEBjYyNer1fi\nA9jtdlavXo3P52vf1tdx6XiOtn37G0kSelFtbS1er7f9cXp6OjU1NQm8ot5hsVhwuVwAbN68ma99\n7Wu0tLRgt9sByMjIoKamhtraWtLT09uPa4tHx+1msxmTyURtbS0pKSnt+37ROW50y5Yto7CwsP2x\nxOffzp07RygU4vvf/z6PPvooZWVlEp8O5syZw/nz55k1axYFBQUsXrxY4gNYrVacTmfctr6OS8ft\nGRkZVFdX91p7E0XGJPQh1c8rYO/evZvNmzezdu1aZs+e3b69q3ZfzfarPceN5G9/+xtf+cpXGDZs\nmOHzAz0+AA0NDfzud7/j/PnzLFy4MO66B3p83nrrLYYOHcprr73GiRMnKCoqint+oMenK30dl5s5\nVt2RnoRe5PP5qK2tbX9cXV1NVlZWAq+o9+zfv59XXnmF1atX4/F4cLlchEIhAKqqqvD5fIbxaNve\n9mslGo2ilCIrK6u9i7W7c7Rtv5Ht27ePd999l/nz57Np0yb+8Ic/SHw6yMjI4Pbbb8dqtTJ8+HDc\nbjdut1vic9mRI0eYPn06ABMmTKC6upqkpCSJj4G+/rvqeI6bLVZXSpKEXpSXl8eOHTsAOH78OD6f\nj+Tk5ARfVc8LBAIsX76cV199tX1k77Rp09rbvnPnTmbMmMHkyZM5evQojY2NBINBjhw5wh133EFe\nXh6lpaUA7N27l6lTp2Kz2Rg9ejSHDx+OO8ddd93Fvn37iEQiVFVVUV1dzZgxYxLT8Cv00ksvsWXL\nFv7yl78wb948Fi1aJPHpYPr06bz//vvouk59fT3Nzc0Snw5GjBhBeXk5AJWVlbjd7rj/LQM9Ph31\n9eem4zna9u1vZBXIXrZy5UoOHz6MyWSipKSECRMmJPqSetzGjRtZtWoVo0aNat/2wgsvUFxcTDgc\nZujQoSxduhSbzUZpaSmvvfYaJpOJgoICvvnNb6JpGsXFxZw+fRq73c4LL7zAkCFDqKio4Ne//jW6\nrjN58mR+9atfAbBu3Tq2bduGyWTiJz/5Cbm5uYlq+lVbtWoV2dnZTJ8+ncWLF0t8LtuwYQObN28G\n4Ac/+AETJ06U+FwWDAYpKiri0qVLxGIxnn76aXJycgZ8fI4dO8ayZcuorKzEarUyaNAgVq5cSWFh\nYZ/FJRgM8stf/pKGhgZSUlJYsWIFHo8nwZHpWZIkCCGEEMKQ3G4QQgghhCFJEoQQQghhSJIEIYQQ\nQhiSJEEIIYQQhiRJEEIIIYQhSRKEEAlRWFjIpk2bEn0ZQohuSJIghBBCCEOydoMQosdUVVXxi1/8\nAoBQKMSCBQsYOXIkK1euxG63EwqFKCkp4bbbbos77uWXX25fQW/w4MGsWLECm83GlClTePjhh9F1\nnWPHjvHTn/6UqVOnAvD444/z7W9/m/z8/L5tpBADiPQkCCF6zN///ndGjx7NunXrePPNNwmFQjQ0\nNLBkyRLeeOMNFi5cyKuvvhp3TCwWIykpifXr17NhwwYCgQDvvfceAM3NzeTn51NcXMwjjzzCX//6\nV6B1QajPPvusX5bBFeJGIj0JQogeM2PGDNavX09hYSH5+fksWLCA48ePs3z5csLhMIFAgNTU1Lhj\nrFYrZrOZRx99FKvVyqeffkp9fT3QurLelClTALj//vt56aWXCAaD7Nq1iwcffBCzWX7nCNGbJEkQ\nQvSYnJwc3nnnHQ4dOkRpaSmvv/46dXV1PPvss+Tm5rJ3717Wrl0bd8wHH3zAli1b2LJlCy6Xi6ee\neirueZvNBoDD4WDWrFns2rWLHTt2UFJS0mftEmKgkjRcCNFjtm3bxtGjR5k2bRolJSVcuHCBqqoq\nxo4di6ZplJaWEolE4o65dOkS2dnZuFwuKisr+eijjzrt02bBggX8+c9/RinFsGHD+qJJQgxo0pMg\nhOgxY8aMoaSkBLvdjlKKJ554gkAgwGOPPcbQoUP57ne/yzPPPMMf//jH9mPy8vJYu3Yt3/rWtxg7\ndiw//vGP+f3vf98+QPHz59c0jblz5/Zhq4QYuGQVSCHETePcuXM8+eSTvPXWW+23IYQQvUd6EoQQ\nN4VXXnmF7du389xzz0mCIEQfkZ4EIYQQQhiSgYtCCCGEMCRJghBCCCEMSZIghBBCCEOSJAghhBDC\nkCQJQgghhDAkSYIQQgghDP0/EabNpqPFKxkAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0xa99dad8c>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Aykırı veri ve belirlenen iki özel veri noktasının çıkarılması sonrası görselleştirme \n",
    "features = ['salary', 'bonus']\n",
    "data = featureFormat(data_dict, features)\n",
    "for point in data:\n",
    "    salary = point[0]\n",
    "    bonus = point[1]\n",
    "    plt.scatter(salary, bonus)\n",
    "    \n",
    "plt.xlabel(\"salary\")\n",
    "plt.ylabel(\"bonus\")\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('SKILLING JEFFREY K', 1111258),\n",
       " ('LAY KENNETH L', 1072321),\n",
       " ('FREVERT MARK A', 1060932),\n",
       " ('PICKERING MARK R', 655037)]"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Görsele göre en yüksek 'salary' değerlerinin kimlere ait olduğunun bulunması\n",
    "max4_salary = []\n",
    "for person in data_dict:\n",
    "    amount = data_dict[person]['salary']\n",
    "    if amount == 'NaN':\n",
    "        continue\n",
    "    max4_salary.append((person, int(amount)))\n",
    "\n",
    "max4_salary = (sorted(max4_salary,key=lambda x:x[1],reverse=True)[:4])\n",
    "max4_salary"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('LAVORATO JOHN J', 8000000),\n",
       " ('LAY KENNETH L', 7000000),\n",
       " ('SKILLING JEFFREY K', 5600000)]"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#Görsele göre en yüksek 'bonus' değerlerinin kimlere ait olduğunun bulunması\n",
    "max3_bonus = []\n",
    "for person in data_dict:\n",
    "    amount = data_dict[person]['bonus']\n",
    "    if amount == 'NaN':\n",
    "        continue\n",
    "    max3_bonus.append((person, int(amount)))\n",
    "\n",
    "max3_bonus = (sorted(max3_bonus,key=lambda x:x[1],reverse=True)[:3])\n",
    "max3_bonus"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Yeni özellik oluşturulması"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Eldeki özellikleri seçime tabi tutmadan önce -proje görevi olması nedeniyle de- yeni özellik yaratmaya çalışacağım. Bunda amaç var olan özellikleri kullanarak kendi sezgimizle yarattığımız, modellememizde doğruluk, tahmin oranlarında daha iyi sonuçlar almayı sağlayacak yeni özellikleri analize dahil etmek. Açıkçası yeni özellik oluşturulmasında Udacity'deki ders içeriğine bağlı kaldım ve eposta özellikleri üzerinden yeni bir özellik yaratmayı tercih ettim. Kişinin, POI'lerden aldığı(*'from_poi_to_this_person'*), POI'lere gönderdiği(*'from_this_person_to_poi'*), POI'ler ile aynı gönderim listesinde yer aldığı(*'shared_receipt_with_poi'*) eposta sayısı toplamının kişinin toplam eposta yazışmaları sayısına(*'from_messages'* + *'to_messages'*) oranını veren, oluşturduğum bu özelliğe *'poi_mailing_factor'* adını verdim. *'poi_mailing_factor'* özelliğini yaratmada; eğer bir kişi POI ise, tüm eposta yazışmaları içinde, diğer POI'ler ile eposta yazışmaları sayısının POI olmayan bir kişininkine göre daha fazla olacağı önsezisiyle, bu değerin POI kişilerde daha yüksek olacağını varsayarak POI bulucu modelimizde ayırt edici bir özellik olacağını düşündüm.   "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Yeni özellik oluşturulması\n",
    "for person in data_dict:\n",
    "        \n",
    "        try:\n",
    "            total_messages = data_dict[person]['from_messages'] + data_dict[person]['to_messages']\n",
    "            from_poi = data_dict[person][\"from_poi_to_this_person\"]\n",
    "            to_poi =  data_dict[person][\"from_this_person_to_poi\"]\n",
    "            shared_poi = data_dict[person][\"shared_receipt_with_poi\"]\n",
    "            \n",
    "            poi_involved_messages = from_poi + to_poi + shared_poi \n",
    "            #convert data types to float\n",
    "            total_messages = float(total_messages)\n",
    "            from_poi = float(from_poi)\n",
    "            to_poi = float(to_poi)\n",
    "            shared_poi = float(shared_poi)\n",
    "            \n",
    "\n",
    "            poi_mailing_factor = poi_involved_messages / total_messages\n",
    "            data_dict[person]['poi_mailing_factor'] = poi_mailing_factor\n",
    "\n",
    "        except:\n",
    "            data_dict[person]['poi_mailing_factor'] = 'NaN'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Yeni özelliğin oluşturulması sonrasında, aykırı değerlerden temizlenmiş **'data_dict'** adlı veri setinin son halini **'my_dataset'** adına eşitledim. Oluşturulan yeni özelliğin de eklenmesiyle veri setindeki özelliklerden **'features_list'** adında özellik listesi oluşturdum. Mevcut özellikler arasında *'email_address'* hem diğer özellikler sayısal iken metin (string) türünde olduğundan, hem de modelleme sürecinde herhangi bir etkiye sahip olmayacağından analize tabi tutulacak özellik listesinden çıkarttım. Bu noktada, 'feature_list' in oluşturulmasında önemli husus; bir kişinin POI olup olmadığı bilgisini veren *'poi'*nin, hedef özelliğimiz olduğu için listenin başına yerleştirilmesidir.  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "my_dataset = data_dict"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "for key in data_dict:\n",
    "    f = data_dict[key].keys()\n",
    "f.remove('email_address')\n",
    "f.remove('poi')\n",
    "f.insert(0, 'poi')\n",
    "features_list = f"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "data = featureFormat(my_dataset, features_list, sort_keys = True)\n",
    "labels, features = targetFeatureSplit(data)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Buraya kadar yaptığımız işlemlerle birlikte veri setimiz makine öğrenimi için hazır bir aşamaya geldi. Bundan sonra yapacaklarımız, en iyi değerlendirme metriklerine sahip modellemenin oluşturulması için makineye sahip olduğumuz verilerin öğretilmesinde en uygun algoritma ve parametrelerin seçilmesi olacak. Her ne kadar bunu en uygun yöntemin seçilmesi olarak tek cümlede ifade etsek de, bu süreç de içerisinde birden fazla uygunluğun arayışını barındıracak. Bu blog gönderisi makine öğrenimine ilgi duyanlara, yeni başlayanlara konseptlerin anlaşılması için bir uygulama örneği olduğu için uygun algoritma ve parametrelerin bulunmasını sağlayan kısayolların direkt anlatımı yerine, aşama aşama, çalıştır-değerlendir-değiştir yaparak, en iyi değerlendirme metriklerine sahip modellemenin oluşturulması sürecinin nasıl şekillendiğini ortaya koymaya çalışacağım. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Özellik seçimi"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Özellik seçiminde amacımız bir kişinin POI olup olmadığını belirlemede etkisiz veya olumsuz etkiye sahip özelliklerin (features) belirlenerek analiz dışında tutulmasıdır. Modellememizde yer almasını istemeyeceğimiz özellikler,  aşırı uyuma (overfitting) neden olan, hedef özelliğimiz olan *'poi'* ile yüksek korelasyonlu değerlere sahip olabileceği gibi, düşük korelasyonlu, 'train/test' sürecini yavaşlatacak etkisiz özellikler de olabilir. Algoritma seçimi öncesinde algoritmaya dahil edilecek özelliklerin seçimi, algoritmanın değerlendirme metriklerini değiştiren ana etkenlerden biri olması nedeniyle önem arz etmektedir. Özellik seçiminde amacımız; ölçülebilir değerlerden oluşan çok sayıda özelliğin içinde en çok bilgiyi barındıran saklı özelliklerin ortaya çıkarılması ve böylece belirlenen salt bu özelliklerin algoritmaya dahil edilmesiyle modellememizin başarım ölçütlerinin artırılmasıdır."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### SelectKBest"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Uygulamamızda, ön işleme sonrası (*'email_address'*in çıkarılması, *'poi_mailing_factor'*un eklenmesi sonrası) veri setinde hedef özelliğimiz 'poi' dahil toplam 21 özellik bulunmakta. Özellik sayısının fazla olmaması nedeniyle sezgisel olarak kendimizin bu özellikleri elle seçebilmesi mümkün bir seçenek olarak görünse de, hangi özelliklerin kaçının birlikte algoritmaya dahil edilmesi yüzlerce kombinasyonun denenmesini gerektireceğinden elle seçim tercihini saf dışı bıraktım. Scikit-learn'ün mahareti işte bu aşamada devreye giriyor, özellik seçimi araçlarından (sklearn.feature_selection) SelectKBest, problemimizde tek değişkenli istatistik testlerine dayanarak hedef özellik(*'poi'*) ile ilişkili en iyi özellikleri belirliyor (sklearn'in dieğr özellik seçimi modülleri için bkz. sklearn.feature_selection). Mevcut özelliklerin *'poi'* özelliği üzerindeki etkisini gözlemlemek amacıyla scikit-learn özellik seçimi araçlarından SelectKBest kullanılarak en büyük F değerine sahip on özellik aşağıda gösterilmiştir. (SelectKBest, *'score_func'* parametresi belirtilmediği sürece varsayılan('default') değer olarak ANOVA-F değerini vermektedir.)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Özellik</th>\n",
       "      <th>Skor</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>exercised_stock_options</td>\n",
       "      <td>24.815080</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>total_stock_value</td>\n",
       "      <td>24.182899</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>bonus</td>\n",
       "      <td>20.792252</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>salary</td>\n",
       "      <td>18.289684</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>deferred_income</td>\n",
       "      <td>11.458477</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>poi_mailing_factor</td>\n",
       "      <td>10.019415</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>long_term_incentive</td>\n",
       "      <td>9.922186</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>restricted_stock</td>\n",
       "      <td>9.212811</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>total_payments</td>\n",
       "      <td>8.772778</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>shared_receipt_with_poi</td>\n",
       "      <td>8.589421</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>loan_advances</td>\n",
       "      <td>7.184056</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>expenses</td>\n",
       "      <td>6.094173</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>from_poi_to_this_person</td>\n",
       "      <td>5.243450</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>other</td>\n",
       "      <td>4.187478</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>from_this_person_to_poi</td>\n",
       "      <td>2.382612</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>director_fees</td>\n",
       "      <td>2.126328</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>to_messages</td>\n",
       "      <td>1.646341</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>deferral_payments</td>\n",
       "      <td>0.224611</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>from_messages</td>\n",
       "      <td>0.169701</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>restricted_stock_deferred</td>\n",
       "      <td>0.065500</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                      Özellik       Skor\n",
       "18    exercised_stock_options  24.815080\n",
       "12          total_stock_value  24.182899\n",
       "11                      bonus  20.792252\n",
       "16                     salary  18.289684\n",
       "3             deferred_income  11.458477\n",
       "19         poi_mailing_factor  10.019415\n",
       "4         long_term_incentive   9.922186\n",
       "15           restricted_stock   9.212811\n",
       "17             total_payments   8.772778\n",
       "6     shared_receipt_with_poi   8.589421\n",
       "7               loan_advances   7.184056\n",
       "2                    expenses   6.094173\n",
       "13    from_poi_to_this_person   5.243450\n",
       "9                       other   4.187478\n",
       "14    from_this_person_to_poi   2.382612\n",
       "10              director_fees   2.126328\n",
       "0                 to_messages   1.646341\n",
       "1           deferral_payments   0.224611\n",
       "8               from_messages   0.169701\n",
       "5   restricted_stock_deferred   0.065500"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from sklearn.feature_selection import SelectKBest\n",
    "k_best = SelectKBest(k='all')\n",
    "k_best.fit(features, labels)\n",
    "scores = k_best.scores_\n",
    "unsorted_scores = zip(features_list[1:], scores)\n",
    "SelectKBest_score_table = pd.DataFrame(unsorted_scores, columns = ['Özellik','Skor']).sort_values(\n",
    "    by= 'Skor', ascending = False)\n",
    "SelectKBest_score_table"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Tabloda hedef özellik *'poi'* üzerinde etkili özellikler önem sırasına göre görülmektedir. Diyebiliriz ki, oluşturacağımız modelde yer alacak özellikler arasında bir kişinin POI olup olmadığını tahmin etmede hisse senedi (*'exercised_stock_options'*, *'total_stock_value'*), bonus(*'bonus'*) ve maaş(*'salary'*), mevcut özellikler arasında en fazla bilgiyi vermektedir. Aynı zamanda oluşturduğumuz yeni özellik *'poi_mailing_factor'* skoruyla diğer eposta özelliklerinin önüne geçerek 6. sırada yer almaktadır. Bu noktada belirlenen etkili özelliklerin *'NaN'* değerleri oranının bilinmesi önemlidir. Fazla sayıda eksik değeri olan bir özellik yanıltıcı olacaktır. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Özellik</th>\n",
       "      <th>Skor</th>\n",
       "      <th>NaN yüzdesi</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>exercised_stock_options</td>\n",
       "      <td>24.815080</td>\n",
       "      <td>29.4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>total_stock_value</td>\n",
       "      <td>24.182899</td>\n",
       "      <td>12.6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>bonus</td>\n",
       "      <td>20.792252</td>\n",
       "      <td>43.4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>salary</td>\n",
       "      <td>18.289684</td>\n",
       "      <td>34.3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>deferred_income</td>\n",
       "      <td>11.458477</td>\n",
       "      <td>66.4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>poi_mailing_factor</td>\n",
       "      <td>10.019415</td>\n",
       "      <td>39.9</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>long_term_incentive</td>\n",
       "      <td>9.922186</td>\n",
       "      <td>54.5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>restricted_stock</td>\n",
       "      <td>9.212811</td>\n",
       "      <td>23.8</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>total_payments</td>\n",
       "      <td>8.772778</td>\n",
       "      <td>14.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>shared_receipt_with_poi</td>\n",
       "      <td>8.589421</td>\n",
       "      <td>39.9</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>loan_advances</td>\n",
       "      <td>7.184056</td>\n",
       "      <td>97.9</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>expenses</td>\n",
       "      <td>6.094173</td>\n",
       "      <td>34.3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>from_poi_to_this_person</td>\n",
       "      <td>5.243450</td>\n",
       "      <td>39.9</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>other</td>\n",
       "      <td>4.187478</td>\n",
       "      <td>36.4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>from_this_person_to_poi</td>\n",
       "      <td>2.382612</td>\n",
       "      <td>39.9</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>director_fees</td>\n",
       "      <td>2.126328</td>\n",
       "      <td>88.8</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>to_messages</td>\n",
       "      <td>1.646341</td>\n",
       "      <td>39.9</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>deferral_payments</td>\n",
       "      <td>0.224611</td>\n",
       "      <td>73.4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>from_messages</td>\n",
       "      <td>0.169701</td>\n",
       "      <td>39.9</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>restricted_stock_deferred</td>\n",
       "      <td>0.065500</td>\n",
       "      <td>88.1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                      Özellik       Skor  NaN yüzdesi\n",
       "0     exercised_stock_options  24.815080         29.4\n",
       "1           total_stock_value  24.182899         12.6\n",
       "2                       bonus  20.792252         43.4\n",
       "3                      salary  18.289684         34.3\n",
       "4             deferred_income  11.458477         66.4\n",
       "5          poi_mailing_factor  10.019415         39.9\n",
       "6         long_term_incentive   9.922186         54.5\n",
       "7            restricted_stock   9.212811         23.8\n",
       "8              total_payments   8.772778         14.0\n",
       "9     shared_receipt_with_poi   8.589421         39.9\n",
       "10              loan_advances   7.184056         97.9\n",
       "11                   expenses   6.094173         34.3\n",
       "12    from_poi_to_this_person   5.243450         39.9\n",
       "13                      other   4.187478         36.4\n",
       "14    from_this_person_to_poi   2.382612         39.9\n",
       "15              director_fees   2.126328         88.8\n",
       "16                to_messages   1.646341         39.9\n",
       "17          deferral_payments   0.224611         73.4\n",
       "18              from_messages   0.169701         39.9\n",
       "19  restricted_stock_deferred   0.065500         88.1"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "enron_data = pd.DataFrame(my_dataset).transpose()\n",
    "nan_counts_dict = {}\n",
    "for column in enron_data.columns:\n",
    "    enron_data[column] = enron_data[column].replace('NaN',np.nan)\n",
    "    nan_counts = enron_data[column].isnull().sum()\n",
    "    nan_counts_dict[column] = round(float(nan_counts)/float(len(enron_data[column])) * 100, 1)\n",
    "    enron_nan_perc = pd.DataFrame(nan_counts_dict,index = ['NaN yüzdesi']).transpose()\n",
    "    enron_nan_perc.reset_index(level=0,inplace=True)\n",
    "    enron_nan_perc = enron_nan_perc.rename(columns = {'index':'Özellik'})\n",
    "pd.merge(SelectKBest_score_table, enron_nan_perc, on= 'Özellik')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Tüm özelliklerin dahil olduğu özellik listesi **'features_list'** adında iken, SelectKBest ile belirlenen en etkili on özelliğin yer aldığı özellik listemi **'my_features_list'** olarak adlandırdım. Sonraki aşamada bu özellik listemin dahil edildiği farklı algoritmaları kullanarak elde edilen sonuçları karşılaştıracağım. Fakat burada belirtmek istediğim istediğim konu; burada seçilen \"10\" özellik birçok deneme sonrası elde edilen algoritma başarım sonuçlarına göre seçilmiştir."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "#SelectKBest skorlarına göre en iyi 10 özelliğin seçilerek yeni listenin oluşturulması\n",
    "my_features_list = ['poi'] + SelectKBest_score_table.head(10)['Özellik'].tolist()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Algoritmaların çalıştırılması öncesi ifade etmek istediğim bir diğer önemli konu da literatürde 'feature scaling' olarak geçen özelliklerin ölçeklenmesi/normalizasyonu. Özellik ölçeklemeleri, Standardizasyon(veya uzun adıyla Z skoru normalizasyonu/standardizasyonu) veya Minimum-Maksimum normalizasyonu(ölçeklemesi) olarak gerçekleştirilmektedir. K en yakın komşu, K-means, lojistik regresyon, SVM algoritmalarının ve lineer diskriminant, temel bileşenler, kernel temel bileşenler analizlerinin uygulanmasında özellik ölçeklemelerinin yapılması önem taşımaktadır. Ölçeklemeden bağımsız düşünebilecek tek algoritma ailesi olarak akla ağaç temelli yöntemler gelmektedir. Bizim örneğimizde özellik ölçeklemesi tüm algoritmalara uygulanmış olup, minimum-maksimum normalizasyonu tercih edilmiştir."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Özellik ölçekleme. Seçilen 'KBest' 10 özelliğin ölçeklenmesi\n",
    "data = featureFormat(my_dataset, my_features_list, sort_keys = True)\n",
    "my_labels, my_features = targetFeatureSplit(data)\n",
    "scaler = preprocessing.MinMaxScaler()\n",
    "my_features = scaler.fit_transform(my_features)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Algoritma seçimi"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sklearn.naive_bayes import GaussianNB\n",
    "from sklearn.tree import tree\n",
    "from sklearn.ensemble import AdaBoostClassifier\n",
    "from sklearn.cluster import KMeans\n",
    "from sklearn import linear_model\n",
    "gaussian_clf = GaussianNB()\n",
    "decisiontree_clf = tree.DecisionTreeClassifier()\n",
    "adaboost_clf = AdaBoostClassifier()\n",
    "kmeans = KMeans(n_clusters=2)\n",
    "logreg = linear_model.LogisticRegression()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "GaussianNB(priors=None)\n",
      "\tAccuracy: 0.83533\tPrecision: 0.36225\tRecall: 0.30900\tF1: 0.33351\tF2: 0.31836\n",
      "\tTotal predictions: 15000\tTrue positives:  618\tFalse positives: 1088\tFalse negatives: 1382\tTrue negatives: 11912\n",
      "\n",
      "None\n",
      "-----------------------------------------------------------------------------------------------------------\n",
      "DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,\n",
      "            max_features=None, max_leaf_nodes=None,\n",
      "            min_impurity_split=1e-07, min_samples_leaf=1,\n",
      "            min_samples_split=2, min_weight_fraction_leaf=0.0,\n",
      "            presort=False, random_state=None, splitter='best')\n",
      "\tAccuracy: 0.80007\tPrecision: 0.24476\tRecall: 0.23950\tF1: 0.24210\tF2: 0.24053\n",
      "\tTotal predictions: 15000\tTrue positives:  479\tFalse positives: 1478\tFalse negatives: 1521\tTrue negatives: 11522\n",
      "\n",
      "None\n",
      "-----------------------------------------------------------------------------------------------------------\n",
      "AdaBoostClassifier(algorithm='SAMME.R', base_estimator=None,\n",
      "          learning_rate=1.0, n_estimators=50, random_state=None)\n",
      "\tAccuracy: 0.83400\tPrecision: 0.33288\tRecall: 0.24400\tF1: 0.28159\tF2: 0.25776\n",
      "\tTotal predictions: 15000\tTrue positives:  488\tFalse positives:  978\tFalse negatives: 1512\tTrue negatives: 12022\n",
      "\n",
      "None\n",
      "-----------------------------------------------------------------------------------------------------------\n",
      "KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=300,\n",
      "    n_clusters=2, n_init=10, n_jobs=1, precompute_distances='auto',\n",
      "    random_state=None, tol=0.0001, verbose=0)\n",
      "\tAccuracy: 0.51300\tPrecision: 0.14372\tRecall: 0.53500\tF1: 0.22657\tF2: 0.34639\n",
      "\tTotal predictions: 15000\tTrue positives: 1070\tFalse positives: 6375\tFalse negatives:  930\tTrue negatives: 6625\n",
      "\n",
      "None\n",
      "-----------------------------------------------------------------------------------------------------------\n",
      "LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,\n",
      "          intercept_scaling=1, max_iter=100, multi_class='ovr', n_jobs=1,\n",
      "          penalty='l2', random_state=None, solver='liblinear', tol=0.0001,\n",
      "          verbose=0, warm_start=False)\n",
      "\tAccuracy: 0.87553\tPrecision: 0.69501\tRecall: 0.11850\tF1: 0.20248\tF2: 0.14207\n",
      "\tTotal predictions: 15000\tTrue positives:  237\tFalse positives:  104\tFalse negatives: 1763\tTrue negatives: 12896\n",
      "\n",
      "None\n"
     ]
    }
   ],
   "source": [
    "print test_classifier(gaussian_clf, my_dataset, my_features_list, scale_features = True)\n",
    "print ayirac\n",
    "print test_classifier(decisiontree_clf, my_dataset, my_features_list, scale_features = True)\n",
    "print ayirac\n",
    "print test_classifier(adaboost_clf, my_dataset, my_features_list, scale_features = True)\n",
    "print ayirac\n",
    "print test_classifier(kmeans, my_dataset, my_features_list, scale_features = True)\n",
    "print ayirac\n",
    "print test_classifier(logreg, my_dataset, my_features_list, scale_features = True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Sırasıyla Naive Bayes, Karar Ağacı(Decision Tree), Adaboost, K-Means ve Lojistik Regresyon algoritmalarının uygulanması sonucunda elde edilen başarım sonuçları görülmektedir. Başarım sonuçlarına göre en yüksek doğruluk(accuracy), kesinlik(precision), duyarlılık(recall) ve F-ölçütü(F1) değerlerini Naive Bayes algoritması vermektedir. Naive Bayes'in başarım değerlerine en yakın sonuç ise Adaboost algoritmasına ait. İfade ettiğimiz gibi elde edilen bu sonuçlar herhangi bir parametre seçimi yapılmadan, ön fikir veren, geliştirilmeye muhtaç değerlerdir. Ayrıca dikkat edilirse, algoritmaların uygulanmasında herhangi bir parametre seçimi yapılmadan algoritmaların varsayılan(default) parametrelerine göre uygulanmıştır (K_Means algoritması haricinde, çünkü K-Means için 'n_clusters' parametresi varsayılan değeri 10'dur, fakat hedef özelliğimiz *'poi'*, \"0\" veya \"1\" değerini aldığı için kümeleme sayısı *'n_clusters'*, 2 olarak belirtilmiştir, aksi halde algoritma hata verir.). Belirtmek istediğim bir diğer husus da, bazı algoritmalar için özelliklerin tümünün ('features_list')dahil edilmesi halinde daha iyi başarım sonucu elde edilebilecekken, anlatımı karmaşıklaştırmamak ve konseptin anlaşılmasına odaklanmak adına algoritmaların hepsinde özellik sayısının 'SelectKBest' ile azaltıldığı ('my_features_list') özellik listesi kullanılmıştır. (Örneğin lojistik regresyonun kullanıldığı analizlerde uygun tüm bağımsız değişkenlerin modele dahil edilmesi daha iyi sonuçlar verirken, bazı değişkenlerin modele dahil edilmemesi hata teriminin büyümesine ve modelin yetersizliğine neden olmaktadır.) (Udacity'den ders takip edip proje üzerinde çalışan arkadaşlara ek not: test_classifier.py dosyasına orjinalinden farklı olarak, özellik ölçekleme yaparak test edilmesi için kod ekledim. İlgili değişiklik Github profilimdeki dosyadan görülebilir.) Sonraki aşamada daha iyi sonuçlar elde etmenin yöntemlerini inceliyor olacağız. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "### PCA (Principal Component Analysis) - Temel Bileşenler Analizi"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Temel bileşenler analizinde amaç; en az bilgi kaybıyla veri kümesinin boyutlarını küçülterek, özellikler içindeki en güçlü örüntüyü belirlemek için verilerin analiz edilmesidir. Temel bileşen analizinde istenen sonuç, bir özellik alanını (n boyutlu özellikleri içeren veri kümemizi), \"iyi\" verilerimizi temsil eden daha küçük bir alt uzay üzerine yansıtmaktır. Özellik alanı boyutlarının sayısının azaldığı, hedef özelliğimizi \"en iyi\" tanımlayan bir altuzay çıkarmada güdülen amaç ise, hesaplama maliyetlerini ve parametre tahmin hatasını azaltmak istediğimiz bir model yaratmaktır. Bu bağlamda, SelectKBest ile seçilmiş en iyi 10 özelliğimize temel bileşenler analizini uygulayarak, kullandığımız algoritmalara veri setinde boyutu indirgenmiş özellik alanını dahil ederek sonuçları gözlemleyeceğiz. \n",
    "Temel bileşenler analizinin uygulanmasında veri setindeki özelliklerin temel bileşenler analizine tabi tutulmadan önce özellik ölçeklemesi(feature scaling)/normalizasyon yapılması gerekmektedir. Temel bileşenler analizi ile varyansı maksimize eden bileşenler ortaya çıkarıldığı için genellikle minimum-maksimum normalizasyonu (MinMaxScaler) tercih edilmektedir. Örneğimizde \"tutulan varyans\" oranı için %95 değeri seçilmiştir. (Kullanılacak ilk temel bileşenlerin toplam varyansı, orijinal verilerin toplam varyansının %95’i olacaktır.)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sklearn.decomposition import PCA\n",
    "var_perc = .95\n",
    "pca = PCA(n_components = var_perc)\n",
    "pca_transform = pca.fit_transform(my_features)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Temel Bileşenler Analizi - PCA\n",
      "\n",
      "Tutulan varyans: 0.95\n",
      " Orjinal Verinin Boyut Sayısı: 10\n",
      " PCA ile indirgenen boyut sayısı: 6\n",
      "\n"
     ]
    }
   ],
   "source": [
    "features_number = len(my_features_list)-1\n",
    "components = pca_transform.shape[1]\n",
    "print 'Temel Bileşenler Analizi - PCA\\n'\n",
    "print 'Tutulan varyans: {0}\\n Orjinal Verinin Boyut Sayısı: {1}\\n PCA ile indirgenen boyut sayısı: {2}\\n'.format(\n",
    "    var_perc, features_number, components)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "Görüldüğü üzere, temel bileşenler analizi sonrası SelectKBest ile seçilmiş 10 özellikten oluşan özellik alanının boyut sayısı 6'ya indirgenmiştir. Bu demektir ki, hedef özelliğimiz olan *'poi'*-bir kişinin suçlu olup olmadığı- hakkında en iyi tahmin bilgisini içeren 6 boyuttan oluşan bir özellik alanı oluşturulmuştur. Sklearn üzerinde PCA sonrası boyutu indirgenmiş oluşturulan bu özellik alanı üzerinde algoritmaları çalıştırmak istiyorsak 'Pipeline' kullanmamız gerekmektedir."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sklearn.pipeline import Pipeline\n",
    "gaussian_pipe = Pipeline(steps=[('pca', pca), ('gaussian', gaussian_clf)])\n",
    "decisiontree_pipe = Pipeline(steps=[('pca', pca), ('decisiontree', decisiontree_clf)])\n",
    "adaboost_pipe = Pipeline(steps=[('pca', pca), ('adaboost', adaboost_clf)])\n",
    "kmeans_pipe = Pipeline(steps=[('pca', pca), ('kmeans', kmeans)])\n",
    "logreg_pipe = Pipeline(steps=[('pca', pca), ('logreg', logreg)])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Pipeline(steps=[('pca', PCA(copy=True, iterated_power='auto', n_components=0.95, random_state=None,\n",
      "  svd_solver='auto', tol=0.0, whiten=False)), ('gaussian', GaussianNB(priors=None))])\n",
      "\tAccuracy: 0.85200\tPrecision: 0.43799\tRecall: 0.38850\tF1: 0.41176\tF2: 0.39748\n",
      "\tTotal predictions: 15000\tTrue positives:  777\tFalse positives:  997\tFalse negatives: 1223\tTrue negatives: 12003\n",
      "\n",
      "None\n",
      "-----------------------------------------------------------------------------------------------------------\n",
      "Pipeline(steps=[('pca', PCA(copy=True, iterated_power='auto', n_components=0.95, random_state=None,\n",
      "  svd_solver='auto', tol=0.0, whiten=False)), ('decisiontree', DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,\n",
      "            max_features=None, max_leaf_nodes=None,\n",
      "            min_impurity_split=1e-07, min_samples_leaf=1,\n",
      "            min_samples_split=2, min_weight_fraction_leaf=0.0,\n",
      "            presort=False, random_state=None, splitter='best'))])\n",
      "\tAccuracy: 0.82693\tPrecision: 0.34671\tRecall: 0.33700\tF1: 0.34178\tF2: 0.33890\n",
      "\tTotal predictions: 15000\tTrue positives:  674\tFalse positives: 1270\tFalse negatives: 1326\tTrue negatives: 11730\n",
      "\n",
      "None\n",
      "-----------------------------------------------------------------------------------------------------------\n",
      "Pipeline(steps=[('pca', PCA(copy=True, iterated_power='auto', n_components=0.95, random_state=None,\n",
      "  svd_solver='auto', tol=0.0, whiten=False)), ('adaboost', AdaBoostClassifier(algorithm='SAMME.R', base_estimator=None,\n",
      "          learning_rate=1.0, n_estimators=50, random_state=None))])\n",
      "\tAccuracy: 0.83107\tPrecision: 0.29430\tRecall: 0.19100\tF1: 0.23166\tF2: 0.20542\n",
      "\tTotal predictions: 15000\tTrue positives:  382\tFalse positives:  916\tFalse negatives: 1618\tTrue negatives: 12084\n",
      "\n",
      "None\n",
      "-----------------------------------------------------------------------------------------------------------\n",
      "Pipeline(steps=[('pca', PCA(copy=True, iterated_power='auto', n_components=0.95, random_state=None,\n",
      "  svd_solver='auto', tol=0.0, whiten=False)), ('kmeans', KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=300,\n",
      "    n_clusters=2, n_init=10, n_jobs=1, precompute_distances='auto',\n",
      "    random_state=None, tol=0.0001, verbose=0))])\n",
      "\tAccuracy: 0.51273\tPrecision: 0.14288\tRecall: 0.53100\tF1: 0.22517\tF2: 0.34407\n",
      "\tTotal predictions: 15000\tTrue positives: 1062\tFalse positives: 6371\tFalse negatives:  938\tTrue negatives: 6629\n",
      "\n",
      "None\n",
      "-----------------------------------------------------------------------------------------------------------\n",
      "Pipeline(steps=[('pca', PCA(copy=True, iterated_power='auto', n_components=0.95, random_state=None,\n",
      "  svd_solver='auto', tol=0.0, whiten=False)), ('logreg', LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,\n",
      "          intercept_scaling=1, max_iter=100, multi_class='ovr', n_jobs=1,\n",
      "          penalty='l2', random_state=None, solver='liblinear', tol=0.0001,\n",
      "          verbose=0, warm_start=False))])\n",
      "\tAccuracy: 0.87420\tPrecision: 0.67601\tRecall: 0.10850\tF1: 0.18699\tF2: 0.13039\n",
      "\tTotal predictions: 15000\tTrue positives:  217\tFalse positives:  104\tFalse negatives: 1783\tTrue negatives: 12896\n",
      "\n",
      "None\n"
     ]
    }
   ],
   "source": [
    "print test_classifier(gaussian_pipe, my_dataset, my_features_list, scale_features = True)\n",
    "print ayirac\n",
    "print test_classifier(decisiontree_pipe, my_dataset, my_features_list, scale_features = True)\n",
    "print ayirac\n",
    "print test_classifier(adaboost_pipe, my_dataset, my_features_list, scale_features = True)\n",
    "print ayirac\n",
    "print test_classifier(kmeans_pipe, my_dataset, my_features_list, scale_features = True)\n",
    "print ayirac\n",
    "print test_classifier(logreg_pipe, my_dataset, my_features_list, scale_features = True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Temel bileşenler analiziyle boyutu indirgenmiş özellik alanı üzerine algoritmaların uygulanması sonucunda elde edilen başarım değerleri görülmektedir. Buna göre, PCA Naive Bayes ve Karar Ağacı algoritmalarının skorlarını artırırken Adaboost'un başarımını düşürmüş, K-Means ve Lojistik Regresyon'un başarım değerleri üzerinde kayda değer bir etki yaratmamıştır. Bu haliyle, Naive Bayes ve Karar Ağacı algoritmaları kesinlik ve duyarlık için proje hedefi olan en az 0.30 değerini aşarak başarılı olmuştur. Bundan sonra amacım, GridSearchCV modülüyle en iyi parametre ayarlamasın yaparak algoritmaların başarımlarını artırmak olacak. K-Means için kesinlik(precision) 0.15 civarlarında, lojistik regresyon için duyarlılık(recall) 0.10 civarlarında çıktığı için bu iki algoritma için GridSearchCV modülünü uygulamayacağım. Ancak, bu iki algoritmanın daha önce bahsettiğim üzere farklı yöntemler uygulanmasıyla  şu an belirlediğimiz en iyi sonucu veren algoritmalar kadar olmasa da en azından gözlediğimiz bu başarım değerlerinden daha iyi sonuçlar elde etmesi mümkündür."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### GridSearchCV ile model seçimi"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "GridSearchCV'nin uygulanmasını anlayabilmek için, bu modülü birçok parametre değerine sahip Karar Ağacı ve Adaboost algoritmalarına uyguladım. Modülün uygulanmasından verim alabilmek için çapraz doğrulama (*'cv'*) parametresi de dahil edilmiştir. *'cv'* için projede verildiği gibi 'StratifiedShuffleSplit' seçilmiştir. Böylece GridSearchCV'de çapraz doğrulamanın uygulanmasıyla, veri seti her defasında farklı 'train' ve 'test' verilerine bölünerek toplamda 10 yinelemenin sonuçları karşılaştırılacak ve sonuç olarak algoritmanın en iyi sonucunu veren parametre değerleri elde edilecek.   "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "cv = cross_validation.StratifiedShuffleSplit(my_labels, n_iter = 10, random_state = 42)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/tuna/anaconda3/envs/py27/lib/python2.7/site-packages/sklearn/metrics/classification.py:1113: UndefinedMetricWarning: F-score is ill-defined and being set to 0.0 due to no predicted samples.\n",
      "  'precision', 'predicted', average, warn_for)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Karar Ağacı parametre ayarı\n",
      " Adımlar: [('reduce_dim', PCA(copy=True, iterated_power='auto', n_components=None, random_state=None,\n",
      "  svd_solver='auto', tol=0.0, whiten=False)), ('dec_tree', DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,\n",
      "            max_features=None, max_leaf_nodes=None,\n",
      "            min_impurity_split=1e-07, min_samples_leaf=1,\n",
      "            min_samples_split=2, min_weight_fraction_leaf=0.0,\n",
      "            presort=False, random_state=None, splitter='best'))]\n",
      ", En iyi parametreler: {'dec_tree__max_depth': 8, 'dec_tree__criterion': 'entropy', 'dec_tree__min_samples_leaf': 1, 'reduce_dim__n_components': 0.95, 'dec_tree__min_samples_split': 8}\n",
      ", En iyi skor: 0.42\n",
      " \n"
     ]
    }
   ],
   "source": [
    "estimators = [('reduce_dim', PCA()),('dec_tree',decisiontree_clf)]\n",
    "decisiontreeclf = Pipeline(estimators)\n",
    "\n",
    "# Karar ağacı algoritması için parametre sözlüğünün oluşturulması\n",
    "dt_params = dict(reduce_dim__n_components=[var_perc],\n",
    "              dec_tree__criterion=(\"gini\",\"entropy\"),\n",
    "                  dec_tree__min_samples_split=[2,4,8,16,32],\n",
    "                   dec_tree__min_samples_leaf=[1,2,4,8,16,32],\n",
    "                   dec_tree__max_depth=[None,1,2,4,8,16,32])\n",
    "\n",
    "# Gridsearch modülünün kurulumu \n",
    "decisiontree_grid_search = GridSearchCV(decisiontreeclf, param_grid = dt_params,\n",
    "                          scoring = 'f1', cv = cv)\n",
    "\n",
    "# Verinin modüle yerleştirilmesi\n",
    "decisiontree_grid_search.fit(my_features, my_labels)\n",
    "\n",
    "print 'Karar Ağacı parametre ayarı\\n Adımlar: {0}\\n, En iyi parametreler: {1}\\n, En iyi skor: {2}\\n '.format(\n",
    "    decisiontreeclf.steps, decisiontree_grid_search.best_params_, decisiontree_grid_search.best_score_)\n",
    "\n",
    "# En iyi sonucu veren parametrelere sahip karar ağacı algoritmasının tanımlanması\n",
    "best_decisiontree_clf = decisiontree_grid_search.best_estimator_"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Pipeline(steps=[('reduce_dim', PCA(copy=True, iterated_power='auto', n_components=0.95, random_state=None,\n",
      "  svd_solver='auto', tol=0.0, whiten=False)), ('dec_tree', DecisionTreeClassifier(class_weight=None, criterion='entropy', max_depth=8,\n",
      "            max_features=None, max_leaf_nodes=None,\n",
      "            min_impurity_split=1e-07, min_samples_leaf=1,\n",
      "            min_samples_split=8, min_weight_fraction_leaf=0.0,\n",
      "            presort=False, random_state=None, splitter='best'))])\n",
      "\tAccuracy: 0.84140\tPrecision: 0.38577\tRecall: 0.32000\tF1: 0.34982\tF2: 0.33130\n",
      "\tTotal predictions: 15000\tTrue positives:  640\tFalse positives: 1019\tFalse negatives: 1360\tTrue negatives: 11981\n",
      "\n"
     ]
    }
   ],
   "source": [
    "test_classifier(best_decisiontree_clf, my_dataset, my_features_list, scale_features = True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/tuna/anaconda3/envs/py27/lib/python2.7/site-packages/sklearn/ensemble/weight_boosting.py:579: RuntimeWarning: overflow encountered in exp\n",
      "  (estimator_weight < 0)))\n",
      "/home/tuna/anaconda3/envs/py27/lib/python2.7/site-packages/sklearn/ensemble/weight_boosting.py:164: RuntimeWarning: invalid value encountered in divide\n",
      "  sample_weight /= sample_weight_sum\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Adaboost parametre ayarı\n",
      " Adımlar: [('reduce_dim', PCA(copy=True, iterated_power='auto', n_components=None, random_state=None,\n",
      "  svd_solver='auto', tol=0.0, whiten=False)), ('adaboost', AdaBoostClassifier(algorithm='SAMME.R', base_estimator=None,\n",
      "          learning_rate=1.0, n_estimators=50, random_state=None))]\n",
      ", En iyi parametreler: {'reduce_dim__n_components': 0.95, 'adaboost__algorithm': 'SAMME.R', 'adaboost__n_estimators': 5, 'adaboost__learning_rate': 2}\n",
      ", En iyi skor: 0.613333333333\n",
      " \n"
     ]
    }
   ],
   "source": [
    "estimators = [('reduce_dim', PCA()),('adaboost',adaboost_clf)]\n",
    "adaboostclf = Pipeline(estimators)\n",
    "\n",
    "# Adaboost algoritması için parametre sözlüğünün oluşturulması\n",
    "a_params = dict(reduce_dim__n_components=[var_perc],\n",
    "              adaboost__n_estimators=[5, 10, 30, 40, 50, 100, 150, 200],\n",
    "                  adaboost__learning_rate=[0.1, 0.5, 1, 1.5, 2, 2.5],\n",
    "                   adaboost__algorithm=('SAMME', 'SAMME.R'))\n",
    "\n",
    "# Gridsearch modülünün kurulumu \n",
    "adaboost_grid_search = GridSearchCV(adaboostclf, param_grid = a_params,\n",
    "                          scoring = 'f1', cv = cv)\n",
    "# Verinin modüle yerleştirilmesi\n",
    "adaboost_grid_search.fit(my_features, my_labels)\n",
    "\n",
    "print 'Adaboost parametre ayarı\\n Adımlar: {0}\\n, En iyi parametreler: {1}\\n, En iyi skor: {2}\\n '.format(\n",
    "    adaboostclf.steps, adaboost_grid_search.best_params_, adaboost_grid_search.best_score_)\n",
    "# En iyi sonucu veren parametrelere sahip karar ağacı algoritmasının tanımlanması\n",
    "best_adaboost_clf = adaboost_grid_search.best_estimator_"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Pipeline(steps=[('reduce_dim', PCA(copy=True, iterated_power='auto', n_components=0.95, random_state=None,\n",
      "  svd_solver='auto', tol=0.0, whiten=False)), ('adaboost', AdaBoostClassifier(algorithm='SAMME.R', base_estimator=None, learning_rate=2,\n",
      "          n_estimators=5, random_state=None))])\n",
      "\tAccuracy: 0.89473\tPrecision: 0.69365\tRecall: 0.37700\tF1: 0.48850\tF2: 0.41488\n",
      "\tTotal predictions: 15000\tTrue positives:  754\tFalse positives:  333\tFalse negatives: 1246\tTrue negatives: 12667\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# En yüksek değerlendirme metriklerine sahip Adaboost algoritmasının başarım değerleri\n",
    "test_classifier(best_adaboost_clf, my_dataset, my_features_list, scale_features = True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "import tester\n",
    "tester.dump_classifier_and_data(best_adaboost_clf, my_dataset, my_features_list)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Sonuç olarak; en iyi başarım değerini GridSearchCV modülüyle bulunan parametreler ile uygulanmış Adaboost algoritması verdi. Yaptığımız akış içerisinde ilk Adaboost denemesinin sonuçlarıyla karşılaştırıldığında ciddi artış görülmektedir. Başarım değerleri olarak daha önceki sonuçlarda da gördüğümüz doğruluk('accuracy'), kesinlik('presicision'), duyarlılık('recall') ve 'F1' değerlendirme metriklerinin ne anlama geldiğini açıklarsak; doğruluk('accuracy'), modelimizin yaptığı POI veya POI olmayan olarak sınıflandırmanın doğruluk oranını vermektedir. Ancak veri setimizdeki dağılım dengeli olmadığı için (144 veri noktası içinde 18 POI'nin bulunması) 'accuracy' metriğine göre modelimizi değerlendirmek yanıltıcı olacaktır, çünkü modelimiz hiçbir tahminde bulunmayıp tüm kişileri 'POI değil' olarak etiketlese bile %88 doğru tahminde bulunmuş olacaktı. Bu nedenle 'precision' ve 'recall' değerleri modelimizin değerlendirilmesinde dikkate alınması gereken metriklerdir. Kesinlik ('precision'), modelimizin \"POI\" olarak doğru sınıflandırdığı kişi sayısının, \"POI\" olarak sınıflandırdığı toplam kişi sayısına oranını verirken; duyarlılık ('recall'), modelimizin \"POI\" olarak doğru sınıflandırdığı kişi sayısının, gerçekte POI olan kişi sayısına oranını vermektedir. F-ölçütü ise, kesinlik ve duyarlığın harmonik ortalamasını vererek iki ölçütü beraber değerlendirmemizi sağlayan bir değer vermektedir. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "İzlenen adımları baştan sona özetlersek;\n",
    "<br />Çalışma dört ana bölümden oluşuyor: \n",
    "<br />1-Veri setini anlama \n",
    "<br />2-Özellik seçimi \n",
    "<br />3-Algoritma uygulama \n",
    "<br />4-Değerlendirme\n",
    "<br />İlk aşamada, karşılaşılan problemin çözümü için veri setinin yapısı anlaşıldıktan sonra aykırı değerler ve gereksiz veri noktaları belirlenerek veri setinden çıkartıldı. Boş/eksik veriler evrensel(unicode) 'NaN' formatına dönüştürüldü, tahmin modellememizin başarım değerini arttırması amacıyla hedef özellik ile ilişkili olacabilecek sezgisel yolla yeni özellik oluşturuldu. İkinci aşamada, problemin çözümü için tüm özellikler için Sklearn özellik seçimi modüllerinden SelectKBest kullanılarak hedef özellik *'poi'* ile en yüksek ilişkili 10 özellik belirlendi, özellik ölçeklemeleri yapıldı. Sonraki aşama olan algoritma uygulamasında Naive Bayes, Karar Ağacı, Adaboost, K-Means ve Lojistik Regresyon algoritmaları SelectKBest ile belirlenmiş on özellikten oluşan özellik alanına uygulandı. Herhangi bir parametre ayarı yapılmadan algoritmaların varsayılan(default) parametre değerlerinin uygulanmasıyla elde edilen başarım sonuçları gözlemlendikten sonra, SelectKBest ile belirlenmiş özelliklere temel bileşenler analizi(PCA) uygulandı. %95 'tutulan varyans' oranlı PCA ile 10 boyutlu özellik alanı, 6 boyuta indirgenmiş oldu. Aynı algoritmaların başarımları PCA sonrası değerlendirildi. Başarımı yüksek olan algoritmalarda iyileştirme için GridSearchCV modülüyle en iyi başarımı gösteren parametre değerleri elde edildi. Elde edilen bu parametre değerlerinin algoritmalarda uygulanmasıyla en iyi sonucu 0.69 kesinlik, 0.37 duyarlık ve 0.48 F-skoru ile Adaboost algoritması verdi. Böylece kesinlik ve duyarlık skorlarında en az 0.30 olan proje hedef değerine ulaşılmış oldu. Bu uygulama örneğinde izlenen iş akışıyla ilgili belirtmek istediğim husus, SelectKBest için k=10, PCA için 0.95 tutulan varyans oranı yaptığım onlarca denemeninin sonucunda elde edilmiş sayılardır. Hem el ile seçerek hem de ayrıdan GridSearchCV uygulayarak gözlemlediğim sonuçlara göre anlatımda bu değerlerin kullanımı ve bu kullanımın sonucunda elde edilen sonuçlar gösterilmiştir. Zira öncesinde de belirttiğim üzere bazı algoritmalar için farklı yöntem ve parametre değerleri görece daha iyi sonuçlar verecektir. Ancak amaç bir makine öğrenimi uygulamasında baştan sona yaklaşımı ve süreci göstermek için bir örnek sunmak olduğundan, anlatımı daha fazla uzatmamak ve karmaşıklaştırmamak adına bu gönderinin içeriğine yansıtılan denemeler sınırlı tutulmuştur.\n",
    "<br />Çalışmamı inceleyenler gördükleri eksik veya belirsiz olduğunu düşündükleri noktaları bildirirlerse, bir nüve halinde olan bu işin olgunlaşmasına katkı sunacaklarından ötürü onlara şimdiden teşekkür etmeyi bir borç bilirim. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    ""
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2.0
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}