自己使用python实现的Cart分类决策树和基于该决策树的随机森林(仅供参考)
代码依赖numpy和pandas，运行前请确保有这两个包
关键代码部分都有比较详细的注释(^-^)
决策树使用孩子表示法，因为决策树对每个sample的预测需要的是根据父节点找其孩子节点的操作
使用的数据集是kaggle比赛入门的经典数据集 titanic disaster，要求根据乘客的数据预测他是生存还是死亡，是一个二分类的问题。
原数据集仓库里也有，在original_data文件夹下。还是附个下载链接吧 https://www.kaggle.com/c/titanic/data
使用pandas对原数据集进行清洗和onehot编码，最后划分前600条数据作为训练集，后289条数据作为测试集。
pre_data.py做的就是这部分工作。
划分后的数据集在data文件夹下。
决策树只设置了一个可调参数：
min_sample_leaf(落在叶子上的最小样本数)
当min_sample_leaf = 31时，我跑的分类正确率为0.702422
随机森林有四个可调参数：
ip 随机挑选的样本比例为(ip,1)中的一个随机数
jp 随机挑选的特征比例
n_trees 树的数量
min_sample_leaf 叶节点上的最小样本数
当n_trees=60,min_sample_leaf=5,ip=0.85,jp=0.7时，我跑的分类正确率为0.813149