Module 3 - Core Learning Algorithms.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Module 3 : Core Learning Algorithms\n",
    "\n",
    "## In this module:\n",
    "  - Linear Regression\n",
    "  - Classification\n",
    "  - Clustering\n",
    "  - Hidden Markov Models"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "본격적으로 NN에 대해 학습해보기 전, 기본적인 ML 알고리즘 4개에 대해 알아보도록 합시다.\n",
    "\n",
    "수많은 syntax들이 등장하기 시작하는데, 싹 다 외울 필요는 없고 개인적으로는 무엇을 하고자 하는지 알고, 그것을 구현하기 위해 사용하고자 하는 라이브러리 document에서 잘 찾아 쓰기만 해도 된다고 생각합니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Linear Regression\n",
    "\n",
    "\"Line of best fit refers to a line through a scatter plot of data points that best expresses the relationship between those points.\" (https://www.investopedia.com/terms/l/line-of-best-fit.asp)\n",
    "\n",
    "\n",
    "원작자는 텐서플로 튜토리얼의 linear estimator를 기반으로 이 섹션을 만들었습니다. 해당 문서에서는 tf.estimator를 사용하여 logistic regression model을 훈련하였습니다.\n",
    "\n",
    "https://www.tensorflow.org/tutorials/estimator/linear"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Basic example\n",
    "\n",
    "우선 1개의 feature(x)와 1개의 label(y)로 이루어진 dataset을 보도록 하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[0, 5, 0, 20]"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAX0AAAD8CAYAAACb4nSYAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjMsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+AADFEAAASZUlEQVR4nO3df4wn9X3f8efrADfdM61xvSYYuLuoQViOVWPnK9wI1bKdQIAi41RWC9q6pEXaJLIlW63UOD0pbh2d5KqKU7WOgrYGGbdb7LY2CaqxzSlxRJD8g73rYUPODhRxx+UQd845YHRRo3Pe/eM7l9tbf5fd/c737rvL5/mQvpqZz3xm5n0jeO3o852Zb6oKSVIbtk27AEnS+WPoS1JDDH1JaoihL0kNMfQlqSGGviQ1ZM3QT3Jlkq8mOZjkiSQf6tpfm2Rvkie76SWrbH9H1+fJJHdM+h8gSVq/rHWffpLLgMuqan+Si4F9wHuBXwROVNXHk3wEuKSqfnXFtq8FloABUN22P11V35/4v0SStKY1r/Sr6rmq2t/N/wA4CFwO3Arc23W7l+EfgpV+HthbVSe6oN8L3DiJwiVJG3fhRjon2QW8FfgGcGlVPQfDPwxJXj9ik8uBZ5ctH+naRu17HpgH2L59+0+/8Y1v3EhpktS0ffv2fa+qZtfqt+7QT/Jq4PPAh6vqxSTr2mxE28jxpKpaABYABoNBLS0trbc0SWpekkPr6beuu3eSXMQw8Ber6gtd8/PdeP/pcf9jIzY9Aly5bPkK4Oh6jilJmrz13L0T4G7gYFV9YtmqB4DTd+PcAfzeiM2/AtyQ5JLu7p4bujZJ0hSs50r/OuD9wLuTHOg+NwMfB65P8iRwfbdMkkGSTwFU1QngN4BHu8/HujZJ0hSsecvmNDimL0kbk2RfVQ3W6ucTuZLUEENfkhpi6EtSQwx9SWqIoS9JDTH0Jakhhr4kNcTQl6SGGPqS1BBDX5IaYuhLUkMMfUlqiKEvSQ0x9CWpIYa+JDXE0Jekhhj6ktQQQ1+SGnLhWh2S3APcAhyrqjd3bZ8Dru66vAb486q6ZsS2zwA/AH4InFrPT3lJks6dNUMf+DTwSeAzpxuq6p+cnk/ym8ALL7P9u6rqe+MWKEmanDVDv6oeTrJr1LokAf4x8O7JliVJOhf6jun/A+D5qnpylfUFPJRkX5L5nseSJPW0nuGdl3M7cN/LrL+uqo4meT2wN8l3qurhUR27PwrzADt27OhZliRplLGv9JNcCPwj4HOr9amqo930GHA/cO3L9F2oqkFVDWZnZ8ctS5L0MvoM7/wc8J2qOjJqZZLtSS4+PQ/cADze43iSpJ7WDP0k9wFfA65OciTJnd2q21gxtJPkDUke7BYvBR5J8hjwTeCLVfXlyZUuSdqo9dy9c/sq7b84ou0ocHM3/zTwlp71SZImyCdyJakhhr4kNcTQl6SGGPqS1BBDX5IaYuhLUkMMfUlqiKEvSQ0x9CWpIYa+JDXE0Jekhhj6ktQQQ1+SGmLoS1JDDH1JaoihL0kNMfQlqSGGviQ1xNCXpIas54fR70lyLMnjy9r+bZI/TXKg+9y8yrY3JvlukqeSfGSShUtq2OIi7NoF27YNp4uL065oy1jPlf6ngRtHtP9WVV3TfR5cuTLJBcBvAzcBbwJuT/KmPsVKEouLMD8Phw5B1XA6P2/wr9OaoV9VDwMnxtj3tcBTVfV0Vf0l8Fng1jH2I0ln7N4NJ0+e3Xby5LBda+ozpv/BJN/qhn8uGbH+cuDZZctHuraRkswnWUqydPz48R5lSXpFO3x4Y+06y7ih/zvA3wWuAZ4DfnNEn4xoq9V2WFULVTWoqsHs7OyYZUl6xduxY2PtOstYoV9Vz1fVD6vqr4D/wnAoZ6UjwJXLlq8Ajo5zPEn6a3v2wMzM2W0zM8N2rWms0E9y2bLFXwAeH9HtUeCqJD+R5FXAbcAD4xxPkv7a3BwsLMDOnZAMpwsLw3at6cK1OiS5D3gn8LokR4CPAu9Mcg3D4ZpngF/q+r4B+FRV3VxVp5J8EPgKcAFwT1U9cU7+FZLaMjdnyI8pVasOs0/NYDCopaWlaZchSVtGkn1VNVirn0/kSlJDDH1JaoihL0kNMfQlqSGGviQ1xNCXpIYY+pLUEENfkhpi6EtSQwx9SWqIoS9JDTH0Jakhhr4kNcTQl6SGGPqS1BBDX5IaYuhLUkMMfUlqyJqhn+SeJMeSPL6s7T8k+U6SbyW5P8lrVtn2mSTfTnIgib9/KElTtp4r/U8DN65o2wu8uar+HvAnwK+9zPbvqqpr1vPbjZKkc2vN0K+qh4ETK9oeqqpT3eLXgSvOQW2SpAmbxJj+vwC+tMq6Ah5Ksi/J/MvtJMl8kqUkS8ePH59AWZKklXqFfpLdwClgcZUu11XV24CbgA8kecdq+6qqhaoaVNVgdna2T1mSpFWMHfpJ7gBuAeaqqkb1qaqj3fQYcD9w7bjHkyT1N1boJ7kR+FXgPVV1cpU+25NcfHoeuAF4fFRfSdL5sZ5bNu8DvgZcneRIkjuBTwIXA3u72zHv6vq+IcmD3aaXAo8keQz4JvDFqvryOflXSJLW5cK1OlTV7SOa716l71Hg5m7+aeAtvaqTJE2UT+RKUkMMfUlqiKEvSQ0x9CWpIYa+JDXE0Jekhhj6ktQQQ1+SGmLoS1JDDH1JaoihL0kNMfQlqSGGviQ1xNCXpIYY+pLUEENfkhpi6EtSQwx9SWrIukI/yT1JjiV5fFnba5PsTfJkN71klW3v6Po8meSOSRUuSdq49V7pfxq4cUXbR4Dfr6qrgN/vls+S5LXAR4G3A9cCH13tj4Mk6dxbV+hX1cPAiRXNtwL3dvP3Au8dsenPA3ur6kRVfR/Yy4/+8ZAknSd9xvQvrarnALrp60f0uRx4dtnyka7tRySZT7KUZOn48eM9ypIkreZcf5GbEW01qmNVLVTVoKoGs7Oz57gsSWpTn9B/PsllAN302Ig+R4Arly1fARztcUxJUg99Qv8B4PTdOHcAvzeiz1eAG5Jc0n2Be0PXJkmagvXesnkf8DXg6iRHktwJfBy4PsmTwPXdMkkGST4FUFUngN8AHu0+H+vaJElTkKqRQ+xTNRgMamlpadplSNKWkWRfVQ3W6ucTuZLUEENfkhpi6EtbxeIi7NoF27YNp4uL065IW9CF0y5A0josLsL8PJw8OVw+dGi4DDA3N726tOV4pS9tBbt3nwn8006eHLZLG2DoS1vB4cMba5dWYehLW8GOHRtrl1Zh6EtbwZ49MDNzdtvMzLBd2gBDX9oK5uZgYQF27oRkOF1Y8EtcbZh370hbxdycIa/evNKXpIYY+pLUEENfkhpi6EtSQwx9SWqIoS9JDTH0Jakhhr4kNWTs0E9ydZIDyz4vJvnwij7vTPLCsj6/3r9kSdK4xn4it6q+C1wDkOQC4E+B+0d0/aOqumXc40iSJmdSwzs/C/zfqjo0of1Jks6BSYX+bcB9q6z7mSSPJflSkp9abQdJ5pMsJVk6fvz4hMqSJC3XO/STvAp4D/A/R6zeD+ysqrcA/xn43dX2U1ULVTWoqsHs7GzfsiRJI0ziSv8mYH9VPb9yRVW9WFUvdfMPAhcled0EjilJGsMkQv92VhnaSfLjSdLNX9sd788mcEzp/FpchF27YNu24XRxcdoVSWPp9T79JDPA9cAvLWv7ZYCqugt4H/ArSU4BfwHcVlXV55jSebe4CPPzZ36Y/NCh4TL4fnttOdmMGTwYDGppaWnaZUhDu3YNg36lnTvhmWfOdzXSSEn2VdVgrX4+kSut5fDhjbVLm5ihL61lx46NtUubmKEvrWXPHpiZObttZmbYLm0xhr60lrk5WFgYjuEnw+nCgl/iakvqdfeO1Iy5OUNerwhe6UtSQwx9SWqIoS9JDTH0Jakhhr4kNcTQl6SGGPqS1BBDX5IaYuhLUkMMfUlqiKEvSQ0x9CWpIYa+JDWkd+gneSbJt5McSPIjv3GYof+U5Kkk30rytr7HlCSNZ1KvVn5XVX1vlXU3AVd1n7cDv9NNJUnn2fkY3rkV+EwNfR14TZLLzsNxJUkrTCL0C3goyb4k8yPWXw48u2z5SNd2liTzSZaSLB0/fnwCZUmSVppE6F9XVW9jOIzzgSTvWLE+I7apH2moWqiqQVUNZmdnJ1CWJGml3qFfVUe76THgfuDaFV2OAFcuW74CONr3uJKkjesV+km2J7n49DxwA/D4im4PAP+su4vn7wMvVNVzfY4rSRpP37t3LgXuT3J6X/+9qr6c5JcBquou4EHgZuAp4CTwz3seU5I0pl6hX1VPA28Z0X7XsvkCPtDnOJKkyfCJXElqiKEvSQ0x9LW5LS7Crl2wbdtwurg47YqkLW1Sr2GQJm9xEebn4eTJ4fKhQ8NlgLm56dUlbWFe6Wvz2r37TOCfdvLksF3SWAx9bV6HD2+sXdKaDH1tXjt2bKxd0poMfW1ee/bAzMzZbTMzw3ZJYzH0tXnNzcHCAuzcCclwurDgl7hSD969o81tbs6QlybIK31JaoihL0kNMfQlqSGGviQ1xNCXpIYY+pLUEENfkhpi6EtSQ8YO/SRXJvlqkoNJnkjyoRF93pnkhSQHus+v9ytXktRHnydyTwH/qqr2J7kY2Jdkb1X98Yp+f1RVt/Q4jiRpQsa+0q+q56pqfzf/A+AgcPmkCpMkTd5ExvST7ALeCnxjxOqfSfJYki8l+alJHE+SNJ7eL1xL8mrg88CHq+rFFav3Azur6qUkNwO/C1y1yn7mgXmAHb4vXZLOiV5X+kkuYhj4i1X1hZXrq+rFqnqpm38QuCjJ60btq6oWqmpQVYPZ2dk+ZUmSVtHn7p0AdwMHq+oTq/T58a4fSa7tjvdn4x5TktRPn+Gd64D3A99OcqBr+zfADoCqugt4H/ArSU4BfwHcVlXV45iSpB7GDv2qegTIGn0+CXxy3GNIkibLJ3IlqSGGviQ1xNCXpIYY+pLUEENfkhpi6EtSQwx9SWqIoS9JDTH0N6vFRdi1C7ZtG04XF6ddkaRXgN5v2dQ5sLgI8/Nw8uRw+dCh4TLA3Nz06pK05Xmlvxnt3n0m8E87eXLYLkk9GPqb0eHDG2uXpHUy9Dej1X5Exh+XkdSTob8Z7dkDMzNnt83MDNslqQdDfzOam4OFBdi5E5LhdGHBL3El9ebdO5vV3JwhL2nivNKXpIYY+pLUEENfkhrSK/ST3Jjku0meSvKREev/RpLPdeu/kWRXn+NJkvoZO/STXAD8NnAT8Cbg9iRvWtHtTuD7VfWTwG8B/37c40mS+utzpX8t8FRVPV1Vfwl8Frh1RZ9bgXu7+f8F/GyS9DimJKmHPrdsXg48u2z5CPD21fpU1akkLwB/B/jeyp0lmQe6t4rx/5I83qO2V5LXMeJ8NcjzcIbn4gzPxRlXr6dTn9AfdcVeY/QZNlYtAAsASZaqatCjtlcMz8WQ5+EMz8UZnoszkiytp1+f4Z0jwJXLlq8Ajq7WJ8mFwN8GTvQ4piSphz6h/yhwVZKfSPIq4DbggRV9HgDu6ObfB/xBVY280pcknXtjD+90Y/QfBL4CXADcU1VPJPkYsFRVDwB3A/81yVMMr/BvW+fuF8at6xXIczHkeTjDc3GG5+KMdZ2LeOEtSe3wiVxJaoihL0kN2VShv9ZrHVqR5J4kx3xWAZJcmeSrSQ4meSLJh6Zd07Qk+bEk30zyWHcu/t20a5q2JBck+T9J/ve0a5mmJM8k+XaSA2vdurlpxvS71zr8CXA9w1s9HwVur6o/nmphU5DkHcBLwGeq6s3TrmeaklwGXFZV+5NcDOwD3tvofxcBtlfVS0kuAh4BPlRVX59yaVOT5F8CA+BvVdUt065nWpI8Awyqas0H1TbTlf56XuvQhKp6GJ9nAKCqnquq/d38D4CDDJ/0bk4NvdQtXtR9NsdV2xQkuQL4h8Cnpl3LVrKZQn/Uax2a/J9bo3VvaX0r8I3pVjI93XDGAeAYsLeqmj0XwH8E/jXwV9MuZBMo4KEk+7pX2qxqM4X+ul/ZoPYkeTXweeDDVfXitOuZlqr6YVVdw/AJ+GuTNDn8l+QW4FhV7Zt2LZvEdVX1NoZvPf5AN0Q80mYK/fW81kEN6savPw8sVtUXpl3PZlBVfw78IXDjlEuZluuA93Rj2Z8F3p3kv023pOmpqqPd9BhwP8Ph8pE2U+iv57UOakz35eXdwMGq+sS065mmJLNJXtPN/03g54DvTLeq6aiqX6uqK6pqF8Os+IOq+qdTLmsqkmzvbnIgyXbgBmDVO/82TehX1Sng9GsdDgL/o6qemG5V05HkPuBrwNVJjiS5c9o1TdF1wPsZXskd6D43T7uoKbkM+GqSbzG8SNpbVU3fqigALgUeSfIY8E3gi1X15dU6b5pbNiVJ596mudKXJJ17hr4kNcTQl6SGGPqS1BBDX5IaYuhLUkMMfUlqyP8HHOkJ2g8ijQ8AAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "import numpy as np\n",
    "\n",
    "x = [1, 2, 2.5, 3, 4]\n",
    "y = [1, 4, 7, 9, 15]\n",
    "plt.plot(x, y, 'ro')\n",
    "plt.axis([0, 5, 0, 20])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "대강 선형 관계임을 확인할 수 있습니다. 이제 이 데이터를 잘 설명하는 선을 찾아봅시다. 1차식으로 regression을 한다고 하면 우리가 찾고자 하는 선은 다음과 같이 나타낼 수 있습니다.\n",
    "\n",
    "$y = mx + b$\n",
    "\n",
    "이제 가장 적절한 $m$, $b$를 찾아서 직선을 그려봅시다"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAX0AAAD8CAYAAACb4nSYAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjMsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+AADFEAAAgAElEQVR4nO3deXxU5b3H8c+PTQmCgiAiq1pEEZUlBJDWWq0WqVVrXaCRXQO2tupte9Vaq13o9d7b2vbWXjFlhwCKaLW3VKWtVr2yJEFAVllkiWGJhtWwJfndP2a4hTghITPJmcz5vl+veZ05z3nOnN+8lO+cPHPOM+buiIhIODQIugAREak7Cn0RkRBR6IuIhIhCX0QkRBT6IiIhotAXEQmRKkPfzDqa2RtmtsbMVpnZ/dH2Vma2wMzWR5ctK9l/RLTPejMbkeg3ICIi1WdVXadvZu2Adu6+1MyaA/nALcBIoNjdnzSzh4GW7v5QhX1bAXlAOuDRffu4++6EvxMREalSlWf67r7d3ZdGn+8H1gDtgZuBadFu04h8EFT0FWCBuxdHg34BMCgRhYuIyKlrdCqdzawL0AtYDLR19+0Q+WAws3Ni7NIe2HbcekG0LdZrZwFZAM2aNetz8cUXn0ppIiKhlp+f/7G7t6mqX7VD38zOAOYBD7j7PjOr1m4x2mKOJ7l7NpANkJ6e7nl5edUtTUQk9MxsS3X6VevqHTNrTCTwc9z9xWjzzuh4/7Fx/10xdi0AOh633gEorM4xRUQk8apz9Y4Bk4A17v7UcZteAY5djTMCeDnG7q8B15tZy+jVPddH20REJADVOdMfCAwDrjGzZdHHYOBJ4DozWw9cF13HzNLNbCKAuxcDPwNyo4+fRttERCQAVV6yGQSN6YuInBozy3f39Kr66Y5cEZEQUeiLiISIQl9EJEQU+iIiIaLQFxEJEYW+iEiIKPRFREJEoS8iEiIKfRGREFHoi4iEiEJfRCREFPoiIiGi0BcRCRGFvohIiCj0RURCRKEvIhIiCn0RkRBR6IuIhEijqjqY2WTgRmCXu/eItj0HdIt2OQvY4+49Y+y7GdgPlAGl1fkpLxERqT1Vhj4wFXgamH6swd3vPPbczH4F7D3J/l9y949rWqCIiCROlaHv7m+ZWZdY28zMgDuAaxJbloiI1IZ4x/S/AOx09/WVbHfgdTPLN7OsOI8lIiJxqs7wzskMBWafZPtAdy80s3OABWa21t3fitUx+qGQBdCpU6c4yxIRkVhqfKZvZo2AW4HnKuvj7oXR5S7gJSDjJH2z3T3d3dPbtGlT07JEROQk4hne+TKw1t0LYm00s2Zm1vzYc+B6YGUcxxMRkThVGfpmNhtYCHQzswIzGxPdNIQKQztmdp6ZzY+utgXeMbPlwBLgz+7+auJKFxGRU1Wdq3eGVtI+MkZbITA4+nwTcEWc9YmISALpjlwRkRBR6IuIhIhCX0QkRBT6IiIhotAXEQkRhb6ISIgo9EVEQkShLyISIgp9EZEQUeiLiISIQl9EJEQU+iIiIaLQFxEJEYW+iEiIKPRFREJEoS8iEiIKfRGREFHoi4iEiEJfRCREqvPD6JPNbJeZrTyu7Qkz+8jMlkUfgyvZd5CZrTOzDWb2cCILF5EEysmBLl2gQYPIMicn6IqkllTnTH8qMChG+6/dvWf0Mb/iRjNrCPweuAHoDgw1s+7xFCsitSAnB7KyYMsWcI8ss7IU/CmqytB397eA4hq8dgawwd03ufsRYA5wcw1eR0Rq06OPQknJiW0lJZF2STnxjOnfZ2YrosM/LWNsbw9sO269INoWk5llmVmemeUVFRXFUZaInJKtW0+tXeq1mob+M8CFQE9gO/CrGH0sRptX9oLunu3u6e6e3qZNmxqWJSKnrFOnU2uXeq1Goe/uO929zN3LgT8QGcqpqADoeNx6B6CwJscTkVo0fjykpZ3YlpYWaZeUU6PQN7N2x61+HVgZo1su0NXMzjezJsAQ4JWaHE9EalFmJmRnQ+fOYBZZZmdH2iXlNKqqg5nNBq4GWptZAfA4cLWZ9SQyXLMZGBvtex4w0d0Hu3upmd0HvAY0BCa7+6paeRciEp/MTIV8SJh7pcPsgUlPT/e8vLygyxARqTfMLN/d06vqpztyRQSAQ0fLgi5B6oBCX0TYsfcQNz39DhPf3hR0KVLLqhzTF5HUtrHoAMMnLWFPyRG6t2sRdDlSyxT6IiG2omAPI6fkYsCcrAFc1uHMoEuSWqbQFwmpd9Z/zNgZeZyV1oQZYzK4oM0ZQZckdUChLxJCf16xnQefW8b5rZsxfUwGbVucHnRJUkcU+iIhM3PRFh57eSW9O7Vk8oi+nJnWOOiSpA4p9EVCwt353d838NSCD7jm4nP4/Td707RJw6DLkjqm0BcJgfJy5yd/WsW0hVu4tVd7/v22y2ncUFdsh5FCXyTFHSkt5/tzl/PK8kLGfP58Hh18CQ0axJoEV8JAoS+SwkqOlDJu5lLe+qCIfx3UjXu/eCFmCvwwU+iLpKjdnx5h1NRcVhTs4clbL2NIhubHF4W+SEoq3HOQ4ZOXsLW4hGfu6sNXLj036JIkSSj0RVLMhl0HGD5pMfsOlTJtVAYDLjw76JIkiSj0RVLIsm17GDVlCQ0bGHOy+tOjvaZVkBMp9EVSxNvrixg7I5+zz2jCjNH96NK6WdAlSRJS6IukgD8tL+Rfnl/GhW3OYProDM7RtApSCYW+SD03Y+FmfvzKKtI7t2TiiL6c2VTTKkjlqvMbuZOBG4Fd7t4j2vafwNeAI8BGYJS774mx72ZgP1AGlFbnp7xEpHrcnd/8dT2//dt6vnzJOTz9zd6c3ljTKsjJVec+7KnAoAptC4Ae7n458AHwyEn2/5K791TgiyROWbnz45dX8du/recbvTsw4a4+CnyplipD393fAoortL3u7qXR1UVAh1qoTURiOFxaxnfnvMeMRVvIuuoCfnn75TTSPDpSTYn4P2U08JdKtjnwupnlm1nWyV7EzLLMLM/M8oqKihJQlkjq+fRwKWOm5vHnFdt55IaL+eHgSzStgpySuL7INbNHgVIgp5IuA9290MzOARaY2droXw6f4e7ZQDZAenq6x1OXSCoq/vQIo6YsYWXhPv7jtsu5I71j0CVJPVTj0DezEUS+4L3W3WOGtLsXRpe7zOwlIAOIGfoiUrmP9hxk2KTFfLT7IBPu6sN13dsGXZLUUzUa3jGzQcBDwE3uXlJJn2Zm1vzYc+B6YGVNCxUJq/U793PbM+9StO8w00dnKPAlLlWGvpnNBhYC3cyswMzGAE8DzYkM2SwzswnRvueZ2fzorm2Bd8xsObAE+LO7v1or70IkRS3dupvbn13I0TLnubED6HeB5tGR+FQ5vOPuQ2M0T6qkbyEwOPp8E3BFXNWJhNib63Zx78yltGl+GjPH9KPT2WlBlyQpQHfkiiShl5d9xPeeX07Xts2ZNrov5zTXtAqSGAp9kSQz9X8/5Ik/rSbj/FZMHJFOi9M1rYIkjkJfJEm4O79e8AH/9fcNXNe9Lb8b2kt32UrCKfRFkkBZufPYyyuZtXgrd6R34Bdfv0x32UqtUOiLBOxwaRkPPreM+e/vYNwXL+ShQd10l63UGoW+SIAOHC4la3oe7278hEcHX8I9V10QdEmS4hT6IgH55MBhRk7JZfX2ffzq9iv4Rh/NWyi1T6EvEoCC3SUMn7SEj/YcJHtYH669RHfZSt1Q6IvUsQ927mfYpMUcPFLGzLv70bdLq6BLkhBR6IvUofwtxYyemsdpjRrw3NgBXNKuRdAlScgo9EXqyBvrdnHvzHzObXE6M8b0o2MrTasgdU+hL1IHXnqvgB/MXUG3c5szbXQGrc84LeiSJKQU+iK1bNI7H/Kz/1nNgAvOJnt4H5prWgUJkEJfpJa4O798fR2/f2Mjgy49l98M6alpFSRwCn2RWlBW7vzoj+8ze8k2hmZ05Oe3XEbDBrrLVoKn0BdJsENHy3hgzjJeXbWDb3/pQr5/vaZVkOSh0BdJoP2HjpI1PZ+Fmz7hsRu7M+bz5wddksgJFPoiCVK0/zAjpyxh3Y79/ObOntzSq33QJYl8RrXmbjWzyWa2y8xWHtfWyswWmNn66LJlJfuOiPZZb2YjElW4SDLZVlzC7RPeZWPRAf4wIl2BL0mruhN2TwUGVWh7GPibu3cF/hZdP4GZtQIeB/oBGcDjlX04iNRXa3fs4xvPvMvukqPk3N2fL3U7J+iSRCpVrdB397eA4grNNwPTos+nAbfE2PUrwAJ3L3b33cACPvvhIVJv5W4u5o4JCzGDueMG0KezzmkkucXz0zxt3X07QHQZ6/SmPbDtuPWCaNtnmFmWmeWZWV5RUVEcZYnUjb+t2cldExfT+ozTmHfvlVzUtnnQJYlUqbZ/jy3WdWoeq6O7Z7t7urunt2nTppbLEonPvPwCsmbkc1Hb5swdN4AOLTWPjtQP8YT+TjNrBxBd7orRpwDoeNx6B6AwjmOKBO4Pb23ie3OX0/+CVszO6s/ZmkdH6pF4Qv8V4NjVOCOAl2P0eQ243sxaRr/AvT7aJlLvuDtP/mUt4+evYfBl5zJ5ZF/OOE1XPUv9Ut1LNmcDC4FuZlZgZmOAJ4HrzGw9cF10HTNLN7OJAO5eDPwMyI0+fhptE6lXSsvKeWjeCib8YyOZ/Trxu6G9Oa2R5tGR+sfcYw6xByo9Pd3z8vKCLkMEiEyr8J3Z77Fg9U6+e83nePC6izStgiQdM8t39/Sq+ulvU5GT2HfoKHdPy2PJh8U88bXujByoaRWkflPoi1Ri1/5DjJicy/qd+/ntkJ7c3FN32Ur9V9uXbIrUS1s/KeH2CQvZ/PGnTBrZl5tXvQldukCDBpFlTk7AFYrUjM70RSpYXbiPEVOWcLSsnFn39KPX2/MhKwtKSiIdtmyJrANkZgZXqEgN6Exf5DhLPizmzuyFNGpgzB07gF6dWsKjj/4z8I8pKYm0i9QzOtMXiVqweif3zVpK+5ZNmTGmH+3PahrZsHVr7B0qaxdJYjrTFwHm5m1j3Mx8Lj63OS+Mu/KfgQ/QqVPsnSprF0liCn0JvWf/sZEfvLCCKy88m1n39KdVsyYndhg/HtIqzK2TlhZpF6lnFPoSWu7OL+av4d/+spYbL2/HxBHpNIs1rUJmJmRnQ+fOYBZZZmfrS1yplzSmL6FUWlbOwy++zwv5BQzr35knbrqUhg1OcpdtZqZCXlKCQl9C59DRMu6btZS/rtnFA1/uyv3XdtW0ChIaCn0Jlb0Hj3LPtDxytxTzs5svZdiALkGXJFKnFPoSGrv2HWL45CVsLDrAfw3pxdeuOC/okkTqnEJfQmHLJ58ybNISPj5wmMkj+/KFrvp1Ngknhb6kvJUf7WXklFzKysuZfU9/ruh4VtAliQRGl2xKSlu06ROGZi+iSUNj7rgrFfgSejrTl5T12qodfGf2e3RqlcaMMRm0O7Np1TuJpDiFvqSk53K38siL73N5h7OYMrIvLSveZSsSUjUe3jGzbma27LjHPjN7oEKfq81s73F9fhx/ySKVc3eeeXMjD817n893bcOse/op8EWOU+MzfXdfB/QEMLOGwEfASzG6vu3uN9b0OCLVVV4emVZh4jsfctMV5/HL26+gSSN9bSVyvEQN71wLbHT3LQl6PZFTcrSsnIfmreDFpR8x8sou/PjG7jQ42bQKIiGVqNOgIcDsSrYNMLPlZvYXM7u0shcwsywzyzOzvKKiogSVJWFw8EgZY2fk8+LSj/jedRfx+NcU+CKVMXeP7wXMmgCFwKXuvrPCthZAubsfMLPBwG/dvWtVr5menu55eXlx1SXhsLfkKGOm5ZK/dTc/v6UHmf06B12SSCDMLN/d06vql4gz/RuApRUDH8Dd97n7gejz+UBjM2udgGOKsHPfIe54diErCvby+2/2VuCLVEMixvSHUsnQjpmdC+x0dzezDCIfMp8k4JgSch9Ons2wpUfY3SSNKf87kYHdh8NlmvpYpCpxhb6ZpQHXAWOPaxsH4O4TgNuAe82sFDgIDPF4x5Mk9FZOnMOIFY43aMzs2T/k8h0bIOudyEbNeS9yUnGP6dcGjelLZd7d+DFZ//0mZ5bsY8Zzj3HB7sJ/buzcGTZvDqw2kSBVd0xfd+RKvfHqyu18d/YyuuzZxfTnf8y5ByqMFG7dGkxhIvWI7lyRemH2kq18K2cpPdq34Pm3n/5s4AN06lT3hYnUMwp9SWruzu/f2MAjL77PFy9qQ87d/Tnr8UchLe3EjmlpMH58MEWK1CMKfUla5eXOT/9nNf/52jq+3qs92cPTadqkYeTL2uzsyBi+WWSZna0vcUWqQWP6kpSOlpXzg7nL+eOyQkYPPJ8fffWSE++yzcxUyIvUgEJfkk7JkVK+lbOUN9cV8YOvdONbV1+ImaZVEEkEhb4klT0lRxg9NZdl2/bw5K2XMSRDX86KJJJCX5LGjr2HGD55MZs/LuG/M3szqEe7oEsSSTkKfUkKG4sOMHzSEvYePMrU0X258kJN0SRSGxT6ErgVBXsYOSUXA+Zk9adH+zODLkkkZSn0JVDvrP+YsTPyaNmsCTPG9OP81s2CLkkkpSn0JTB/XrGdB59bxgVtmjFtdAZtW5wedEkiKU+hL4GYuWgLj728kj6dWjJpRF/OTGscdEkioaDQlzrl7vzu7xt4asEHXHvxOTz9zd6Ru2xFpE4o9KXOlJc7P/nTKqYt3MKtvdvz79+4nMYNNROISF1S6EudOFJazvfnLueV5YXc84XzeeSGS/Tj5SIBUOhLrSs5Usq4mUt564MiHr7hYsZ98cKgSxIJLYW+1Krdnx5h1NRcVhTs4T++cTl39O0YdEkioRZ36JvZZmA/UAaUVvy5LovMlPVbYDBQAox096XxHleSX+GegwyfvIStxSVMuKsP1196btAliYReos70v+TuH1ey7Qaga/TRD3gmupQUtmHXAYZPWsz+Q6XMGJ1BvwvODrokEaFufkTlZmC6RywCzjIzzaSVwpZt28PtE97lSJkzZ2x/Bb5IEklE6Dvwupnlm1lWjO3tgW3HrRdE205gZllmlmdmeUVFRQkoS4Lw9voivvmHRTQ/vTHz7h3ApedpHh2RZJKI0B/o7r2JDON828yuqrA91nV5/pkG92x3T3f39DZt2iSgLKlrf1peyOipuXQ+uxkvjBtA57M1j45Isok79N29MLrcBbwEZFToUgAcf8lGB6Aw3uNKcpmxcDPfnfMevTq2ZE5Wf87RPDoiSSmu0DezZmbW/Nhz4HpgZYVurwDDLaI/sNfdt8dzXEke7s6vF3zAYy+v4tqL2zJ9TAZnNtU8OiLJKt6rd9oCL0V/v7QRMMvdXzWzcQDuPgGYT+RyzQ1ELtkcFecxJUmUlTtPvLKKGYu2cHufDvzbrZfRSNMqiCS1uELf3TcBV8Ron3Dccwe+Hc9xJPkcLi3jX55fzp9XbGfsFy/g4UEX68fLReoB3ZErp+zA4VLGzcjnnQ0f88PBF5N1laZVEKkvFPpySoo/PcKoKUtYWbiPX95+Bbf16RB0SSJyCjQAK9X20Z6D3DbhXdbu2M+zd/U5MfBzcqBLF2jQILLMyQmqTBE5CZ3pS7Ws37mfYZOW8OmRUmbe3Y++XVr9c2NODmRlQUlJZH3Llsg6QGZm3RcrIpXSmb5UaenW3dz+7ELK3Hl+7IATAx/g0Uf/GfjHlJRE2kUkqehMX07qzXW7uHfmUs5pcRozx/SjY6u0z3baujX2zpW1i0hgdKYvlXp52UfcPS2P81s344VxV8YOfIBOnU6tXUQCo9CXmKb874fcP2cZfTq3ZM7Y/rRpflrlncePh7QKHwhpaZF2EUkqCn05gbvzq9fX8ZM/reb67m2ZNjqDFqdXMa1CZiZkZ0PnzmAWWWZn60tckSSkMX35f2XlzmMvr2TW4q3cmd6R8V/vUf1pFTIzFfIi9YBCX4DItAoPPreM+e/v4FtXX8gPvtJN0yqIpCCFvnDgcClZ0/N4d+Mn/Oirl3D3Fy4IuiQRqSUK/ZD7+MBhRk3JZfX2fTx1xxXc2lvTKoikMoV+iG0rLmHE5CUU7j3IH4b34ZqL2wZdkojUMoV+SK3bsZ/hkxdz8EgZM8f0I73iXbYikpIU+iGUv6WYUVNyadqkIXPHXUm3c5sHXZKI1BGFfsi8sXYX9+bk0+7MpkwfnVH5XbYikpIU+iHy0nsFfH/uCi5p15ypozJofcZJ7rIVkZRU4ztyzayjmb1hZmvMbJWZ3R+jz9VmttfMlkUfP46vXKmpSe98yIPPLaff+a2YfU9/Bb5ISMVzpl8KfM/dl5pZcyDfzBa4++oK/d529xvjOI7Ewd35z9fW8d9vbuSGHufy6zt7cnrjhkGXJSIBqXHou/t2YHv0+X4zWwO0ByqGvgSktKycH/1xJXNytzE0oxM/v6UHDRvoLluRMEvIhGtm1gXoBSyOsXmAmS03s7+Y2aWJOJ5U7dDRMr49aylzcrfxnWs+xy++rsAXkQR8kWtmZwDzgAfcfV+FzUuBzu5+wMwGA38EulbyOllAFkAnzcMel/2HjnLP9DwWbSrm8a91Z9TA84MuSUSSRFxn+mbWmEjg57j7ixW3u/s+dz8QfT4faGxmrWO9lrtnu3u6u6e3adMmnrJCrWj/YYZkLyJv825+c2dPBb6InKDGZ/oWmYJxErDG3Z+qpM+5wE53dzPLIPIh80lNjyknt624hGGTFrNz32Emjkjn6m7nBF2SiCSZeIZ3BgLDgPfNbFm07YdAJwB3nwDcBtxrZqXAQWCIu3scx5RKrNm+j+GTl3CktJyZd/ejT+eWQZckIkkonqt33gFO+s2guz8NPF3TY0j15G4uZvTUXJo1acTccQO4qK2mVRCR2HRHbj3319U7+faspbQ/qynTx2TQoaWmVRCRyin067EX8gt4aN4KLj2vBVNG9uVs3WUrIlVQ6NdTf3hrE+Pnr2Hg587m2WHpnHGa/lOKSNWUFPWMu/Pkq2t59h+b+Opl7Xjqzis4rZGmVRCR6lHo1yOlZeU88uL7zM0vILNfJ356s+6yFZFTo9CvJw4dLeO+We/x1zU7uf/arjzw5a5EbpUQEak+hX49sO/QUe6elkfu5mJ+ctOljLiyS9AliUg9pdBPcrv2H2LE5Fw27NrPb4f04qYrzgu6JBGpxxIyy6ZUQ04OdOkCDRpEljk5Ve6y5ZNPue2ZhWz55FMmjeirwBeRuOlMvy7k5EBWFpSURNa3bImsA2RmxtxlVeFeRkzOpbS8nJy7+9Grk6ZVEJH46Uy/Ljz66D8D/5iSkkh7DIs2fcKQZxfRuKHxwrgBCnwRSRid6deFrVur3f76qh3cN/s9OrZsyowx/TjvrKa1XJyIhInO9OtCZT8KU6H9+dxtjJuZzyXtWjB33JUKfBFJOIV+XRg/HtIqTISWlhZpj5rwj43867wVDPxca2bd3Y9WzZrUcZEiEgYK/bqQmQnZ2dC5M5hFltnZkJlJebnzi/lrePIva7nx8nZMGtGXZppHR0RqidKlrmRmfuZKnaNl5Tw8733mLS1g+IDOPPG1S2mgaRVEpBYp9ANy8EgZ981ayt/W7uLBL1/Ed6/9nKZVEJFap9APwN6So9w9PZe8Lbv52S09GNa/c9AliUhIKPTr2M59hxgxeQkbiw7wu6G9uPFy3WUrInUnri9yzWyQma0zsw1m9nCM7aeZ2XPR7YvNrEs8x6vvPvz4U77xzLtsLS5hysgMBb6I1Lkah76ZNQR+D9wAdAeGmln3Ct3GALvd/XPAr4F/r+nxUsHqwn0cOlrG7Hv68/murYMuR0RCKJ7hnQxgg7tvAjCzOcDNwOrj+twMPBF9/gLwtJmZu3scx623vnp5O666qDXNT28cdCkiElLxhH57YNtx6wVAv8r6uHupme0FzgY+rvhiZpYFRGch47CZrYyjtmTWmhjvP4Xo/dVven/1V7fqdIon9GNdX1jxDL46fSKN7tlANoCZ5bl7ehy1Ja1Ufm+g91ff6f3VX2aWV51+8XyRWwB0PG69A1BYWR8zawScCRTHcUwREYlDPKGfC3Q1s/PNrAkwBHilQp9XgBHR57cBfw/reL6ISDKo8fBOdIz+PuA1oCEw2d1XmdlPgTx3fwWYBMwwsw1EzvCHVPPls2taVz2Qyu8N9P7qO72/+qta78104i0iEh6aZVNEJEQU+iIiIZJUoV/VtA71mZlNNrNdqXr/gZl1NLM3zGyNma0ys/uDrimRzOx0M1tiZsuj7+8nQdeUaGbW0MzeM7P/CbqWRDOzzWb2vpktq+6ljfWJmZ1lZi+Y2drov8EBlfZNljH96LQOHwDXEbnUMxcY6u6rT7pjPWFmVwEHgOnu3iPoehLNzNoB7dx9qZk1B/KBW1Lov58Bzdz9gJk1Bt4B7nf3RQGXljBm9i9AOtDC3W8Mup5EMrPNQLq7p+SNWWY2DXjb3SdGr6ZMc/c9sfom05n+/0/r4O5HgGPTOqQEd3+LFL5Hwd23u/vS6PP9wBoid2SnBI84EF1tHH0kxxlTAphZB+CrwMSga5FTY2YtgKuIXC2Jux+pLPAhuUI/1rQOKRMaYRKdTbUXsDjYShIrOvyxDNgFLHD3VHp/vwH+FSgPupBa4sDrZpYfnfIllVwAFAFTosNzE82sWWWdkyn0qz1lgyQvMzsDmAc84O77gq4nkdy9zN17Ern7PMPMUmKYzsxuBHa5e37QtdSige7em8iswN+ODremikZAb+AZd+8FfApU+p1oMoV+daZ1kCQWHeueB+S4+4tB11Nbon86vwkMCriURBkI3BQd954DXGNmM4MtKbHcvTC63AW8RGQ4OVUUAAXH/eX5ApEPgZiSKfSrM62DJKnoF52TgDXu/lTQ9SSambUxs7Oiz5sCXwbWBltVYrj7I+7ewd27EPl393d3vyvgshLGzJpFLy4gOuxxPZAyV9G5+w5gm5kdm2XzWk6c4v4ESfNziZVN6xBwWQljZrOBq4HWZlYAPO7uk4KtKqEGAsOA96Pj3gA/dPf5AdaUSO2AadGrzBoAz7t7yl3amKLaAi9FzktoBMxy91eDLSnhvgPkRE+YNwGjKuuYNJdsiohI7Uum4R0REallCn0RkXdO47sAAAAiSURBVBBR6IuIhIhCX0QkRBT6IiIhotAXEQkRhb6ISIj8HyoNOnxjXCHHAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.plot(x, y, 'ro')\n",
    "plt.axis([0, 6, 0, 20])\n",
    "plt.plot(np.unique(x), np.poly1d(np.polyfit(x, y, 1))(np.unique(x))) #파란색 직선\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Numpy에 포함된 ployfit 함수를 이용하여 주어진 데이터를 가장 잘 설명하는 직선의 계수를 찾을 수 있습니다. 세 번째 인자인 1은 1차식을 의미합니다. polyfit을 통해 구한 계수를 이용해 그린 직선은 꽤나 잘 5개의 점을 설명하고 있다고 할 수 있습니다.\n",
    "\n",
    "feature의 개수가 많아지더라도 비어있는, 또는 구하고자 하는 label이 하나이면 regression이 가능합니다. 예를 들어, 중간고사 성적/기말고사 성적/과제 점수/출석 점수/프로젝트 점수 5개를 이용해서 최종 점수를 예상할 수 있겠죠. 이제 이런 regression을 tensorflow를 이용해서 해 보도록 합시다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Setup & Import\n",
    "\n",
    "TF, Numpy 외에 scikit-learn도 같이 사용합니다. Scikit-learn은 데이터 분석, ML을 위한 오픈소스 라이브러리입니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.22.1\n"
     ]
    }
   ],
   "source": [
    "import sklearn as sk\n",
    "print(sk.__version__)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "from __future__ import absolute_import, division, print_function, unicode_literals\n",
    "\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "from IPython.display import clear_output\n",
    "from six.moves import urllib\n",
    "\n",
    "import tensorflow.compat.v2.feature_column as fc\n",
    "import tensorflow as tf"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Data - Titanic\n",
    "\n",
    "본 course에서는 타이타닉 데이터셋을 다루고 있습니다. 타이타닉호에 탑승했던 사람들의 인적사항 및 여러 정보들을 통해 생사 여부를 예측합니다. 먼저 데이터셋을 불러오고 y_train, y_eval에 정답에 해당하는 'survived'를 뽑아 저장합니다. \n",
    "\n",
    "*Kaggle에 올라온 titanic dataset과는 살짝 다릅니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "x_train = pd.read_csv('https://storage.googleapis.com/tf-datasets/titanic/train.csv') # Training set\n",
    "x_eval = pd.read_csv('https://storage.googleapis.com/tf-datasets/titanic/eval.csv') # Test set\n",
    "y_train = x_train.pop('survived')\n",
    "y_eval = x_eval.pop('survived')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Some useful pandas method\n",
    "\n",
    "### df.head()\n",
    "\n",
    "데이터는 pandas dataframe(df) 형식으로 저장됩니다. df.head()를 통해 첫 5개 아이템 정보를 볼 수 있습니다. 각 column의 정보는 다음과 같습니다.\n",
    "\n",
    " - sex : 성별\n",
    " - age : 나이\n",
    " - n_siblings_spouses : 같이 탑승한 형제자매 또는 배우자의 수\n",
    " - parch : 같이 탑승한 부모 또는 자식의 수\n",
    " - fare : 탑승 운임\n",
    " - class : 티켓 등급\n",
    " - deck : 객실 번호(구역)\n",
    " - embark_town : 탑승한 도시\n",
    " - alone : 혼자 탑승 여부"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sex</th>\n",
       "      <th>age</th>\n",
       "      <th>n_siblings_spouses</th>\n",
       "      <th>parch</th>\n",
       "      <th>fare</th>\n",
       "      <th>class</th>\n",
       "      <th>deck</th>\n",
       "      <th>embark_town</th>\n",
       "      <th>alone</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>male</td>\n",
       "      <td>22.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>7.2500</td>\n",
       "      <td>Third</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Southampton</td>\n",
       "      <td>n</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>female</td>\n",
       "      <td>38.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>71.2833</td>\n",
       "      <td>First</td>\n",
       "      <td>C</td>\n",
       "      <td>Cherbourg</td>\n",
       "      <td>n</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>female</td>\n",
       "      <td>26.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>7.9250</td>\n",
       "      <td>Third</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Southampton</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>female</td>\n",
       "      <td>35.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>53.1000</td>\n",
       "      <td>First</td>\n",
       "      <td>C</td>\n",
       "      <td>Southampton</td>\n",
       "      <td>n</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>male</td>\n",
       "      <td>28.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>8.4583</td>\n",
       "      <td>Third</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Queenstown</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      sex   age  n_siblings_spouses  parch     fare  class     deck  \\\n",
       "0    male  22.0                   1      0   7.2500  Third  unknown   \n",
       "1  female  38.0                   1      0  71.2833  First        C   \n",
       "2  female  26.0                   0      0   7.9250  Third  unknown   \n",
       "3  female  35.0                   1      0  53.1000  First        C   \n",
       "4    male  28.0                   0      0   8.4583  Third  unknown   \n",
       "\n",
       "   embark_town alone  \n",
       "0  Southampton     n  \n",
       "1    Cherbourg     n  \n",
       "2  Southampton     y  \n",
       "3  Southampton     n  \n",
       "4   Queenstown     y  "
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "다음은 정답에 해당하는 생존 여부입니다. 왼쪽이 index에 해당하고 오른쪽이 정답입니다. 정답은 생존 또는 사망 둘 중 하나이기 때문에 모두 1 또는 0으로 이루어져 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    0\n",
       "1    1\n",
       "2    1\n",
       "3    1\n",
       "4    0\n",
       "Name: survived, dtype: int64"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_train.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### df.describe()\n",
    "\n",
    "df.describe()를 통해 각 column의 통계 정보를 알 수 있습니다. Column 중 sex, class와 같이 숫자가 아닌 데이터가 있는 column은 표시하지 않습니다. 평균, 표준편차, 사분위수 등을 확인할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>age</th>\n",
       "      <th>n_siblings_spouses</th>\n",
       "      <th>parch</th>\n",
       "      <th>fare</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>count</th>\n",
       "      <td>627.000000</td>\n",
       "      <td>627.000000</td>\n",
       "      <td>627.000000</td>\n",
       "      <td>627.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>mean</th>\n",
       "      <td>29.631308</td>\n",
       "      <td>0.545455</td>\n",
       "      <td>0.379585</td>\n",
       "      <td>34.385399</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>std</th>\n",
       "      <td>12.511818</td>\n",
       "      <td>1.151090</td>\n",
       "      <td>0.792999</td>\n",
       "      <td>54.597730</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>min</th>\n",
       "      <td>0.750000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25%</th>\n",
       "      <td>23.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>7.895800</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>50%</th>\n",
       "      <td>28.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>15.045800</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75%</th>\n",
       "      <td>35.000000</td>\n",
       "      <td>1.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>31.387500</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>max</th>\n",
       "      <td>80.000000</td>\n",
       "      <td>8.000000</td>\n",
       "      <td>5.000000</td>\n",
       "      <td>512.329200</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "              age  n_siblings_spouses       parch        fare\n",
       "count  627.000000          627.000000  627.000000  627.000000\n",
       "mean    29.631308            0.545455    0.379585   34.385399\n",
       "std     12.511818            1.151090    0.792999   54.597730\n",
       "min      0.750000            0.000000    0.000000    0.000000\n",
       "25%     23.000000            0.000000    0.000000    7.895800\n",
       "50%     28.000000            0.000000    0.000000   15.045800\n",
       "75%     35.000000            1.000000    0.000000   31.387500\n",
       "max     80.000000            8.000000    5.000000  512.329200"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train.describe()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### df.shape\n",
    "\n",
    "df.shape를 통해 데이터셋의 크기를 알 수 있습니다. 현재 사용하고 있는 데이터셋은 627개의 데이터와 9개의 feature로 이루어져 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(627, 9)"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train.shape"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### df.loc()\n",
    "\n",
    "다음으로 pandas에서 유용한 method인 loc에 대해 다뤄보겠습니다. 주어진 dataset에서 특정 부분만 따로 보고 싶을 때, df.loc[row index, column index]를 통해 원하는 정보만 따로 뽑아낼 수 있습니다. 다음은 첫 번째 데이터의 정보입니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "sex                          male\n",
       "age                            22\n",
       "n_siblings_spouses              1\n",
       "parch                           0\n",
       "fare                         7.25\n",
       "class                       Third\n",
       "deck                      unknown\n",
       "embark_town           Southampton\n",
       "alone                           n\n",
       "Name: 0, dtype: object"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train.loc[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "이번에는 첫 번째 데이터의 fare 정보만 보도록 하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "7.25"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train.loc[0, 'fare']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "조금 더 나아가서, 특정 조건에 부합하는 데이터만 보도록 하겠습니다. 조건문을 통해 성별이 남자인 데이터만 뽑아보도록 합시다. row의 개수를 통해 데이터셋에 남자가 410명이라는 것을 알 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sex</th>\n",
       "      <th>age</th>\n",
       "      <th>n_siblings_spouses</th>\n",
       "      <th>parch</th>\n",
       "      <th>fare</th>\n",
       "      <th>class</th>\n",
       "      <th>deck</th>\n",
       "      <th>embark_town</th>\n",
       "      <th>alone</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>male</td>\n",
       "      <td>22.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>7.2500</td>\n",
       "      <td>Third</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Southampton</td>\n",
       "      <td>n</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>male</td>\n",
       "      <td>28.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>8.4583</td>\n",
       "      <td>Third</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Queenstown</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>male</td>\n",
       "      <td>2.0</td>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>21.0750</td>\n",
       "      <td>Third</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Southampton</td>\n",
       "      <td>n</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>male</td>\n",
       "      <td>20.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>8.0500</td>\n",
       "      <td>Third</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Southampton</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>male</td>\n",
       "      <td>39.0</td>\n",
       "      <td>1</td>\n",
       "      <td>5</td>\n",
       "      <td>31.2750</td>\n",
       "      <td>Third</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Southampton</td>\n",
       "      <td>n</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>619</th>\n",
       "      <td>male</td>\n",
       "      <td>19.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>7.8958</td>\n",
       "      <td>Third</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Southampton</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>620</th>\n",
       "      <td>male</td>\n",
       "      <td>28.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>7.8958</td>\n",
       "      <td>Third</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Southampton</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>622</th>\n",
       "      <td>male</td>\n",
       "      <td>28.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>10.5000</td>\n",
       "      <td>Second</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Southampton</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>623</th>\n",
       "      <td>male</td>\n",
       "      <td>25.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>7.0500</td>\n",
       "      <td>Third</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Southampton</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>626</th>\n",
       "      <td>male</td>\n",
       "      <td>32.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>7.7500</td>\n",
       "      <td>Third</td>\n",
       "      <td>unknown</td>\n",
       "      <td>Queenstown</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>410 rows × 9 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "      sex   age  n_siblings_spouses  parch     fare   class     deck  \\\n",
       "0    male  22.0                   1      0   7.2500   Third  unknown   \n",
       "4    male  28.0                   0      0   8.4583   Third  unknown   \n",
       "5    male   2.0                   3      1  21.0750   Third  unknown   \n",
       "9    male  20.0                   0      0   8.0500   Third  unknown   \n",
       "10   male  39.0                   1      5  31.2750   Third  unknown   \n",
       "..    ...   ...                 ...    ...      ...     ...      ...   \n",
       "619  male  19.0                   0      0   7.8958   Third  unknown   \n",
       "620  male  28.0                   0      0   7.8958   Third  unknown   \n",
       "622  male  28.0                   0      0  10.5000  Second  unknown   \n",
       "623  male  25.0                   0      0   7.0500   Third  unknown   \n",
       "626  male  32.0                   0      0   7.7500   Third  unknown   \n",
       "\n",
       "     embark_town alone  \n",
       "0    Southampton     n  \n",
       "4     Queenstown     y  \n",
       "5    Southampton     n  \n",
       "9    Southampton     y  \n",
       "10   Southampton     n  \n",
       "..           ...   ...  \n",
       "619  Southampton     y  \n",
       "620  Southampton     y  \n",
       "622  Southampton     y  \n",
       "623  Southampton     y  \n",
       "626   Queenstown     y  \n",
       "\n",
       "[410 rows x 9 columns]"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train.loc[x_train.sex == 'male']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Visualization\n",
    "\n",
    "이제 데이터를 눈에 보이는 그래프로 그려봅시다. 시각화를 통해 데이터의 특징을 보다 쉽게 확인할 수 있습니다.\n",
    "\n",
    "우선 탑승자의 나이를 히스토그램으로 나타내봅시다. 나이 범위를 10등분하여 히스토그램을 그립니다. bins 값을 조절함으로써 각 막대에 해당하는 범위를 조절할 수 있습니다. 20-30대가 가장 많다는 것을 확인할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.axes._subplots.AxesSubplot at 0x7f06f93d7590>"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXcAAAD4CAYAAAAXUaZHAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjMsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+AADFEAAAR/0lEQVR4nO3df4wcd33G8fenCU2Dj8ZODSdjW70guZSQKyY+hdBU1R1pwQkVBgkqRxHYkMr8YdqktVQcKhUQipRKGCiijeo2aUKhOdIQGssJ0NT1KaJSCHYw2Ma4cYkVbKc2PxyHCxHiwqd/7FhZO2fv7e3u7fjL+yWtdve7MzuPb8bPzc3O7kZmIkkqy6/0O4Akqfssd0kqkOUuSQWy3CWpQJa7JBXo/H4HAFi4cGEODQ21Nc+zzz7LvHnzehOoA+ZqX12z1TUX1DebudrXSbadO3f+MDNfPu2Dmdn3y4oVK7Jd27dvb3ueuWCu9tU1W11zZdY3m7na10k2YEeeoVc9LCNJBbLcJalAlrskFchyl6QCWe6SVCDLXZIKZLlLUoEsd0kqUMtyj4ilEbE9IvZFxN6IuLEa/0hEHI6IXdXl2qZ5bo6IAxGxPyLe0st/gCTpxWby8QNTwIbMfCwiXgbsjIiHqsc+mZkfb544Ii4FVgOvBV4J/GdE/FZmPt/N4OqPoY0PdP05NwxPsbbF8x689a1dX65UspZ77pn5VGY+Vt3+CbAPWHyWWVYB45n5s8x8AjgAXNGNsJKkmYls42v2ImIIeBi4DPgLYC3wDLCDxt798Yj4DPBIZn6umud24MuZee9pz7UOWAcwODi4Ynx8vK3gk5OTDAwMtDXPXCg91+7DJ7qQ5lSDF8LR584+zfDii7q+3Fbqui6hvtnM1b5Oso2Nje3MzJHpHpvxp0JGxADwReCmzHwmIm4DPgZkdb0JeB8Q08z+ot8gmbkZ2AwwMjKSo6OjM40CwMTEBO3OMxdKz9Xq8MlsbBieYtPus2+KB68f7fpyW6nruoT6ZjNX+3qVbUZny0TES2gU++cz8z6AzDyamc9n5i+Af+SFQy+HgKVNsy8BjnQvsiSplZmcLRPA7cC+zPxE0/iipsneAeypbm8BVkfEBRFxCbAMeLR7kSVJrczksMxVwLuB3RGxqxr7EHBdRCynccjlIPB+gMzcGxH3AN+hcabNes+UkaS51bLcM/NrTH8c/cGzzHMLcEsHuSRJHfAdqpJUIMtdkgpkuUtSgSx3SSqQ5S5JBbLcJalAlrskFchyl6QCWe6SVCDLXZIKZLlLUoEsd0kqkOUuSQWy3CWpQJa7JBXIcpekAlnuklQgy12SCmS5S1KBLHdJKpDlLkkFstwlqUCWuyQVyHKXpAJZ7pJUIMtdkgpkuUtSgSx3SSqQ5S5JBbLcJalAlrskFchyl6QCtSz3iFgaEdsjYl9E7I2IG6vxiyPioYh4vLpeUI1HRHw6Ig5ExLcj4vJe/yMkSaeayZ77FLAhM18DXAmsj4hLgY3AtsxcBmyr7gNcAyyrLuuA27qeWpJ0Vi3LPTOfyszHqts/AfYBi4FVwF3VZHcBb69urwI+mw2PAPMjYlHXk0uSzigyc+YTRwwBDwOXAU9m5vymx45n5oKI2Arcmplfq8a3AR/MzB2nPdc6Gnv2DA4OrhgfH28r+OTkJAMDA23NMxdKz7X78IkupDnV4IVw9LmzTzO8+KKuL7eVuq5LqG82c7Wvk2xjY2M7M3NkusfOn+mTRMQA8EXgpsx8JiLOOOk0Yy/6DZKZm4HNACMjIzk6OjrTKABMTEzQ7jxzofRcazc+0HmY02wYnmLT7rNvigevH+36clup67qE+mYzV/t6lW1GZ8tExEtoFPvnM/O+avjoycMt1fWxavwQsLRp9iXAke7ElSTNxEzOlgngdmBfZn6i6aEtwJrq9hrg/qbx91RnzVwJnMjMp7qYWZLUwkwOy1wFvBvYHRG7qrEPAbcC90TEDcCTwLuqxx4ErgUOAD8F3tvVxJKkllqWe/XC6JkOsF89zfQJrO8wlySpA75DVZIKZLlLUoEsd0kqkOUuSQWy3CWpQJa7JBXIcpekAlnuklQgy12SCmS5S1KBLHdJKpDlLkkFstwlqUCWuyQVyHKXpAJZ7pJUIMtdkgpkuUtSgSx3SSqQ5S5JBbLcJalAlrskFchyl6QCWe6SVCDLXZIKZLlLUoEsd0kqkOUuSQWy3CWpQJa7JBXIcpekAlnuklSgluUeEXdExLGI2NM09pGIOBwRu6rLtU2P3RwRByJif0S8pVfBJUlnNpM99zuBldOMfzIzl1eXBwEi4lJgNfDaap6/j4jzuhVWkjQzLcs9Mx8GfjzD51sFjGfmzzLzCeAAcEUH+SRJsxCZ2XqiiCFga2ZeVt3/CLAWeAbYAWzIzOMR8Rngkcz8XDXd7cCXM/PeaZ5zHbAOYHBwcMX4+HhbwScnJxkYGGhrnrlQeq7dh090Ic2pBi+Eo8+dfZrhxRd1fbmt1HVdQn2zmat9nWQbGxvbmZkj0z12/izz3AZ8DMjqehPwPiCmmXba3x6ZuRnYDDAyMpKjo6NtBZiYmKDdeeZC6bnWbnyg8zCn2TA8xabdZ98UD14/2vXltlLXdQn1zWau9vUq26zOlsnMo5n5fGb+AvhHXjj0cghY2jTpEuBIZxElSe2aVblHxKKmu+8ATp5JswVYHREXRMQlwDLg0c4iSpLa1fKwTETcDYwCCyPiEPBhYDQiltM45HIQeD9AZu6NiHuA7wBTwPrMfL430SVJZ9Ky3DPzummGbz/L9LcAt3QSSpLUGd+hKkkFstwlqUCWuyQVyHKXpAJZ7pJUIMtdkgpkuUtSgSx3SSqQ5S5JBbLcJalAlrskFchyl6QCWe6SVCDLXZIKZLlLUoEsd0kqkOUuSQWy3CWpQJa7JBWo5Xeoqn6GNj7Q9jwbhqdYO4v5JJ2b3HOXpAJZ7pJUIMtdkgpkuUtSgSx3SSqQ5S5JBbLcJalAlrskFchyl6QCWe6SVCDLXZIKZLlLUoFalntE3BERxyJiT9PYxRHxUEQ8Xl0vqMYjIj4dEQci4tsRcXkvw0uSpjeTPfc7gZWnjW0EtmXmMmBbdR/gGmBZdVkH3NadmJKkdrQs98x8GPjxacOrgLuq23cBb28a/2w2PALMj4hF3QorSZqZyMzWE0UMAVsz87Lq/tOZOb/p8eOZuSAitgK3ZubXqvFtwAczc8c0z7mOxt49g4ODK8bHx9sKPjk5ycDAQFvzzIW5yLX78Im25xm8EI4+14MwXTCTbMOLL5qbME3quo1BfbOZq32dZBsbG9uZmSPTPdbtL+uIacam/e2RmZuBzQAjIyM5Ojra1oImJiZod565MBe5ZvOlGxuGp9i0u57fzTKTbAevH52bME3quo1BfbOZq329yjbbs2WOnjzcUl0fq8YPAUubplsCHJl9PEnSbMy23LcAa6rba4D7m8bfU501cyVwIjOf6jCjJKlNLf9Oj4i7gVFgYUQcAj4M3ArcExE3AE8C76omfxC4FjgA/BR4bw8yS5JaaFnumXndGR66epppE1jfaShJUmd8h6okFaiep09IpxmaxRlCndowPMXajQ9w8Na3zvmypU655y5JBbLcJalAlrskFchyl6QCWe6SVCDLXZIKZLlLUoEsd0kqkOUuSQWy3CWpQJa7JBXIcpekAlnuklQgy12SCmS5S1KBLHdJKpDlLkkFstwlqUCWuyQVyHKXpAJZ7pJUIMtdkgpkuUtSgSx3SSqQ5S5JBbLcJalAlrskFchyl6QCWe6SVCDLXZIKdH4nM0fEQeAnwPPAVGaORMTFwBeAIeAg8MeZebyzmJKkdnRjz30sM5dn5kh1fyOwLTOXAduq+5KkOdSLwzKrgLuq23cBb+/BMiRJZxGZOfuZI54AjgMJ/ENmbo6IpzNzftM0xzNzwTTzrgPWAQwODq4YHx9va9mTk5MMDAzMOnuvzEWu3YdPtD3P4IVw9LkehOmCumY7mWt48UX9jvIiv8zb/2zUNRd0lm1sbGxn01GTU3Ra7q/MzCMR8QrgIeBPgS0zKfdmIyMjuWPHjraWPTExwejo6CxS99Zc5Bra+EDb82wYnmLT7o5eYumZumbrd66Dt771jI/9Mm//s1HXXNBZtog4Y7l3dFgmM49U18eALwFXAEcjYlG14EXAsU6WIUlq36zLPSLmRcTLTt4G3gzsAbYAa6rJ1gD3dxpSktSeTv7mHAS+FBEnn+dfM/MrEfEN4J6IuAF4EnhX5zElSe2Ydbln5veA100z/iPg6k5CSZI64ztUJalAlrskFchyl6QCWe6SVCDLXZIKZLlLUoEsd0kqkOUuSQWy3CWpQPX7KL42zeYTEntpw/AUa2uWSdIvH/fcJalAlrskFchyl6QCnfPH3KVSne31pF6+tnO2b4DSucM9d0kqkOUuSQWy3CWpQJa7JBXIcpekAlnuklQgy12SCuR57pJO0cnnNXV6/r3n2HePe+6SVCDLXZIKZLlLUoEsd0kqkOUuSQWy3CWpQJa7JBXI89wl1UavvhO51fn3JZ5f7567JBXIcpekAvWs3CNiZUTsj4gDEbGxV8uRJL1YT8o9Is4D/g64BrgUuC4iLu3FsiRJL9arF1SvAA5k5vcAImIcWAV8p0fLk6RZ69ULuTNx58p5PXneyMzuP2nEO4GVmfkn1f13A2/IzA80TbMOWFfdfTWwv83FLAR+2IW43Wau9tU1W11zQX2zmat9nWT7zcx8+XQP9GrPPaYZO+W3SGZuBjbPegEROzJzZLbz94q52lfXbHXNBfXNZq729Spbr15QPQQsbbq/BDjSo2VJkk7Tq3L/BrAsIi6JiF8FVgNberQsSdJpenJYJjOnIuIDwFeB84A7MnNvlxcz60M6PWau9tU1W11zQX2zmat9PcnWkxdUJUn95TtUJalAlrskFeicK/c6faxBRNwREcciYk/T2MUR8VBEPF5dL+hDrqURsT0i9kXE3oi4sQ7ZIuLXIuLRiPhWleuj1fglEfH1KtcXqhfh51xEnBcR34yIrTXLdTAidkfErojYUY3VYTubHxH3RsR3q23tjTXJ9erqZ3Xy8kxE3FSTbH9ebft7IuLu6v9ET7azc6rca/ixBncCK08b2whsy8xlwLbq/lybAjZk5muAK4H11c+p39l+BrwpM18HLAdWRsSVwN8An6xyHQdumONcJ90I7Gu6X5dcAGOZubzpfOh+r0uAvwW+kpm/DbyOxs+u77kyc3/1s1oOrAB+Cnyp39kiYjHwZ8BIZl5G42ST1fRqO8vMc+YCvBH4atP9m4Gb+5xpCNjTdH8/sKi6vQjYX4Of2/3AH9YpG/BS4DHgDTTenXf+dOt4DvMsofEf/k3AVhpvxOt7rmrZB4GFp431dV0Cvw48QXVSRl1yTZPzzcB/1yEbsBj4PnAxjTMVtwJv6dV2dk7tufPCD+ekQ9VYnQxm5lMA1fUr+hkmIoaA1wNfpwbZqkMfu4BjwEPA/wJPZ+ZUNUm/1umngL8EflHd/42a5ILGu7v/IyJ2Vh/bAf1fl68CfgD8c3Uo658iYl4Ncp1uNXB3dbuv2TLzMPBx4EngKeAEsJMebWfnWrm3/FgDvSAiBoAvAjdl5jP9zgOQmc9n48/lJTQ+YO410002l5ki4o+AY5m5s3l4mkn7ta1dlZmX0zgcuT4ifr9POZqdD1wO3JaZrweepT+Hhs6oOnb9NuDf+p0FoDrGvwq4BHglMI/GOj1dV7azc63cz4WPNTgaEYsAqutj/QgRES+hUeyfz8z76pQNIDOfBiZovCYwPyJOvqGuH+v0KuBtEXEQGKdxaOZTNcgFQGYeqa6P0Th2fAX9X5eHgEOZ+fXq/r00yr7fuZpdAzyWmUer+/3O9gfAE5n5g8z8OXAf8Lv0aDs718r9XPhYgy3Amur2GhrHu+dURARwO7AvMz9Rl2wR8fKImF/dvpDGxr4P2A68s1+5MvPmzFySmUM0tqn/yszr+50LICLmRcTLTt6mcQx5D31el5n5f8D3I+LV1dDVND7Su+/bf5PreOGQDPQ/25PAlRHx0ur/6MmfWW+2s36+2DHLFyWuBf6HxrHav+pzlrtpHDv7OY09mRtoHKvdBjxeXV/ch1y/R+NPu28Du6rLtf3OBvwO8M0q1x7gr6vxVwGPAgdo/Al9QR/X6SiwtS65qgzfqi57T27z/V6XVYblwI5qff47sKAOuapsLwV+BFzUNNb3bMBHge9W2/+/ABf0ajvz4wckqUDn2mEZSdIMWO6SVCDLXZIKZLlLUoEsd0kqkOUuSQWy3CWpQP8PctWe3PeQtHsAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "x_train.age.hist(bins = 10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " 다음으로는 숫자가 아닌 categorical feature의 시각화를 보도록 하겠습니다. 각 category의 등장 횟수를 value_counts()로 수집하여 막대그래프로 그릴 수 있습니다. 남성이 여성보다 많은 것을 확인할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.axes._subplots.AxesSubplot at 0x7f06f92f9c50>"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXcAAAERCAYAAACAbee5AAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjMsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+AADFEAAASMUlEQVR4nO3df4zld13v8eeLbWlB0RY6xd7dxS2wXi1eWHCsjWgCrZG2qFsTalp/sOE2WTUlgBi19V4jRhvBH9SQaM1ikQUVaBDtihVuLUUlpq1TWJdua9OVVjrs2h3sD2gI9W55+8f5rEynZ3bOzsyZ037m+UhOzvf7/n7OOe9JNq/57me+3/NJVSFJ6sszJt2AJGn1Ge6S1CHDXZI6ZLhLUocMd0nqkOEuSR06YdINAJx22mm1ZcuWSbchSU8rt99++xeramrYsadEuG/ZsoWZmZlJtyFJTytJ/m2xY07LSFKHDHdJ6pDhLkkdMtwlqUOGuyR1yHCXpA4Z7pLUIcNdkjr0lLiJ6eliyxV/PekWunLf21876RakbnnmLkkdGjnck2xI8pkkH237Zya5Nck9ST6U5JmtflLbP9CObxlP65KkxRzPmfubgbvm7b8DuLqqtgIPAZe1+mXAQ1X1YuDqNk6StIZGCvckm4DXAn/U9gOcC3y4DdkNXNS2t7d92vHz2nhJ0hoZ9cz994BfBL7W9p8HPFxVR9r+LLCxbW8E7gdoxx9p458gyc4kM0lm5ubmltm+JGmYJcM9yQ8Bh6vq9vnlIUNrhGNfL1Ttqqrpqpqemhr6dcSSpGUa5VLIVwI/kuRC4GTgmxicyZ+S5IR2dr4JONjGzwKbgdkkJwDfDDy46p1Lkha15Jl7VV1ZVZuqagtwCfCJqvoJ4GbgdW3YDuD6tr2n7dOOf6KqnnTmLkkan5Vc5/5LwFuTHGAwp35tq18LPK/V3wpcsbIWJUnH67juUK2qTwKfbNufA84eMuarwMWr0JskaZm8Q1WSOmS4S1KHDHdJ6pDhLkkdMtwlqUOGuyR1yHCXpA4Z7pLUIcNdkjpkuEtShwx3SeqQ4S5JHTLcJalDhrskdchwl6QOGe6S1KFRFsg+OcltSf45yf4kv9bq701yb5K97bGt1ZPkXUkOJNmX5BXj/iEkSU80ykpMjwHnVtWjSU4EPpXkb9qxX6iqDy8YfwGwtT2+B7imPUuS1sgoC2RXVT3adk9sj2MteL0deF973S3AKUnOWHmrkqRRjTTnnmRDkr3AYeDGqrq1HbqqTb1cneSkVtsI3D/v5bOtJklaIyOFe1U9XlXbgE3A2Um+E7gS+Hbgu4HnAr/UhmfYWywsJNmZZCbJzNzc3LKalyQNd1xXy1TVw8AngfOr6lCbenkM+GPg7DZsFtg872WbgIND3mtXVU1X1fTU1NSympckDTfK1TJTSU5p288CfgD4l6Pz6EkCXATc0V6yB3h9u2rmHOCRqjo0lu4lSUONcrXMGcDuJBsY/DK4rqo+muQTSaYYTMPsBX6mjb8BuBA4AHwFeMPqty1JOpYlw72q9gEvH1I/d5HxBVy+8tYkScvlHaqS1CHDXZI6ZLhLUocMd0nqkOEuSR0y3CWpQ4a7JHXIcJekDhnuktQhw12SOmS4S1KHDHdJ6pDhLkkdMtwlqUOGuyR1yHCXpA6NsszeyUluS/LPSfYn+bVWPzPJrUnuSfKhJM9s9ZPa/oF2fMt4fwRJ0kKjnLk/BpxbVS8DtgHnt7VR3wFcXVVbgYeAy9r4y4CHqurFwNVtnCRpDS0Z7jXwaNs9sT0KOBf4cKvvZrBINsD2tk87fl5bRFuStEZGmnNPsiHJXuAwcCPwr8DDVXWkDZkFNrbtjcD9AO34I8DzVrNpSdKxjRTuVfV4VW0DNgFnA98xbFh7HnaWXgsLSXYmmUkyMzc3N2q/kqQRHNfVMlX1MPBJ4BzglCQntEObgINtexbYDNCOfzPw4JD32lVV01U1PTU1tbzuJUlDjXK1zFSSU9r2s4AfAO4CbgZe14btAK5v23vaPu34J6rqSWfukqTxOWHpIZwB7E6ygcEvg+uq6qNJ7gQ+mOQ3gM8A17bx1wLvT3KAwRn7JWPoW5J0DEuGe1XtA14+pP45BvPvC+tfBS5ele4kScviHaqS1CHDXZI6ZLhLUocMd0nqkOEuSR0y3CWpQ4a7JHXIcJekDhnuktQhw12SOmS4S1KHDHdJ6pDhLkkdMtwlqUOGuyR1yHCXpA6Nssze5iQ3J7kryf4kb271tyX5QpK97XHhvNdcmeRAkruTvGacP4Ak6clGWWbvCPDzVfXpJM8Bbk9yYzt2dVX9zvzBSc5isLTeS4D/Afxtkm+rqsdXs3FJ0uKWPHOvqkNV9em2/WUGi2NvPMZLtgMfrKrHqupe4ABDluOTJI3Pcc25J9nCYD3VW1vpjUn2JXlPklNbbSNw/7yXzXLsXwaSpFU2crgn+Ubgz4G3VNWXgGuAFwHbgEPA7x4dOuTlNeT9diaZSTIzNzd33I1LkhY3UrgnOZFBsP9pVX0EoKoeqKrHq+prwLv5+tTLLLB53ss3AQcXvmdV7aqq6aqanpqaWsnPIElaYJSrZQJcC9xVVe+cVz9j3rAfBe5o23uAS5KclORMYCtw2+q1LElayihXy7wS+Cngs0n2ttovA5cm2cZgyuU+4KcBqmp/kuuAOxlcaXO5V8pI0tpaMtyr6lMMn0e/4RivuQq4agV9SZJWwDtUJalDhrskdchwl6QOGe6S1CHDXZI6ZLhLUocMd0nqkOEuSR0y3CWpQ4a7JHXIcJekDhnuktShUb4VUtJT3JYr/nrSLXTlvre/dtItrJhn7pLUIcNdkjpkuEtShwx3SerQKGuobk5yc5K7kuxP8uZWf26SG5Pc055PbfUkeVeSA0n2JXnFuH8ISdITjXLmfgT4+ar6DuAc4PIkZwFXADdV1VbgprYPcAGDRbG3AjuBa1a9a0nSMS0Z7lV1qKo+3ba/DNwFbAS2A7vbsN3ARW17O/C+GrgFOCXJGaveuSRpUcc1555kC/By4Fbg+VV1CAa/AIDT27CNwP3zXjbbagvfa2eSmSQzc3Nzx9+5JGlRI4d7km8E/hx4S1V96VhDh9TqSYWqXVU1XVXTU1NTo7YhSRrBSOGe5EQGwf6nVfWRVn7g6HRLez7c6rPA5nkv3wQcXJ12JUmjGOVqmQDXAndV1TvnHdoD7GjbO4Dr59Vf366aOQd45Oj0jSRpbYzy3TKvBH4K+GySva32y8DbgeuSXAZ8Hri4HbsBuBA4AHwFeMOqdixJWtKS4V5Vn2L4PDrAeUPGF3D5CvuSJK2Ad6hKUocMd0nqkOEuSR0y3CWpQ4a7JHXIcJekDhnuktQhw12SOmS4S1KHDHdJ6pDhLkkdMtwlqUOGuyR1yHCXpA4Z7pLUIcNdkjo0yjJ770lyOMkd82pvS/KFJHvb48J5x65MciDJ3UleM67GJUmLG+XM/b3A+UPqV1fVtva4ASDJWcAlwEvaa/4gyYbValaSNJolw72q/h54cMT32w58sKoeq6p7GayjevYK+pMkLcNK5tzfmGRfm7Y5tdU2AvfPGzPbapKkNbTccL8GeBGwDTgE/G6rD1tIu4a9QZKdSWaSzMzNzS2zDUnSMMsK96p6oKoer6qvAe/m61Mvs8DmeUM3AQcXeY9dVTVdVdNTU1PLaUOStIhlhXuSM+bt/ihw9EqaPcAlSU5KciawFbhtZS1Kko7XCUsNSPIB4FXAaUlmgV8FXpVkG4Mpl/uAnwaoqv1JrgPuBI4Al1fV4+NpXZK0mCXDvaouHVK+9hjjrwKuWklTkqSV8Q5VSeqQ4S5JHTLcJalDhrskdchwl6QOGe6S1CHDXZI6ZLhLUocMd0nqkOEuSR0y3CWpQ4a7JHXIcJekDhnuktQhw12SOmS4S1KHlgz3JO9JcjjJHfNqz01yY5J72vOprZ4k70pyIMm+JK8YZ/OSpOFGOXN/L3D+gtoVwE1VtRW4qe0DXMBg3dStwE7gmtVpU5J0PJYM96r6e+DBBeXtwO62vRu4aF79fTVwC3DKgsW0JUlrYLlz7s+vqkMA7fn0Vt8I3D9v3GyrSZLW0Gr/QTVDajV0YLIzyUySmbm5uVVuQ5LWt+WG+wNHp1va8+FWnwU2zxu3CTg47A2qaldVTVfV9NTU1DLbkCQNs9xw3wPsaNs7gOvn1V/frpo5B3jk6PSNJGntnLDUgCQfAF4FnJZkFvhV4O3AdUkuAz4PXNyG3wBcCBwAvgK8YQw9S5KWsGS4V9Wlixw6b8jYAi5faVOSpJXxDlVJ6pDhLkkdMtwlqUOGuyR1yHCXpA4Z7pLUIcNdkjpkuEtShwx3SeqQ4S5JHTLcJalDhrskdchwl6QOGe6S1CHDXZI6ZLhLUoeWXKzjWJLcB3wZeBw4UlXTSZ4LfAjYAtwH/FhVPbSyNiVJx2M1ztxfXVXbqmq67V8B3FRVW4Gb2r4kaQ2NY1pmO7C7be8GLhrDZ0iSjmGl4V7A/0tye5Kdrfb8qjoE0J5PX+FnSJKO04rm3IFXVtXBJKcDNyb5l1Ff2H4Z7AR4wQtesMI2JEnzrejMvaoOtufDwF8AZwMPJDkDoD0fXuS1u6pquqqmp6amVtKGJGmBZYd7km9I8pyj28APAncAe4AdbdgO4PqVNilJOj4rmZZ5PvAXSY6+z59V1ceS/BNwXZLLgM8DF6+8TUnS8Vh2uFfV54CXDan/B3DeSpqSJK2Md6hKUocMd0nqkOEuSR0y3CWpQ4a7JHXIcJekDhnuktQhw12SOmS4S1KHDHdJ6pDhLkkdMtwlqUOGuyR1yHCXpA4Z7pLUIcNdkjpkuEtSh8YW7knOT3J3kgNJrhjX50iSnmws4Z5kA/D7wAXAWcClSc4ax2dJkp5sXGfuZwMHqupzVfWfwAeB7WP6LEnSAsteIHsJG4H75+3PAt8zf0CSncDOtvtokrvH1Mt6dBrwxUk3sZS8Y9IdaAL8t7m6vnWxA+MK9wyp1RN2qnYBu8b0+etakpmqmp50H9JC/ttcO+OalpkFNs/b3wQcHNNnSZIWGFe4/xOwNcmZSZ4JXALsGdNnSZIWGMu0TFUdSfJG4OPABuA9VbV/HJ+loZzu0lOV/zbXSKpq6VGSpKcV71CVpA4Z7pLUIcNdkjpkuHckybOS/M9J9yFp8gz3TiT5YWAv8LG2vy2Jl59q4pJ8W5KbktzR9l+a5P9Ouq/eGe79eBuD7/R5GKCq9gJbJtiPdNS7gSuB/w9QVfsY3PuiMTLc+3Gkqh6ZdBPSEM+uqtsW1I5MpJN1ZFzfLaO1d0eSHwc2JNkKvAn4xwn3JAF8McmLaN8vleR1wKHJttQ/b2LqRJJnA/8H+EEGX9z2ceDXq+qrE21M616SFzK4M/V7gYeAe4GfrKr7JtlX7wx3SWsiyTcAz6iqL0+6l/XAcH+aS/JXLPg65fmq6kfWsB3pvyV567GOV9U716qX9cg596e/35l0A9IinjPpBtYzz9wlqUOeuXeiXSHzmwwWJD/5aL2qXjixpiQgycnAZcBLeOK/zf89sabWAa9z78cfA9cwuH741cD7gPdPtCNp4P3AtwCvAf6Owcps/lF1zJyW6USS26vqu5J8tqr+V6v9Q1V9/6R70/qW5DNV9fIk+6rqpUlOBD5eVedOureeOS3Tj68meQZwT1sF6wvA6RPuSYL2tQPAw0m+E/h3/GqMsXNaph9vAZ7N4M7U7wJ+Enj9RDuSBnYlORX4FQZrKd8J/NZkW+qf0zKdSDLN4A7VbwVObOWqqpdOritJk2K4dyLJ3cAvAJ8Fvna0XlX/NrGmJCDJKQz+F7mFeVPBVfWmSfW0Hjjn3o+5qvL72/VUdANwCwtOPDRenrl3Isl5wKXATcBjR+tV9ZGJNSUBST5dVa+YdB/rjeHeiSR/Anw7sJ+vnx2VN4po0pL8HPAo8FGeeOLx4MSaWgeclunHy45e3y49xfwn8NsM/uB/9GyyAO+eHiPDvR+3JDmrqu6cdCPSAm8FXlxVX5x0I+uJ4d6P7wN2JLmXwX99g5dC6qlhP/CVSTex3hju/Th/0g1Ii3gc2JvkZp445+6lkGNkuHfC69n1FPaX7aE15NUyksYuybOAF1TV3ZPuZb3wu2UkjVWSHwb2Ah9r+9uSeMPdmBnuksbtbcDZwMMAVbUXOHOSDa0HhrukcTtSVY8sqDkfPGb+QVXSuN2R5MeBDW05yDcB/zjhnrrnmbuksUhydJnHf2WwfupjwAeALzFYf0Bj5NUyksYiyZ3ABQwW6Hj1wuN+t8x4OS0jaVz+kMEVMi8EZubVg98tM3aeuUsaqyTXVNXPTrqP9cZwl6QO+QdVSeqQ4S5JHTLcJalDhrskdchwl6QO/RcAP8HoVUpmwgAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "x_train.sex.value_counts().plot(kind = 'bar')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "df['feature'] 형태로도 dataframe에서 특정 column을 뽑아서 볼 수 있습니다. 티켓 등급이 \"Third\"인 사람이 가장 많음을 확인할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.axes._subplots.AxesSubplot at 0x7f06f92d4810>"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYoAAAD4CAYAAADy46FuAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjMsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+AADFEAAAN7ElEQVR4nO3df4zkd13H8efLa3uALa3QUy+FuG29iPw82kNBKiISLa1a0JpWjTbG5BLBIH8YPdKkqUbCIf5ASIEcEWihQhUhEhpDUSgEReod3q9SSis9YkuhKaYHxVLlfPvHfK8s68579+52d2a2z0cyme98vt+Zfe1nZvd13+93bidVhSRJ43zXpANIkqabRSFJalkUkqSWRSFJalkUkqTWSZMOsJLOPPPMmpubm3QMSZope/bsub+qNo1bv66KYm5ujt27d086hiTNlCRf7NZ76EmS1LIoJEkti0KS1LIoJEkti0KS1LIoJEkti0KS1LIoJEkti0KS1LIoJEkti0KS1LIoJEkti0KS1LIoJEkti0KS1LIoJEmtdfXBRQfuOczcjhsnHUOr4NDOiycdQXrUco9CktSyKCRJLYtCktSyKCRJLYtCktSyKCRJLYtCktSyKCRJLYtCktSyKCRJLYtCktSyKCRJLYtCktSyKCRJrWUVRZIrk9yaZH+SvUl+dLWDLfj6L0zyobX8mpKkkSU/jyLJ84CfBc6rqoeTnAmcsurJJElTYTl7FJuB+6vqYYCqur+qvpTk/CQfT7InyYeTbAZI8oNJ/iHJviSfSXJuRl6f5GCSA0kuG7Z9YZKbk7wvyeeSXJ8kw7oLh7FPAr+wSt+/JGkJyymKm4AnJ/l8kjcn+YkkJwNvAi6tqvOBtwOvGba/Hrimqp4F/BhwL6Nf9FuBZwEvBl5/tFiAZwOvAp4KnAM8P8ljgLcBPwf8OPD9J/6tSpKOx5KHnqrqwSTnM/qF/ZPADcAfAU8HPjLsAGwA7k1yGnBWVX1guO83AZJcALynqo4AX0nyceA5wNeAW6rq7mG7vcAc8CBwV1XdMYy/G9i+WL4k24+u2/D4TccxBZKkzrI+M3v4BX8zcHOSA8ArgFur6nnzt0vy+DEPkebhH563fGReplpmtl3ALoCNm7cs6z6SpOVb8tBTkh9KsmXe0FbgNmDTcKKbJCcneVpVfQ24O8lLh/GNSR4HfAK4LMmGJJuAFwC3NF/2c8DZSc4dbv/yMX9nkqQVsZxzFKcC1yb5bJL9jM4lXAVcCrwuyT5gL6PzEQC/Brxy2PafGZ1f+ACwH9gHfBT4var68rgvOByy2g7cOJzM/uLxfHOSpBOXqvVztGbj5i21+Yo3TDqGVsGhnRdPOoK0biXZU1Xbxq33f2ZLkloWhSSpZVFIkloWhSSpZVFIkloWhSSpZVFIkloWhSSpZVFIkloWhSSpZVFIkloWhSSpZVFIklrL+uCiWfGMs05nt39lVJJWlHsUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqTWSZMOsJIO3HOYuR03TjqG1pFDOy+edARp4tyjkCS1LApJUsuikCS1LApJUsuikCS1LApJUsuikCS1LApJUsuikCS1LApJUsuikCS1LApJUsuikCS1LApJUmtViyLJkSR7513mkmxL8sZjeIwzkrx8NXNKksZb7c+jeKiqti4YOwTsXrhhkpOq6luLPMYZwMuBN698PEnSUtb80FOSFyb50LB8dZJdSW4CrkvytCS3DHsf+5NsAXYC5w5jr1/rvJL0aLfaexSPTbJ3WL6rql62yDbnAxdU1UNJ3gT8RVVdn+QUYAOwA3j6InsmACTZDmwH2PD4TSv/HUjSo9wkDj0t9MGqemhY/hRwZZInAe+vqjuStHeuql3ALoCNm7fUiQaWJH2naXjX0zeOLlTVXwE/DzwEfDjJiyaWSpIErP4exTFJcg7whap647D8TGAfcNpkk0nSo9c07FHMdxlwcDiv8RTguqr6KvBPSQ56MluS1t6q7lFU1amLjN0M3DwsX71g3WuB1y5yn19ZlYCSpCVN2x6FJGnKWBSSpJZFIUlqWRSSpJZFIUlqWRSSpJZFIUlqWRSSpJZFIUlqWRSSpJZFIUlqWRSSpNZU/ZnxE/WMs05n986LJx1DktYV9ygkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSS2LQpLUsigkSa2TJh1gJR245zBzO26cdAxJWlOHdl68qo/vHoUkqWVRSJJaFoUkqWVRSJJaFoUkqWVRSJJaFoUkqWVRSJJaFoUkqWVRSJJaFoUkqWVRSJJaFoUkqWVRSJJaK1YUSZ6YZO9w+XKSe4blB5J8dsx9/jDJi5fx2HNJDq5UVknS8q3Y51FU1VeBrQBJrgYerKo/STIHfGjMfa5abDzJhqo6slLZJEnHb60OPW1I8rYktya5KcljAZK8M8mlw/KhJFcl+STwS0nOT7IvyaeAV6xRTknSAmtVFFuAa6rqacADwC+O2e6bVXVBVb0XeAfwyqp63hpllCQtYq2K4q6q2jss7wHmxmx3A0CS04Ezqurjw/i7xj1wku1JdifZfeS/Dq9UXknSYK2K4uF5y0cYf27kG8N1gFrOA1fVrqraVlXbNjzu9BOIKElazFS+PbaqHgAOJ7lgGPrVSeaRpEezqSyKwW8A1wwnsx+adBhJerRK1bKO8MyEjZu31OYr3jDpGJK0pg7tvPiE7p9kT1VtG7d+mvcoJElTwKKQJLUsCklSy6KQJLUsCklSy6KQJLUsCklSy6KQJLUsCklSy6KQJLUsCklSy6KQJLUsCklSa9wHCM2kZ5x1OrtP8K8oSpK+k3sUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqSWRSFJalkUkqRWqmrSGVZMkq8Dt086x3E6E7h/0iGOw6zmBrNPyqxmn9XcsHT2H6iqTeNWrquPQgVur6ptkw5xPJLsnsXss5obzD4ps5p9VnPDiWf30JMkqWVRSJJa660odk06wAmY1eyzmhvMPimzmn1Wc8MJZl9XJ7MlSStvve1RSJJWmEUhSWqti6JIcmGS25PcmWTHpPMsJcmhJAeS7E2yexh7QpKPJLljuP6eSecESPL2JPclOThvbNGsGXnj8DzsT3Le5JKPzX51knuGud+b5KJ56149ZL89yc9MJjUkeXKSjyW5LcmtSX5nGJ/6eW+yz8K8PybJLUn2Ddn/YBg/O8mnh3m/Ickpw/jG4fadw/q5Kcv9ziR3zZvzrcP4sb9eqmqmL8AG4N+Bc4BTgH3AUyeda4nMh4AzF4z9MbBjWN4BvG7SOYcsLwDOAw4ulRW4CPh7IMBzgU9PYfargd9dZNunDq+djcDZw2tqw4RybwbOG5ZPAz4/5Jv6eW+yz8K8Bzh1WD4Z+PQwn38NXD6MvxX4rWH55cBbh+XLgRumLPc7gUsX2f6YXy/rYY/iR4A7q+oLVfXfwHuBSyac6XhcAlw7LF8LvHSCWR5RVZ8A/nPB8LislwDX1ci/AGck2bw2Sf+/MdnHuQR4b1U9XFV3AXcyem2tuaq6t6o+Myx/HbgNOIsZmPcm+zjTNO9VVQ8ON08eLgW8CHjfML5w3o8+H+8DfipJ1ijuI5rc4xzz62U9FMVZwH/Mu303/QtzGhRwU5I9SbYPY99XVffC6IcN+N6JpVvauKyz8lz89rDL/fZ5h/imMvtwOOPZjP6VOFPzviA7zMC8J9mQZC9wH/ARRns4D1TVtxbJ90j2Yf1h4Ilrm3hkYe6qOjrnrxnm/M+TbBzGjnnO10NRLNbg0/6e3+dX1XnAS4BXJHnBpAOtkFl4Lt4CnAtsBe4F/nQYn7rsSU4F/hZ4VVV9rdt0kbFpyz4T815VR6pqK/AkRns2P7zYZsP11GRfmDvJ04FXA08BngM8Afj9YfNjzr0eiuJu4Mnzbj8J+NKEsixLVX1puL4P+ACjF+RXju7+Ddf3TS7hksZlnfrnoqq+MvxQ/S/wNr59mGOqsic5mdEv2uur6v3D8EzM+2LZZ2Xej6qqB4CbGR3DPyPJ0b+LNz/fI9mH9aez/EOdq2Je7guHw4BVVQ8D7+AE5nw9FMW/AluGdyacwuik0gcnnGmsJN+d5LSjy8BPAwcZZb5i2OwK4O8mk3BZxmX9IPDrw7sqngscPnqoZFosOBb7MkZzD6Pslw/vZDkb2ALcstb5YPSuFOAvgduq6s/mrZr6eR+XfUbmfVOSM4blxwIvZnSO5WPApcNmC+f96PNxKfDRGs4Wr6UxuT837x8VYXReZf6cH9vrZRJn6Vf6wugs/ucZHU+8ctJ5lsh6DqN3eewDbj2al9GxzX8E7hiunzDprEOu9zA6VPA/jP4l8pvjsjLapb1meB4OANumMPu7hmz7hx+YzfO2v3LIfjvwkgnmvoDRoYD9wN7hctEszHuTfRbm/ZnAvw0ZDwJXDePnMCqvO4G/ATYO448Zbt85rD9nynJ/dJjzg8C7+fY7o4759eKf8JAktdbDoSdJ0iqyKCRJLYtCktSyKCRJLYtCktSyKCRJLYtCktT6P/7VzSrhzj5SAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "x_train['class'].value_counts().plot(kind = 'barh')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "마지막으로 성별에 따른 생존율을 시각화해보도록 하겠습니다. 탑승자의 정보만 존재하는 x_train에 생존 여부가 존재하는 y_train을 pd.concat을 통해 합치고, 성별 정보를 통해 묶습니다. \n",
    "\n",
    "pd.concat([x_train, y_train], axis=1).groupby('sex')\n",
    "\n",
    "성별을 통해 묶은 데이터에서 생존 여부(0, 1)의 평균을 구해서 다음과 같이 막대그래프로 그릴 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.axes._subplots.AxesSubplot at 0x7f06f9249510>"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAZUAAAD4CAYAAAAkRnsLAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjMsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+AADFEAAANY0lEQVR4nO3df6ydhV3H8fcXLpTYQTcpJhXGrtRuWKGzWcG5GAKREEYjMGGE/XJNELIfYTETI4ozZFXXDHUjGQ7r3GBmyhghgf0kDorGOnC38qMUKOtGjTCi7geFrBGl/frHee52uL3tfUq/55zn3Pt+JTc7596n537u6W3ffc5TushMJEmqcNioB0iS5g+jIkkqY1QkSWWMiiSpjFGRJJWZGPWAUVq6dGlOTk6OeoYkjZUtW7Z8LzOPm+1jCzoqk5OTTE1NjXqGJI2ViPj3/X3Ml78kSWWMiiSpjFGRJJUxKpKkMkZFklTGqEiSyhgVSVIZoyJJKmNUJElljIokqYxRkSSVMSqSpDJGRZJUxqhIksoYFUlSGaMiSSpjVCRJZYyKJKmMUZEklTEqkqQyRkWSVMaoSJLKGBVJUhmjIkkqY1QkSWWMiiSpzMSoB4zS1qd3MXn1l0c9o/N2blg76gmSxoRnKpKkMkZFklTGqEiSyhgVSVIZoyJJKmNUJElljIokqYxRkSSVMSqSpDJGRZJUxqhIksoYFUlSGaMiSSpjVCRJZYyKJKmMUZEklTEqkqQyRkWSVMaoSJLKGBVJUhmjIkkqY1QkSWWMiiSpzFhHJSLOjIgvjXqHJKlnrKMiSeqWkUclIiYj4vGI+FREPBIRn4uIsyNic0R8KyJOb97+JSIeaP73dbM8zuKI+HREfLM57oJRfD2StJCNPCqNnweuB1YBJwNvB34VuAr4A+Bx4IzMXA38EfCnszzGNcA9mXkacBZwXUQsnnlQRFwREVMRMbVn966BfDGStFBNjHpA48nM3AoQEduAuzMzI2IrMAksAW6OiBVAAkfM8hjnAOdHxFXN/aOAE4HH+g/KzI3ARoBFy1bkAL4WSVqwuhKVF/pu7+27v5fexvXApsx8S0RMAvfO8hgBXJSZ2wc3U5J0IF15+WsuS4Cnm9vr9nPMXcCVEREAEbF6CLskSX3GJSofBT4SEZuBw/dzzHp6L4s9HBGPNPclSUMUmQv3ssKiZSty2bs/PuoZnbdzw9pRT5DUIRGxJTPXzPaxcTlTkSSNAaMiSSpjVCRJZYyKJKmMUZEklTEqkqQyRkWSVMaoSJLKGBVJUhmjIkkqY1QkSWWMiiSpjFGRJJUxKpKkMkZFklTGqEiSyhgVSVIZoyJJKmNUJElljIokqYxRkSSVmRj1gFE69fglTG1YO+oZkjRveKYiSSpjVCRJZYyKJKmMUZEklTEqkqQyRkWSVMaoSJLKGBVJUhmjIkkqY1QkSWWMiiSpjFGRJJUxKpKkMkZFklTGqEiSyhgVSVIZoyJJKmNUJElljIokqYxRkSSVMSqSpDKtohIR6yNiou/+MRHxmcHNkiSNo7ZnKhPA/RGxKiLOAb4JbBncLEnSOJqY+xDIzN+PiLuB+4EfAmdk5o6BLpMkjZ22L3+dAVwPfBi4F/hERPzsAHdJksZQqzMV4M+At2bmowAR8RvAPcDJgxomSRo/baPyK5m5Z/pOZt4eEf84oE2SpDHV9kL90oj4m4j4GkBErAQuHNwsSdI4ahuVm4C7gGXN/SeA3x7EIEnS+Gp9ppKZtwJ7ATLzRWDPgX+IJGmhaRuVH0XEsUACRMQbgV0DWyVJGkttL9R/ELgTWB4Rm4HjgIsHtkqSNJbanqksB94MvInetZVv0T5IkqQFom1UPpSZzwGvAs4GNgKfHNgqSdJYahuV6Yvya4EbM/MO4MjBTJIkjau2UXk6Iv4KuAT4SkQsOogfK0laINqG4RJ611LOzcxngZ8GfndgqyRJY6ntv1K8G7i97/4zwDODGiVJGk++hCVJKmNUJElljIokqYxRkSSVMSqSpDJGRZJUxqhIksoYFUlSGaMiSSpjVCRJZYyKJKmMUZEklTEqkqQyRkWSVMaoSJLKtPr/U5mvtj69i8mrvzzqGZI0VDs3rB3YY3umIkkqY1QkSWWMiiSpjFGRJJUxKpKkMkZFklTGqEiSyhgVSVIZoyJJKmNUJElljIokqYxRkSSVMSqSpDJGRZJUxqhIksoYFUlSGaMiSSpjVCRJZYyKJKmMUZEklTEqkqQyRkWSVMaoSJLKDCwqEfGBiHgsIj43oMe/NiKuGsRjS5JenokBPvb7gDdn5pMD/BySpA4ZSFQi4kbgJODOiLgFWA6c2ny+azPzjohYB1wIHA6cAvw5cCTwLuAF4LzM/EFEXA5c0XxsB/CuzNw94/MtB24AjgN2A5dn5uOD+NokSfs3kJe/MvM9wHeBs4DFwD2ZeVpz/7qIWNwcegrwduB04E+A3Zm5GvgG8JvNMbdn5mmZ+XrgMeCyWT7lRuDKzHwDcBXwl/vbFhFXRMRUREzt2b3rUL9USVKfQb78Ne0c4Py+6x9HASc2tzdl5vPA8xGxC/hi8/6twKrm9ikR8cfAK4FXAHf1P3hEvAJ4E/CFiJh+96L9jcnMjfQixKJlK/IQvi5J0gzDiEoAF2Xm9pe8M+KX6b3MNW1v3/29fdtuAi7MzIeal8zOnPH4hwHPZuYv1c6WJB2sYfyV4ruAK6M5jYiI1Qf5448GnomII4B3zPxgZj4HPBkRb20ePyLi9Ye4WZL0MgwjKuuBI4CHI+KR5v7B+BBwP/APwP4uvr8DuCwiHgK2ARe8zK2SpEMQmQv3ssKiZSty2bs/PuoZkjRUOzesPaQfHxFbMnPNbB/zv6iXJJUxKpKkMkZFklTGqEiSyhgVSVIZoyJJKmNUJElljIokqYxRkSSVMSqSpDJGRZJUxqhIksoYFUlSGaMiSSpjVCRJZYyKJKmMUZEklTEqkqQyRkWSVMaoSJLKGBVJUhmjIkkqMzHqAaN06vFLmNqwdtQzJGne8ExFklTGqEiSyhgVSVIZoyJJKmNUJElljIokqYxRkSSVMSqSpDJGRZJUxqhIksoYFUlSGaMiSSpjVCRJZYyKJKmMUZEklTEqkqQyRkWSVMaoSJLKGBVJUhmjIkkqY1QkSWWMiiSpjFGRJJUxKpKkMkZFklTGqEiSykRmjnrDyETE88D2Ue+Yw1Lge6MeMQc3Hrqu7wM3VpkPG1+TmcfN9oGJwewZG9szc82oRxxIREy58dB1fWPX94Ebq8z3jb78JUkqY1QkSWUWelQ2jnpAC26s0fWNXd8Hbqwyrzcu6Av1kqRaC/1MRZJUyKhIksrM+6hExLkRsT0idkTE1bN8fFFEfL75+P0RMdnBjWdExL9FxIsRcfGw97Xc+MGIeDQiHo6IuyPiNR3c+J6I2BoRD0bEP0fEyq5t7Dvu4ojIiBj6Xz1t8Tyui4j/bp7HByPit7q2sTnmkuZ7cltE/F3XNkbEx/qewyci4tkObjwxIjZFxAPNr+3z5nzQzJy3b8DhwLeBk4AjgYeAlTOOeR9wY3P7UuDzHdw4CawCPgtc3NHn8Szgp5rb7+3o83hM3+3zga91bWNz3NHAPwH3AWu6thFYB3xi2N+HB7lxBfAA8Krm/s90beOM468EPt21jfQu2L+3ub0S2DnX4873M5XTgR2Z+Z3M/F/gFuCCGcdcANzc3L4N+LWIiC5tzMydmfkwsHeIu/q12bgpM3c3d+8DTujgxuf67i4Ghv23VNp8PwKsBz4K/M8wxzXabhylNhsvB27IzB8CZOZ/dXBjv7cBfz+UZT/RZmMCxzS3lwDfnetB53tUjgf+o+/+U837Zj0mM18EdgHHDmXdjM/fmG3jqB3sxsuArw500b5abYyI90fEt+n9pv2BIW2bNufGiFgNvDozvzTMYX3a/lxf1LwccltEvHo4036szcbXAq+NiM0RcV9EnDu0dT2tf800LxX/HHDPEHb1a7PxWuCdEfEU8BV6Z1QHNN+jMtsZx8w/nbY5ZpBG/fnbaL0xIt4JrAGuG+iiWT71LO/bZ2Nm3pCZy4HfA/5w4Kte6oAbI+Iw4GPA7wxt0b7aPI9fBCYzcxXwdX5ypj8sbTZO0HsJ7Ex6ZwGfiohXDnhXv4P5dX0pcFtm7hngntm02fg24KbMPAE4D/jb5vt0v+Z7VJ4C+v8UdQL7nr79+JiImKB3iveDoayb8fkbs20ctVYbI+Js4Brg/Mx8YUjbph3s83gLcOFAF+1rro1HA6cA90bETuCNwJ1Dvlg/5/OYmd/v+/n9a+ANQ9o2re2v6zsy8/8y80l6/3DsiiHtm/78bb8fL2X4L31Bu42XAbcCZOY3gKPo/WOT+zfMC0PDfqP3p5Xv0Du1nL4Q9Yszjnk/L71Qf2vXNvYdexOjuVDf5nlcTe+i34oO/1yv6Lv968BU1zbOOP5ehn+hvs3zuKzv9luA+zq48Vzg5ub2Unov8xzbpY3Nca8DdtL8h+gdfB6/Cqxrbv8CvegccOtQv4hRvNE7ZXui+Q3vmuZ9H6b3p2nolfcLwA7gX4GTOrjxNHp/qvgR8H1gWwc3fh34T+DB5u3ODm68HtjW7Nt0oN/QR7VxxrFDj0rL5/EjzfP4UPM8ntzBjQH8BfAosBW4tGsbm/vXAhuGve0gnseVwObm5/pB4Jy5HtN/pkWSVGa+X1ORJA2RUZEklTEqkqQyRkWSVMaoSJLKGBVJUhmjIkkq8/8SRErzX0Jr+wAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "pd.concat([x_train, y_train], axis=1).groupby('sex').survived.mean().plot(kind='barh')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "지금까지 수행한 시각화를 통해 다음과 같은 정보를 쉽게 알 수 있습니다.\n",
    "  - 대부분의 탑승객은 20-30대\n",
    "  - 남성 탑승객이 훨씬 많음\n",
    "  - 대부분의 탑승객이 Third class\n",
    "  - 여성의 생존 확률이 더 높음\n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Training set // Test set\n",
    "\n",
    "Training set을 통해 모델이 학습하고, test set을 통해 학습한 결과가 얼마나 잘 작동하는지 평가합니다. 이 때 training set과 test set은 서로 겹치지 않도록 해야합니다.\n",
    "\n",
    "학습시킨 모델을 통해 새로운 데이터가 들어와도 잘 예측할 수 있어야 성공적인 모델이라고 할 수 있는데 학습 때 사용한 training set만 잘 맞추고 한 번도 보지 못했던 데이터(test data...)는 잘 예측하지 못하면 힙들게 학습시킨 의미가 없겠죠?\n",
    "\n",
    "따라서 학습 시에는 training set만 사용하고, 학습시킨 모델을 평가할 때는 test set만 사용합니다. 여기서 정확도를 올리기 위해 validation을 하기도 하는데, 여기서는 생략하도록 하겠습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Feature engineering\n",
    "\n",
    "(지금까지 경험한 바로는)가장 중요하다고 생각하는 feature engineering(특성 공학)입니다. ML/DL이란게 아무 데이터나 집어넣어도 모델이 좋으면 좋은 결과를 뚝딱 내놓는게 아닙니다. 좋은 결과를 예측하기 위해서는 잘 예측할 수 있도록 하는 정보들을 가공해서 모델에 넣어주는 것이 필수적입니다. \n",
    "\n",
    "앞서 언급한 중간고사 성적/기말고사 성적/과제 점수/출석 점수/프로젝트 점수를 통해 학점을 예측하고 싶은데 교수님의 성적 반영 비율이 중간고사:기말고사 = 50:50이고 나머지가 0이면 regression 때 과제/출석/프로젝트 점수는 굳이 넣을 필요가 없겠죠?\n",
    "\n",
    "Regression과 타이타닉 데이터셋을 예로 들면, 결국 regression을 위해서는 input feature들이 숫자형이어야 하는데 주어진 데이터셋에는 sex, class 등의 feature가 string 형태입니다. 우선 이를 숫자로 변환시켜야 모든 feature들을 활용해서 regression이 가능합니다. 이러한 categorical feature들을 numeric feature로 바꿔봅시다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Categorical to numerical\n",
    "\n",
    "class 정보를 예로 들면, ['first', 'second', 'third'] 3 종류가 있는데 이를 [0, 1, 2]와 같이 바꿔주면 됩니다. 굳이 first가 1이 될 필요는 없고, first가 모두 1로 변환되기만 하면 됩니다. \n",
    "\n",
    "여기서는 연속된 숫자 feature인 age, fare를 제외하고 나머지를 모두 categorical feature로 취급합니다.\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "VocabularyListCategoricalColumn(key='sex', vocabulary_list=('male', 'female'), dtype=tf.string, default_value=-1, num_oov_buckets=0)\n",
      "NumericColumn(key='fare', shape=(1,), default_value=None, dtype=tf.float32, normalizer_fn=None)\n"
     ]
    }
   ],
   "source": [
    "cat_feature = ['sex', 'n_siblings_spouses', 'parch', 'class', 'deck', 'embark_town', 'alone']\n",
    "num_feature = ['age', 'fare']\n",
    "\n",
    "feature_columns = []\n",
    "for feature_name in cat_feature:\n",
    "  vocabulary = x_train[feature_name].unique()  # gets a list of all unique values from given feature column(ex. class : \"First\", \"Second\", \"Third\")\n",
    "  feature_columns.append(tf.feature_column.categorical_column_with_vocabulary_list(feature_name, vocabulary)) # Generate column name \n",
    "\n",
    "for feature_name in num_feature:\n",
    "  feature_columns.append(tf.feature_column.numeric_column(feature_name, dtype=tf.float32))\n",
    "\n",
    "print(feature_columns[0])\n",
    "print(feature_columns[-1])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "위 블록의 출력문을 통해 tf.feature_column.categorical_column_with_vocabulary_list(name, vocab)은 vocab에 담긴 목록을 기반으로 string을 int로 바꿔줍니다. 예를 들어 sex의 경우 vocab_list가 ['male', 'female']이므로 이를 [0, 1]로 바꿔준다는거죠. \n",
    "\n",
    "그리고 각 categorical feature에 담긴 vocab_list는 일일이 만들 필요 없이 x_train[feature_name].unique()를 통해 자동으로 vocab_list의 set을 이용해서 만들 수 있습니다.\n",
    "\n",
    "Numeric feature는 numeric_column(name, dtype)을 통해 똑같이 작업할 수 있습니다. 연속형 특성이기 때문에 vocab_list 대신 자료형만 넣어주면 됩니다.\n",
    "\n",
    "위에서 보여준 categorical_column_with_vocabulary의 공식 문서는 다음과 같습니다. 이해가 잘 가지 않는다면 참고하셔도 좋습니다.\n",
    "\n",
    "https://www.tensorflow.org/api_docs/python/tf/feature_column/categorical_column_with_vocabulary_list?version=stable"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Training Process\n",
    "\n",
    "이제 regression을 위해 간단한 특성 공학까지 마쳤습니다. 이제 모델을 학습할 차례입니다. 정확히는, 모델에 데이터를 어떻게 넣는지부터 시작합니다.\n",
    "\n",
    "지금 예제야 데이터가 작으니까 한 번에 집어넣어도 괜찮습니다만, 데이터가 무지막지하게 커지게 되면 한 번에 모든 데이터를 올려서 학습을 시킬 수가 없습니다. 이 경우, 데이터를 batch로 나눠서 집어넣게 됩니다. batch size = 32면 데이터를 32개의 batch 여러개로 나눠서 모델에 넣는다는 의미입니다.\n",
    "\n",
    "또한, 각 batch를 여러번 넣어서 학습하게 됩니다. 이 횟수를 epoch이라고 하는데, 간단하게 1 epoch은 모든 데이터셋을 한 번 넣었다는 의미입니다. 10 epoch을 돌렸다는 것은 모든 데이터를 10번 넣어서 학습시켰다는 의미입니다.\n",
    "\n",
    "이러한 작업들을 쉽게 수행하기 위해 input function을 사용하게 됩니다. Input function을 사용해서 쉽게 데이터를 여러 batch로 나눠서 epoch 수만큼 돌릴 수 있습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Input function\n",
    "\n",
    "이제 사용할 모델은 input의 형태로 tf.data.Dataset을 요구합니다. 지금까지 사용했던 데이터셋은 pandas dataframe이었기 때문에 input function을 통해 적절하게 수정해 줄 필요가 있습니다.\n",
    "\n",
    "다음은 텐서플로 공식 튜토리얼에서 긁어온 input function 예시입니다. 다음과 같은 파라미터를 필요로 합니다.\n",
    "  - Input dataframe (ex. x_train)\n",
    "  - Label dataframe (ex. y_train)\n",
    "  - num_epoch : 전체 데이터를 반복하는 횟수\n",
    "  - shuffle : Input_data를 섞어서 batch로 나누는 지 여부\n",
    "  - batch_size : 한 번 학습 시 동시에 학습되는 데이터의 개수\n",
    "  \n",
    "tf.data.Dataset.from_tensor_slices는 입력된 array, list 또는 dictionary로부터 tf.data.Dataset 객체를 만들어준다. 예를 들어, 28x28 사이즈의 이미지 10000개가 [10000, 28, 28] shape의 array로 들어간다면 28x28 사이즈의 데이터 10000개의 slice를 만들게 됩니다.\n",
    "\n",
    "본 예시의 경우에는 각 dictionary의 9개 key마다 627개의 value가 저장이 된 상태로 들어가게 됩니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "def make_input_fn(data_df, label_df, num_epochs=10, shuffle=True, batch_size=32):\n",
    "  def input_function():  # inner function, this will be returned\n",
    "    ds = tf.data.Dataset.from_tensor_slices((dict(data_df), label_df))  # create tf.data.Dataset object with data and its label\n",
    "    if shuffle:\n",
    "      ds = ds.shuffle(1000)  # randomize order of data\n",
    "    ds = ds.batch(batch_size).repeat(num_epochs)  # split dataset into batches of 32 and repeat process for number of epochs\n",
    "    return ds  # return a batch of the dataset\n",
    "  return input_function  # return a function object for use\n",
    "\n",
    "train_input_fn = make_input_fn(x_train, y_train)  # here we will call the input_function that was returned to us to get a dataset object we can feed to the model\n",
    "eval_input_fn = make_input_fn(x_eval, y_eval, num_epochs=1, shuffle=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "결국 가장 바깥의 make_input_fn 함수는 주어진 파라미터에 따라 데이터를 만드는 input function을 만들어서 return하게 됩니다.\n",
    "\n",
    "Test set의 경우 결과 확인은 한 번만 진행하면 되고, 섞을 필요가 없기 때문에 num_epochs=1, shuffle=False로 합니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Creating Model\n",
    "\n",
    "텐서플로에서 제공하는 linear estimator를 사용합니다. 위에서 만들어둔 feature_columns를 estimator에 넣어줍니다"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "INFO:tensorflow:Using default config.\n",
      "WARNING:tensorflow:Using temporary folder as model directory: /tmp/tmpfho3ixdq\n",
      "INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmpfho3ixdq', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true\n",
      "graph_options {\n",
      "  rewrite_options {\n",
      "    meta_optimizer_iterations: ONE\n",
      "  }\n",
      "}\n",
      ", '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}\n"
     ]
    }
   ],
   "source": [
    "linear_est = tf.estimator.LinearClassifier(feature_columns=feature_columns)\n",
    "# We create a linear estimtor by passing the feature columns we created earlier"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Training Model\n",
    "\n",
    "앞서 만든 linear estimator를 학습시깁니다. input으로 위에서 만든 training set에 대한 input function을 넣어줍니다. estimator.train(training_set)으로 학습을 시키고 estimator.evaluate(test_set)으로 test set에 대한 결과를 출력합니다.\n",
    "\n",
    "clear_output()을 실행하지 않으면 뭔가 경고...가 많이 뜨는 것 같은데 무슨 의미인지는 아직 모르겠네요... 아마 자료형에 관한 이야기인 것 같습니다. clear_output을 수행하면 결과를 출력하기 전 출력된 것들을 지울 수 있습니다다. 경고문을 제외하면 각 step마다 loss를 출력해줍니다.\n",
    "\n",
    "Result는 다양한 metric을 포함하고 있습니다. 10개의 metric을 포함하고 있습니다. global_step은 총 몇 개의 batch를 학습했는가를 의미합니다. 627개를 32개로 나누면 20개의 batch가 나오니 우리의 경우 global step = epoch * 20이 되겠네요.\n",
    "\n",
    "특성 공학 부분과는 다르게 실제 모델을 만들어서 돌리는 부분의 코드는 아직까지는 복잡하지 않습니다. tf.estimator에는 다양한 종류의 estimator가 있으니 궁금한 사람들은 찾아보셔도 좋을 것 같습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'accuracy': 0.7462121, 'accuracy_baseline': 0.625, 'auc': 0.8340068, 'auc_precision_recall': 0.7862055, 'average_loss': 0.48740572, 'label/mean': 0.375, 'loss': 0.48191172, 'precision': 0.6454545, 'prediction/mean': 0.42599705, 'recall': 0.7171717, 'global_step': 200}\n"
     ]
    }
   ],
   "source": [
    "linear_est.train(train_input_fn)  # train\n",
    "result = linear_est.evaluate(eval_input_fn)  # get model metrics/stats by testing on tetsing data\n",
    "\n",
    "clear_output()  # clears console output\n",
    "print(result)  # the result variable is simply a dict of stats about our model"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "간단한 linear regression을 통해 약 76%의 정확도를 얻었네요. 이정도면 단순 linear regression 치고는 꽤.... 정확하지 않을까요?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "이렇게 모델을 학습시켰으니 모델이 test set의 데이터를 어떻게 예측했는지 직접 확인해볼 수 있습니다. estimator.evaluate() 대신 estimator.predict()를 통해 특정 data가 들어갔을 때 예측값을 확인할 수 있습니다.\n",
    "\n",
    "첫 번째 데이터의 예측 결과를 보도록 합시다. 'probabilities'값이 [0.9347821 , 0.06521789]이므로 0이 사망이라면 이 탑승객이 사망했을 것이라고 93% 예측한 것입니다. Regression이므로 정확히는 'logistic'값이 0.06이고, 따라서 6.5%의 확률로 생존했다고 예측한다는게 맞을 것입니다. y_eval[0]값이 0이므로 우리의 모델은 이 탑승객의 생존 여부를 정확히 맞췄다고 할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'logits': array([-2.3744485], dtype=float32), 'logistic': array([0.08514199], dtype=float32), 'probabilities': array([0.91485804, 0.08514199], dtype=float32), 'class_ids': array([0]), 'classes': array([b'0'], dtype=object), 'all_class_ids': array([0, 1], dtype=int32), 'all_classes': array([b'0', b'1'], dtype=object)}\n"
     ]
    }
   ],
   "source": [
    "predict = list(linear_est.predict(eval_input_fn))\n",
    "\n",
    "clear_output()\n",
    "print(predict[0])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "다음과 같이 탑승객의 정보와 생존 여부, 예측한 생존 확률을 같이 출력해서 볼 수도 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "sex                          male\n",
      "age                            30\n",
      "n_siblings_spouses              0\n",
      "parch                           0\n",
      "fare                         7.25\n",
      "class                       Third\n",
      "deck                      unknown\n",
      "embark_town           Southampton\n",
      "alone                           y\n",
      "Name: 100, dtype: object\n",
      "Survive       : 0\n",
      "Survive prob. : 0.09401446\n"
     ]
    }
   ],
   "source": [
    "print(x_eval.loc[100])\n",
    "print(\"Survive       :\", y_eval.loc[100])\n",
    "print(\"Survive prob. :\", predict[100]['probabilities'][1])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Classification\n",
    "\n",
    "이번에는 classification에 대해 보도록 합시다. Regression이 데이터를 잘 설명하는 어떤 선을 찾는 것이었다면, classification은 데이터를 몇 가지의 분류로 나누는 것입니다. 예제에서는 iris dataset을 이용해서 꽃받침의 길이와 폭, 꽃잎의 길이와 폭을 이용해서 iris의 3 speicies 중 어디에 속하는 지 맞추게 됩니다. 위에서 다룬 Regression이 생존/사망이라는 2개의 class로 구분하는 classification 문제였다면, 이번에는 3 class classification 문제를 해결하게 됩니다.\n",
    "\n",
    "이 섹션은 다음의 공식 튜토리얼을 바탕으로 제작되었습니다.\n",
    "\n",
    "https://www.tensorflow.org/tutorials/estimator/premade"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Dataset\n",
    "\n",
    "Iris dataset의 label은 다음과 같습니다.\n",
    "  - Setosa\n",
    "  - Versicolor\n",
    "  - Virginica\n",
    "  \n",
    "그리고 feature는 다음과 같습니다.\n",
    "  - sepal length\n",
    "  - sepal width\n",
    "  - petal length\n",
    "  - petal width\n",
    "  \n",
    "위에서도 언급했듯이 4개의 feature를 이용하여 3 class classification을 진행하게 됩니다. 우선 데이터를 불러오도록 하죠. 이번에는 tensorflow 내 keras 모듈을 이용해서 데이터를 불러오도록 하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "feature_name = ['SepalLength', 'SepalWidth', 'PetalLength', 'PetalWidth', 'Species']\n",
    "species = ['Setosa', 'Versicolor', 'Virginica']\n",
    "\n",
    "train_path = tf.keras.utils.get_file(\n",
    "    \"iris_training.csv\", \"https://storage.googleapis.com/download.tensorflow.org/data/iris_training.csv\")\n",
    "test_path = tf.keras.utils.get_file(\n",
    "    \"iris_test.csv\", \"https://storage.googleapis.com/download.tensorflow.org/data/iris_test.csv\")\n",
    "\n",
    "x_train = pd.read_csv(train_path, names=feature_name, header=0)\n",
    "x_test = pd.read_csv(test_path, names=feature_name, header=0)\n",
    "\n",
    "y_train = x_train.pop(\"Species\")\n",
    "y_test = x_test.pop(\"Species\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "이렇게 받은 데이터의 첫 row에는 feature name 대신 data와 feature의 인덱스, species 이름이 있습니다. 따라서 미리 feature name을 선언하고 read_csv 때 names에 같이 넣어줘야 합니다. Train/test set에서 정답에 해당하는 Species를 이전에 했던 것처럼 따로 빼 두고 데이터가 어떻게 생겼는지 먼저 보도록 합시다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>SepalLength</th>\n",
       "      <th>SepalWidth</th>\n",
       "      <th>PetalLength</th>\n",
       "      <th>PetalWidth</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>6.4</td>\n",
       "      <td>2.8</td>\n",
       "      <td>5.6</td>\n",
       "      <td>2.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>5.0</td>\n",
       "      <td>2.3</td>\n",
       "      <td>3.3</td>\n",
       "      <td>1.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>4.9</td>\n",
       "      <td>2.5</td>\n",
       "      <td>4.5</td>\n",
       "      <td>1.7</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>4.9</td>\n",
       "      <td>3.1</td>\n",
       "      <td>1.5</td>\n",
       "      <td>0.1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>5.7</td>\n",
       "      <td>3.8</td>\n",
       "      <td>1.7</td>\n",
       "      <td>0.3</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   SepalLength  SepalWidth  PetalLength  PetalWidth\n",
       "0          6.4         2.8          5.6         2.2\n",
       "1          5.0         2.3          3.3         1.0\n",
       "2          4.9         2.5          4.5         1.7\n",
       "3          4.9         3.1          1.5         0.1\n",
       "4          5.7         3.8          1.7         0.3"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(120, 4)"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train.shape"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Input function\n",
    "\n",
    "Regression때 했던 것처럼 input function을 사용해봅시다. 이번에는 함수가 이전보다 짧아졌네요. 역할은 이전과 같이 feature, label을 받아 tf.data.Dataset 형식으로 만들고 batch size와 epoch에 따라 data를 넣어줍니다. Shuffle 부분도 간단해졌네요."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [],
   "source": [
    "def input_fn(features, labels, training=True, num_epochs = 3, batch_size=60):\n",
    "    # Convert the inputs to a Dataset.\n",
    "    dataset = tf.data.Dataset.from_tensor_slices((dict(features), labels))\n",
    "\n",
    "    # Shuffle and repeat if you are in training mode.\n",
    "    if training:\n",
    "        dataset = dataset.shuffle(1000).repeat()\n",
    "    \n",
    "    return dataset.batch(batch_size).repeat(num_epochs)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Feature engineering\n",
    "\n",
    "이번에는 pandas dataframe 형식인 feature를 tf.data.Dataset 형식으로 바꾸기만 할겁니다. Categorical feature가 없기 때문에 이 부분도 이전보다 한결 짧아진 것을 확인할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "NumericColumn(key='SepalLength', shape=(1,), default_value=None, dtype=tf.float32, normalizer_fn=None)\n"
     ]
    }
   ],
   "source": [
    "# Feature columns describe how to use the input.\n",
    "feature_columns = []\n",
    "for key in x_train.keys():\n",
    "    feature_columns.append(tf.feature_column.numeric_column(key=key))\n",
    "print(feature_columns[0])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Building models\n",
    "\n",
    "Classification을 위해 다양한 모델을 제공합니다. 이번에는 DNN classifier를 사용해봅시다. tf.estimator.DNNClassifier()를 통해 미리 만들어진 모델을 쉽게 가져올 수 있습니다. 영상에서는 앞서 사용했던 LinearClassifier도 간단하게 소개하고 넘어가는데, 현재 문제인 multi-class classification 문제에서는 아까와 살짝 다르게 작동한다고 알고 있습니다. 구글에 multi-class classification 또는 multi-label classification이라고 검색하면 자세한 정보가 있으니 궁금하시면 한 번 검색해보셔도 좋습니다. \n",
    "\n",
    "현재 사용하는 dataset의 label이 3이기 때문에 n_classes는 3으로 주고, hidden_units에 원하는 layer의 갯수, 각 layer의 노드를 리스트로 넣어주면 자동으로 DNN Classifier를 만들어줍니다! 예전에 TF나 pytorch 없이 DNN Classifier를 구현해본 적이 있는데 실은 이렇게 한 줄로 해결이 가능합니다... feature로는 앞서 정의한 feature_columns를 넣어주면 됩니다. 더 자세한 estimator에 대한 설명을 원하면 아래 공식 문서를 참고하시기 바랍니다. 다양한 parameter와 용례에 대한 설명이 있습니다.\n",
    "\n",
    "https://www.tensorflow.org/api_docs/python/tf/estimator/DNNClassifier"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "INFO:tensorflow:Using default config.\n",
      "WARNING:tensorflow:Using temporary folder as model directory: /tmp/tmp3nqfhryc\n",
      "INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmp3nqfhryc', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true\n",
      "graph_options {\n",
      "  rewrite_options {\n",
      "    meta_optimizer_iterations: ONE\n",
      "  }\n",
      "}\n",
      ", '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}\n"
     ]
    }
   ],
   "source": [
    "classifier = tf.estimator.DNNClassifier(\n",
    "    feature_columns=feature_columns,\n",
    "    hidden_units=[30, 10],\n",
    "    n_classes=3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "여담으로 위에서 만든 DNNClassifier는 다음과 같이 생겼습니다. 제일 왼쪽의 input layer에 4개의 feature가 들어가고, 각각 노드가 30개, 10개인 hidden layer를 통해 output layer에서 3개의 값을 출력하게 됩니다. 3개의 값은 각각 해당하는 species일 확률에 해당합니다. 이렇게 classifier를 하게 되는 겁니다.\n",
    "\n",
    "혹시 쉽게 간단한 신경망을 그리고 싶은 사람은 다음 사이트를 참고하길 바랍니다.\n",
    "\n",
    "http://alexlenail.me/NN-SVG/index.html"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![python image](image/DNNClassifier.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "이제 모델을 학습시키면 됩니다! Regression때와 다르게 input function이 간결해졌고, 대신 train 과정에서 받는 input function에 lambda를 사용해서 다음과 같이 해야 합니다. 자세한 사용법에 대해서는 python lambda에 대해 공부해보도록 해봅시다. 다음은 영상에서 소개한 간단한 예시입니다. 영상에서는 1줄짜리 함수라고 표현합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<function <lambda> at 0x7f06f91d0320>\n",
      "Hello, World!\n"
     ]
    }
   ],
   "source": [
    "x = lambda: print(\"Hello, World!\")\n",
    "print(x)\n",
    "x()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "따라서 regression때와 같이 def: 내 def:를 넣을 필요 없이 lambda를 이용해서 간결하게 코드를 짤 수 있습니다. input_fn()은 결국 data를 return하는데 train의 input_fn에서는 함수를 받아야 하기 때문입니다. 다음 문서에서 input function에 대해 좀 더 자세히 알아볼 수 있습니다.\n",
    "\n",
    "https://www.tensorflow.org/tutorials/estimator/premade#create_input_functions\n",
    "\n",
    "*실은 저도 잘 모르는 부분이라...... 추가적으로 공부를 좀 더 해야합니다...\n",
    "\n",
    "*더불어 steps와 input function에서의 epoch 관계가 살짝 헷갈립니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "INFO:tensorflow:Calling model_fn.\n",
      "WARNING:tensorflow:Layer dnn is casting an input tensor from dtype float64 to the layer's dtype of float32, which is new behavior in TensorFlow 2.  The layer has dtype float32 because it's dtype defaults to floatx.\n",
      "\n",
      "If you intended to run this layer in float32, you can safely ignore this warning. If in doubt, this warning is likely only an issue if you are porting a TensorFlow 1.X model to TensorFlow 2.\n",
      "\n",
      "To change all layers to have dtype float64 by default, call `tf.keras.backend.set_floatx('float64')`. To change just this layer, pass dtype='float64' to the layer constructor. If you are the author of this layer, you can disable autocasting by passing autocast=False to the base Layer constructor.\n",
      "\n",
      "INFO:tensorflow:Done calling model_fn.\n",
      "INFO:tensorflow:Create CheckpointSaverHook.\n",
      "INFO:tensorflow:Graph was finalized.\n",
      "INFO:tensorflow:Running local_init_op.\n",
      "INFO:tensorflow:Done running local_init_op.\n",
      "INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmp3nqfhryc/model.ckpt.\n",
      "INFO:tensorflow:loss = 2.156511, step = 0\n",
      "INFO:tensorflow:global_step/sec: 471.85\n",
      "INFO:tensorflow:loss = 1.4827628, step = 100 (0.213 sec)\n",
      "INFO:tensorflow:global_step/sec: 612.141\n",
      "INFO:tensorflow:loss = 1.2657447, step = 200 (0.163 sec)\n",
      "INFO:tensorflow:global_step/sec: 599.174\n",
      "INFO:tensorflow:loss = 1.1163434, step = 300 (0.167 sec)\n",
      "INFO:tensorflow:global_step/sec: 610.722\n",
      "INFO:tensorflow:loss = 1.0700113, step = 400 (0.165 sec)\n",
      "INFO:tensorflow:global_step/sec: 578.454\n",
      "INFO:tensorflow:loss = 1.0252922, step = 500 (0.172 sec)\n",
      "INFO:tensorflow:global_step/sec: 607.33\n",
      "INFO:tensorflow:loss = 0.9729391, step = 600 (0.165 sec)\n",
      "INFO:tensorflow:global_step/sec: 628.483\n",
      "INFO:tensorflow:loss = 0.94504946, step = 700 (0.159 sec)\n",
      "INFO:tensorflow:global_step/sec: 627.35\n",
      "INFO:tensorflow:loss = 0.9261305, step = 800 (0.159 sec)\n",
      "INFO:tensorflow:global_step/sec: 621.053\n",
      "INFO:tensorflow:loss = 0.8951604, step = 900 (0.161 sec)\n",
      "INFO:tensorflow:global_step/sec: 604.972\n",
      "INFO:tensorflow:loss = 0.883173, step = 1000 (0.166 sec)\n",
      "INFO:tensorflow:global_step/sec: 616.021\n",
      "INFO:tensorflow:loss = 0.8226665, step = 1100 (0.162 sec)\n",
      "INFO:tensorflow:global_step/sec: 627.991\n",
      "INFO:tensorflow:loss = 0.84074897, step = 1200 (0.159 sec)\n",
      "INFO:tensorflow:global_step/sec: 616.976\n",
      "INFO:tensorflow:loss = 0.82530046, step = 1300 (0.162 sec)\n",
      "INFO:tensorflow:global_step/sec: 616.717\n",
      "INFO:tensorflow:loss = 0.82514954, step = 1400 (0.162 sec)\n",
      "INFO:tensorflow:global_step/sec: 610.209\n",
      "INFO:tensorflow:loss = 0.7740204, step = 1500 (0.164 sec)\n",
      "INFO:tensorflow:global_step/sec: 614.836\n",
      "INFO:tensorflow:loss = 0.79303104, step = 1600 (0.163 sec)\n",
      "INFO:tensorflow:global_step/sec: 589.742\n",
      "INFO:tensorflow:loss = 0.7870069, step = 1700 (0.170 sec)\n",
      "INFO:tensorflow:global_step/sec: 621.098\n",
      "INFO:tensorflow:loss = 0.76996213, step = 1800 (0.161 sec)\n",
      "INFO:tensorflow:global_step/sec: 606.153\n",
      "INFO:tensorflow:loss = 0.72313243, step = 1900 (0.165 sec)\n",
      "INFO:tensorflow:global_step/sec: 603.341\n",
      "INFO:tensorflow:loss = 0.7300875, step = 2000 (0.166 sec)\n",
      "INFO:tensorflow:global_step/sec: 623.47\n",
      "INFO:tensorflow:loss = 0.72108096, step = 2100 (0.161 sec)\n",
      "INFO:tensorflow:global_step/sec: 603.025\n",
      "INFO:tensorflow:loss = 0.7324953, step = 2200 (0.165 sec)\n",
      "INFO:tensorflow:global_step/sec: 599.417\n",
      "INFO:tensorflow:loss = 0.729216, step = 2300 (0.167 sec)\n",
      "INFO:tensorflow:global_step/sec: 595.974\n",
      "INFO:tensorflow:loss = 0.72016907, step = 2400 (0.168 sec)\n",
      "INFO:tensorflow:global_step/sec: 606.43\n",
      "INFO:tensorflow:loss = 0.673315, step = 2500 (0.165 sec)\n",
      "INFO:tensorflow:global_step/sec: 594.868\n",
      "INFO:tensorflow:loss = 0.6824772, step = 2600 (0.168 sec)\n",
      "INFO:tensorflow:global_step/sec: 596.197\n",
      "INFO:tensorflow:loss = 0.6498045, step = 2700 (0.168 sec)\n",
      "INFO:tensorflow:global_step/sec: 597.462\n",
      "INFO:tensorflow:loss = 0.65381163, step = 2800 (0.167 sec)\n",
      "INFO:tensorflow:global_step/sec: 605.911\n",
      "INFO:tensorflow:loss = 0.6257303, step = 2900 (0.165 sec)\n",
      "INFO:tensorflow:global_step/sec: 590.77\n",
      "INFO:tensorflow:loss = 0.6394155, step = 3000 (0.169 sec)\n",
      "INFO:tensorflow:global_step/sec: 607.188\n",
      "INFO:tensorflow:loss = 0.656478, step = 3100 (0.165 sec)\n",
      "INFO:tensorflow:global_step/sec: 608.357\n",
      "INFO:tensorflow:loss = 0.618529, step = 3200 (0.164 sec)\n",
      "INFO:tensorflow:global_step/sec: 613.332\n",
      "INFO:tensorflow:loss = 0.6272336, step = 3300 (0.163 sec)\n",
      "INFO:tensorflow:global_step/sec: 606.943\n",
      "INFO:tensorflow:loss = 0.5856327, step = 3400 (0.165 sec)\n",
      "INFO:tensorflow:global_step/sec: 615.061\n",
      "INFO:tensorflow:loss = 0.63271993, step = 3500 (0.162 sec)\n",
      "INFO:tensorflow:global_step/sec: 600.34\n",
      "INFO:tensorflow:loss = 0.59252656, step = 3600 (0.167 sec)\n",
      "INFO:tensorflow:global_step/sec: 616.657\n",
      "INFO:tensorflow:loss = 0.5705839, step = 3700 (0.162 sec)\n",
      "INFO:tensorflow:global_step/sec: 614.164\n",
      "INFO:tensorflow:loss = 0.59725356, step = 3800 (0.163 sec)\n",
      "INFO:tensorflow:global_step/sec: 627.287\n",
      "INFO:tensorflow:loss = 0.5638358, step = 3900 (0.160 sec)\n",
      "INFO:tensorflow:global_step/sec: 615.227\n",
      "INFO:tensorflow:loss = 0.5684583, step = 4000 (0.162 sec)\n",
      "INFO:tensorflow:global_step/sec: 627.832\n",
      "INFO:tensorflow:loss = 0.51650995, step = 4100 (0.159 sec)\n",
      "INFO:tensorflow:global_step/sec: 611.824\n",
      "INFO:tensorflow:loss = 0.55549365, step = 4200 (0.163 sec)\n",
      "INFO:tensorflow:global_step/sec: 603.224\n",
      "INFO:tensorflow:loss = 0.51309544, step = 4300 (0.166 sec)\n",
      "INFO:tensorflow:global_step/sec: 584.407\n",
      "INFO:tensorflow:loss = 0.55839545, step = 4400 (0.171 sec)\n",
      "INFO:tensorflow:global_step/sec: 598.847\n",
      "INFO:tensorflow:loss = 0.58886236, step = 4500 (0.167 sec)\n",
      "INFO:tensorflow:global_step/sec: 632.735\n",
      "INFO:tensorflow:loss = 0.59644496, step = 4600 (0.158 sec)\n",
      "INFO:tensorflow:global_step/sec: 615.649\n",
      "INFO:tensorflow:loss = 0.5451367, step = 4700 (0.162 sec)\n",
      "INFO:tensorflow:global_step/sec: 627.416\n",
      "INFO:tensorflow:loss = 0.51468056, step = 4800 (0.159 sec)\n",
      "INFO:tensorflow:global_step/sec: 617.709\n",
      "INFO:tensorflow:loss = 0.51203614, step = 4900 (0.162 sec)\n",
      "INFO:tensorflow:Saving checkpoints for 5000 into /tmp/tmp3nqfhryc/model.ckpt.\n",
      "INFO:tensorflow:Loss for final step: 0.50544417.\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<tensorflow_estimator.python.estimator.canned.dnn.DNNClassifierV2 at 0x7f06887282d0>"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "classifier.train(\n",
    "    input_fn=lambda: input_fn(x_train, y_train, training=True),\n",
    "    steps=5000)\n",
    "# We include a lambda to avoid creating an inner function previously"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "100 step마다 loss를 출력해줍니다. Loss가 높다고 생각되면 layer 개수나 dropout 등 여러 설정을 만져봅시다. 이제 학습을 마쳤으니 모델의 성능을 평가해봅시다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "INFO:tensorflow:Calling model_fn.\n",
      "WARNING:tensorflow:Layer dnn is casting an input tensor from dtype float64 to the layer's dtype of float32, which is new behavior in TensorFlow 2.  The layer has dtype float32 because it's dtype defaults to floatx.\n",
      "\n",
      "If you intended to run this layer in float32, you can safely ignore this warning. If in doubt, this warning is likely only an issue if you are porting a TensorFlow 1.X model to TensorFlow 2.\n",
      "\n",
      "To change all layers to have dtype float64 by default, call `tf.keras.backend.set_floatx('float64')`. To change just this layer, pass dtype='float64' to the layer constructor. If you are the author of this layer, you can disable autocasting by passing autocast=False to the base Layer constructor.\n",
      "\n",
      "INFO:tensorflow:Done calling model_fn.\n",
      "INFO:tensorflow:Starting evaluation at 2020-03-11T03:53:23Z\n",
      "INFO:tensorflow:Graph was finalized.\n",
      "INFO:tensorflow:Restoring parameters from /tmp/tmp3nqfhryc/model.ckpt-5000\n",
      "INFO:tensorflow:Running local_init_op.\n",
      "INFO:tensorflow:Done running local_init_op.\n",
      "INFO:tensorflow:Inference Time : 0.18474s\n",
      "INFO:tensorflow:Finished evaluation at 2020-03-11-03:53:23\n",
      "INFO:tensorflow:Saving dict for global step 5000: accuracy = 0.7, average_loss = 0.61335206, global_step = 5000, loss = 0.613352\n",
      "INFO:tensorflow:Saving 'checkpoint_path' summary for global step 5000: /tmp/tmp3nqfhryc/model.ckpt-5000\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "{'accuracy': 0.7,\n",
       " 'average_loss': 0.61335206,\n",
       " 'loss': 0.613352,\n",
       " 'global_step': 5000}"
      ]
     },
     "execution_count": 35,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "classifier.evaluate(input_fn=lambda: input_fn(x_test, y_test, training=False))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "93%의 정확도를 보여주는군요. 이렇게 학습시킨 모델로 직접 입력을 받아 예측하는 예측기를 만들어봅시다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "특성에 해당하는 값을 입력해주세요\n",
      "SepalLength: 1\n",
      "SepalWidth: 2\n",
      "PetalLength: 3\n",
      "PetalWidth: 4\n",
      "INFO:tensorflow:Calling model_fn.\n",
      "INFO:tensorflow:Done calling model_fn.\n",
      "INFO:tensorflow:Graph was finalized.\n",
      "INFO:tensorflow:Restoring parameters from /tmp/tmp3nqfhryc/model.ckpt-5000\n",
      "INFO:tensorflow:Running local_init_op.\n",
      "INFO:tensorflow:Done running local_init_op.\n",
      "\n",
      "74.028909% 확률로 'Virginica'입니다.\n"
     ]
    }
   ],
   "source": [
    "def predict_input_fn(features, batch_size = 256):\n",
    "    return tf.data.Dataset.from_tensor_slices(dict(features)).batch(batch_size)\n",
    "\n",
    "features = ['SepalLength', 'SepalWidth', 'PetalLength', 'PetalWidth']\n",
    "predict = {}\n",
    "\n",
    "print(\"특성에 해당하는 값을 입력해주세요\")\n",
    "\n",
    "for fea in features:\n",
    "    valid = True\n",
    "    while valid:\n",
    "        val = input(fea + \": \")\n",
    "        \n",
    "        #if not val.isdigit(): valid = False로도 가능\n",
    "        if val.isdigit():\n",
    "            valid = False\n",
    "    \n",
    "    predict[fea] = [float(val)]\n",
    "    \n",
    "prediction = classifier.predict(input_fn = lambda: predict_input_fn(predict))\n",
    "for pred_dict in prediction:\n",
    "    class_id = pred_dict['class_ids'][0] #List로 출력되서 첫 번째 원소를 가져오도록 합니다. 0 1 2 중 하나입니다.\n",
    "    prob = pred_dict['probabilities'][class_id] #해당하는 class의 확률을 가져옵니다.\n",
    "    \n",
    "    print(\"\\n{:1f}% 확률로 '{}'입니다.\".format(100*prob, species[class_id]))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Clustering\n",
    "\n",
    "Clustering은 하나의 unsupervised learning 방식입니다. Label 없이 feature만 받아서 구역을 나눈다고 생각하면 됩니다. 같은 구역 안에 있는 data들은 비슷한 feature를 가진다고 생각할 수 있습니다. 다음 링크에서는 5가지 clustering algorithm을 소개하고 있습니다.\n",
    "\n",
    "https://towardsdatascience.com/the-5-clustering-algorithms-data-scientists-need-to-know-a36d136ef68\n",
    "\n",
    "위 글에서 소개하는 clustering algorithm은 다음과 같습니다.\n",
    "  - K-means clustering\n",
    "  - Mean-shift clustering\n",
    "  - Density-based spatial clustering of applications with noise(DBSCAN)\n",
    "  - Expection-maximization(EM) clustering using gaussian mixture(GMM)\n",
    "  - Agglomerative hirarchical clustering\n",
    "\n",
    "실은 지금처럼 구현을 해봐야하는데 강사 왈 현재 tensorflow 버전에서 KMean 구현에 문제가 있다고 하네요. 대신 K-means clutering이 어떻게 수행되는지 그림을 그려가면서 설명을 합니다. 기본 알고리즘은 다음과 같습니다.\n",
    "\n",
    "  - 1. K개의 centroids가 위치할 K개의 포인트를 랜덤하게 잡습니다.\n",
    "  - 2. 모든 data point에 대해 K개의 centroids와의 거리를 계산합니다. 만약 K=3이면 모든 점에서 3개의 centroids까지의 거리를 계산하면 됩니다. \n",
    "       각 점마다 3개의 거리값이 존재하겠죠.그렇게 구한 K개의 거리값 중 최소값 해당하는 centroids로 각 data points를 assign합니다. \n",
    "  - 3. 각 centroids에 assign된 data points들의 center of mass를 구합니다. 해당 위치로 각 centroids를 이동시킵니다.\n",
    "  - 4. 다시 모든 data points를 거리 최소값에 따라 centroids에 reassign합니다\n",
    "  - 5. 어떠한 data points의 소속이 바뀌지 않을 때까지 3-4번 과정을 반복합니다.\n",
    "\n",
    "위 설명에 해당하는 부분은 동영상 2:18:38 지점입니다. 참고하실 분들을 위해 링크 남깁니다.\n",
    "\n",
    "https://youtu.be/tPYj3fFJGjk?t=8318\n",
    "\n",
    "추후 구현이 가능해지면 구현해서 추가하도록 하겠습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Hidden Markov Models(HMMs)\n",
    "\n",
    "이번 module 마지막 section인 Hidden Markov Models입니다. 한 때 통계 스터디를 할 때 Markov를 마카로프.... 라고 읽었던 기억이 나네요.\n",
    "\n",
    "본 영상에서도 알고리즘 설명보다는 구현을 목적으로 하고, 저 또한 제대로 배워본 적이 없기 때문에 HMMs 개념에 대한 내용은 추후 추가하도록 하겠습니다. 간단하게 보면, 우선 HMMs의 기반이 되는 Markov chain은 어떤 state의 확률은 바로 이전 상태에만 의존한다는 것입니다. 학부연구생 때 random walk를 응용해서 network embedding이라는 것을 해 본 적이 있는데 그 때 사용했던 random walk이 Markov chain의 일종이라고 볼 수 있겠네요.\n",
    "\n",
    "Markov chain에서는 현재 state를 알고 있기 때문에 현재를 기반으로 다음 state로 넘어갈 수 있습니다. 다만 HMMs에서는 각 state는 Markov chain을 따르지만 state 자체는 숨겨져있습니다. HMMs에 대해 굉장히 잘 설명해주신 [ratsgo님의 블로그](https://ratsgo.github.io/machine%20learning/2017/03/18/HMMs/)의 예시를 들면, 과거 날씨를 연구하고 싶은데 가지고 있는 기록은 당시 아이스크림 소비 기록밖에 없습니다. 이 정보를 가지고 과거의 날씨가 더웠는지, 추웠는지를 예측하고자 하는 것입니다. 우리는 아이스크림 소비 기록의 chain은 알고 있지만 그 뒤에 숨겨진 날씨는 알지 못합니다. 아이스크림 소비 기록이 관측치라면, 그 뒤에 숨겨진 날씨(state)를 예측하고자 합니다.\n",
    "\n",
    "이 섹션은 다음 튜토리얼을 기반으로 작성되었습니다.\n",
    "\n",
    "https://www.tensorflow.org/probability/api_docs/python/tfp/distributions/HiddenMarkovModel"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Data\n",
    "\n",
    "HMMs 구현에 쓰일 데이터는 날씨 데이터입니다. HMM 구현을 위해서는 다음과 같은 정보가 필요합니다.\n",
    "\n",
    "  - States\n",
    "  - Observation distribution\n",
    "  - Transition Distribution\n",
    " \n",
    "State는 앞서 언급했듯이 '따뜻함', '추움'같은 상태이고, 숨겨져있습니다. Observation은 위 예시에서의 아이스크림 소비량입니다. 이 observation의 distribution을 사용하게 됩니다. 마지막으로 transition distribution은 각 state로부터 다른 state로 옮겨갈 probability입니다. 예를 들어, 추운 날 다음날이 또 추울 확률이 30%, 추운 날 다음날이 따뜻할 확률이 70% 같은 것입니다.\n",
    "\n",
    "이제 구현을 시작해보록 합시다. 이번에는 estimator 대신 다른 module을 사용합니다. tensorflow-probability라는 라이브러리 설치가 필요합니다. 이 라이브러리는 확률적 추론 및 통계 분석을 위한 라이브러리입니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "import tensorflow_probability as tfp"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Weather model\n",
    "\n",
    "이번에 사용할 모델은 다음과 같은 특징을 가지고 있습니다.\n",
    "\n",
    "  - Cold day는 0, hot day는 1로 encoding 되어있습니다.\n",
    "  - 우리의 sequence의 first day는 80% 확률로 cold day입니다.\n",
    "  - Cold day 다음으로 hot day가 올 확률은 30%입니다.\n",
    "  - Hot day 다음으로 cold day가 올 확률은 20%입니다.\n",
    "  - Cold day의 온도는 n(0, 5) 분포를 따르고, hot day의 온도는 n(15, 10)을 따릅니다.\n",
    "  \n",
    "본 모델에서의 관측치는 온도입니다. 온도가 state에 따라 저러한 정규분포를 따르고 있고, 우리는 온도값으로부터 실제로 따뜻했는지 추웠는지를 예측합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [],
   "source": [
    "tfd = tfp.distributions\n",
    "\n",
    "init_dist = tfd.Categorical(probs = [0.8, 0.2]) #첫 날 추울 확률이 0.8\n",
    "trans_dist = tfd.Categorical(probs = [[0.7, 0.3], [0.2, 0.8]]) #순서대로 C->C, C->H, H->C, H->H 확률\n",
    "\n",
    "obs_dist = tfd.Normal(loc = [0., 15.], scale = [5., 10.]) #관측치(온도)의 분포"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<tfp.distributions.Normal 'Normal' batch_shape=[2] event_shape=[] dtype=float32>"
      ]
     },
     "execution_count": 53,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "obs_dist"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "이제 HMMs 모델을 만들어봅시다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = tfd.HiddenMarkovModel(initial_distribution = init_dist, \n",
    "                              transition_distribution = trans_dist,\n",
    "                              observation_distribution = obs_dist,\n",
    "                              num_steps = 7)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "num_steps는 예측하고 싶은 state 개수를 의미합니다. 이 경우에는 1주일치 날씨를 예측하고 싶다는 의미입니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[3.       6.       7.5      8.249999 8.625001 8.812501 8.90625 ]\n"
     ]
    }
   ],
   "source": [
    "print(model.mean().numpy())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "model.mean()으로 일주일 온도의 평균값을 예측할 수 있습니다. 첫 날 추울 확률이 80%였으니 첫 날 온도가 낮게 나오네요. Observation 및 transition 분포을 바꿔주면 그에 따라 예측한 온도의 평균 또한 바뀌게 됩니다.\n",
    "\n",
    "Tfp에서 제공하는 HMMs 모델에 대해 더 자세한 method를 보고 싶다면 앞서 언급한 Hidden Markov Models의 문서를 찾아보기 바랍니다.\n",
    "\n",
    "https://www.tensorflow.org/probability/api_docs/python/tfp/distributions/HiddenMarkovModel"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Conclusion\n",
    "\n",
    "꽤 기본적인 4가지 알고리즘에 대해 알아보고, 직접 구현해봤습니다. Clustering의 구현 부분과 Hidden Markov Models의 개념 부분은 추후 시간이 되면 추가하도록 하겠습니다. 다음 module은 TF를 통해 neural network를 구현하는 단계입니다."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}