sem10_likelihood/sem_10_lklh.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Дайте мне таблетки от жадности! И побольше, побольше!\n",
    "\n",
    "![](https://cs4.pikabu.ru/post_img/2016/08/12/8/1471008417115067244.jpg)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "\n",
    "from scipy import stats # more style :)\n",
    "from scipy.optimize import minimize\n",
    "\n",
    "import seaborn as sns\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "plt.style.use('ggplot')  # стиль для графиков\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Задаченька 1. Функция-няша и функция-бяка!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "а) Найдите минимум фукнции $f(x_1, x_2) = (x_1 - 2)^2 + (x_2 - 4)^2$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь добавим в функцию параметр $a$: $f(x_1, x_2) = (x_1 - 2a)^2 + (x_2 - 4)^2$\n",
    "\n",
    "б) Найдите экстремум функции при $a=4$ и при $a=10$."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Но иногда встречаются функции-бяки :)\n",
    "\n",
    "$f(x_1, x_2, x_3) = 0.01 (x_1 - 0.5)^2 + |x_1^2 - x_2| + |x_1^2 - x_3|$\n",
    "\n",
    "в) найдите минимум этой функции устно\n",
    "\n",
    "г*) найдите минимум этой функции с помощью `minimize` (автор задачи тоже не знает решения)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "д) нарисуйте функцию fun "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Задачутка 2. Велика ты, правда, широка стоишь! Ты горами поднялась до поднебесья!\n",
    "\n",
    "(с) Алексей Толстой\n",
    "\n",
    "[Как известно](https://www.livelib.ru/quote/305456-malysh-i-karlson-kotoryj-zhivet-na-kryshe-astrid-lindgren), Фрекен Бок пьёт коньяк по утрам.\n",
    "\n",
    "![](http://semyarf.com/UPLOAD/2016/01/21/frekenbok-216_700_0.jpg)\n",
    "\n",
    "А у нас даже есть дневные данные (в граммах):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [],
   "source": [
    "y = [3.2, 7.9, 5.4, 4.9, 6.2, 4.3]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "а) Предполагая, что $y_i$ независимы и нормальны $N(\\mu, \\sigma^2)$ выпишите функцию правдоподобия.\n",
    "\n",
    "Чтобы гарантировать положительность параметра $\\sigma^2$ функция у нас будет зависеть от вектора параметров $\\theta$, причем $\\theta_1 = \\mu$, а $\\theta_2 = \\ln \\sigma^2$."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "б) Найдите экстремум функции правдоподобия"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "в) Получите тот же результат используя встроенный метод `stats.norm.fit`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Задачулечка 3. \n",
    "\n",
    "А ещё Фрекен-Бок иногда видит привидения! Данные по количеству привидений у нас тоже есть :)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "fbock = pd.DataFrame({'y': [3.2, 7.9, 5.4, 4.9, 6.2, 4.3], 'ghost': [1, 2, 0, 0, 2, 0]})"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Предположим, что количество привидений имеет пуассоновское распределение с параметром $\\lambda$. \n",
    "\n",
    "а) Оцените $\\lambda$ с помощью ММП:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Предположим, что в $i$-й день интенсивность пуассоновского распределения $\\lambda_i$ связана с количеством выпитого коньяка формулой $\\lambda_i = \\exp(a + b y_i)$.\n",
    "\n",
    "б) Оцените параметры $a$ и $b$, лапками выписав функцию правдоподобия. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Данная модель является довольно популярной и реализована в `statsmodels`.\n",
    "\n",
    "в) Сравните ваши результаты с результатами в `statsmodels`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Задачушка 4\n",
    "\n",
    "Предположим другую вероятностную модель. Теперь мы будем предполагать, что сам факт обнаружения хотя бы одного приведения, имеет вероятность $p_i$, зависящую от $y_i$:\n",
    "\n",
    "$p_i = \\exp(a + b y_i) / (1 + \\exp(a + b y_i))$\n",
    "\n",
    "а) Введите дамми-переменную равную 1, если Фрекен Бок видела приведение:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "б) Определив лапками функцию правдоподобия, оцените $a$ и $b$:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "в) Оцените $a$ и $b$ с помощью `statsmodels`. Нужная модель называется `logit`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}