11/lekce.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Úvod do A/B testování\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "from scipy import stats\n",
    "from statsmodels.stats.proportion import proportion_effectsize\n",
    "from statsmodels.stats.power import NormalIndPower, TTestIndPower\n",
    "import pandas as pd\n",
    "import seaborn as sns"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "## Co je A/B testování?\n",
    "\n",
    "A/B testování (neboli testování hypotéz) je experimentální metoda porovnávání dvou verzí jednoho prvku za účelem zjištění, která verze přináší lepší výsledky.\n",
    "\n",
    "Pomáhá organizacím lépe porozumět preferencím svých uživatelů a vyhodnotit vliv změn na chování uživatelů, identifikovat, která verze je efektivnější ve splnění stanovených cílů, jako je například zvýšení konverzí, zlepšení uživatelského zážitku nebo optimalizace klikatelnosti.\n",
    "\n",
    "Tato metoda je založena na náhodném rozdělení uživatelů nebo návštěvníků na dvě skupiny, kde jedna skupina (skupina A) vidí původní verzi a druhá skupina (skupina B) vidí upravenou verzi.\n",
    "\n",
    "A/B testování jako praktická metoda začalo získávat na popularitě v průběhu 20. století, zejména s rozvojem marketingových a psychologických studií v polovině 20. století. Skutečný boom však přišel s nástupem internetu a digitálního marketingu.\n",
    "\n",
    "\n",
    "### Příklady použití\n",
    "A/B testování hraje klíčovou roli v různých odvětvích, zejména v marketingu, web developmentu a produktovém vývoji. \n",
    "\n",
    "- V **marketingu** se A/B testování často využívá k optimalizaci e-mailových kampaní, reklamních sdělení a obsahových strategií na sociálních sítích, kde pomáhá zlepšovat míru otevření emailů, proklikovost a celkovou angažovanost uživatelů. \n",
    "- Ve **web developmentu** se tato metoda používá pro testování různých designových prvků, rozložení stránek nebo funkcionalit, aby se zvýšila míra konverze návštěvníků na zákazníky. \n",
    "- V **produktovém vývoji** se A/B testování aplikuje při zavádění nových funkcí nebo úpravách stávajících produktů, což umožňuje získat zpětnou vazbu od uživatelů a přijímat informovaná rozhodnutí na základě dat. \n",
    "\n",
    "<div class=\"alert alert-block alert-info\">\n",
    "<b>41 odstínů modré</b>\n",
    "\n",
    "Jeden z nejslavnějších příkladů A/B testování u Googlu je testování 41 různých odstínů modré barvy pro odkazové texty. \n",
    "\n",
    "Cílem bylo zjistit, který odstín modré přináší nejvyšší míru prokliknutí (CTR). \n",
    "\n",
    "Po rozsáhlém testování zjistili, že jeden konkrétní odstín přináší podstatně lepší výsledky, což vedlo ke zvýšení tržeb z reklamy o miliony dolarů.\n",
    "\n",
    "<i>Zdroj: __[theguardian.com](https://www.theguardian.com/technology/2014/feb/05/why-google-engineers-designers)__</i>\n",
    "</div>\n",
    "\n",
    "### Měli bychom dělat A/B testy?\n",
    "A/B testování je vhodné, pokud změna může mít **významný dopad na hospodářský výsledek** nebo pokud se jedná o nový produkt, kde je klíčové udělat správné rozhodnutí na první pokus. V případech, kdy je problém jednodušší, může být efektivnější použít jiné metody, jako je testování použitelnosti.\n",
    "\n",
    "### Můžeme  dělat A/B testy?\n",
    "To závisí na několika faktorech:\n",
    "- dostatečném počtu uživatelů pro získání statisticky významných dat, \n",
    "- dostupnosti systémů pro sběr a analýzu dat a\n",
    "- dostupnosti prostředků na vytvoření potřebné infrastruktury.\n",
    "\n",
    "<br>\n",
    "<br>\n",
    "\n",
    "<table><tr>\n",
    "<td> <img src=\"img/A-Crash-Course-on-A-B-Testing-3-320.jpg\" style=\"width: 250px;\"/> </td>\n",
    "<td> <img src=\"img/set-goal.jpg\"  style=\"width: 250px;\"/> </td>\n",
    "<td> <img src=\"img/if-you-can-ef7174c669.jpg\"  style=\"width: 250px;\"/> </td>\n",
    "<td> <img src=\"img/the-ab-test-e8c1494465.jpg\"  style=\"width: 250px;\"/> </td>\n",
    "</tr></table>\n",
    "\n",
    "---\n",
    "\n",
    "## Plánování A/B testu\n",
    "\n",
    "1.\t*Identifikace problému* \n",
    "     - Zjistili jsme, že mnoho uživatelů opouští nákupní košík před dokončením nákupu.\n",
    "2.\t*Konkrétní cíl* \n",
    "    - Zvýšit míru dokončení nákupu o 10%.\n",
    "3.\t*Výchozí hodnota* \n",
    "    - Současná míra dokončení nákupu je 40%.\n",
    "4.\t*Minimální detekovatelný efekt (MDE)* \n",
    "    - Chceme detekovat alespoň 5% nárůst.\n",
    "5.\t*Hypotéza* \n",
    "    - Pokud zjednodušíme proces nákupu a snížíme počet kroků na polovinu, zvýší se míra dokončení nákupu o 10%.\n",
    "6.\t*Dopad a proveditelnost* \n",
    "    - Máme dostatek zdrojů na implementaci a testování změny.\n",
    "7.\t*Nástroje* \n",
    "    - Použijeme Google Analytics nebo podobný nástroj pro sledování chování uživatelů na webu.\n",
    "\n",
    "## Návrh a implementace\n",
    "\n",
    "<div class=\"alert alert-block alert-warning\">\n",
    "<b>Vytvoření variant</b>\n",
    "\n",
    "Skupina A (kontrolní) je skupina uživatelů nebo návštěvníků, kteří vidí původní verzi testovaného prvku.\n",
    "\n",
    "Skupina B (experimentální) je skupina uživatelů nebo návštěvníků, kteří vidí upravenou verzi testovaného prvku.\n",
    "</div>\n",
    "\n",
    "*Můžete mít i více než dvě skupiny (např. skupiny C, D atd.) v testu, což se nazývá multivariační testování. Tento přístup umožňuje porovnávat více verzí současně a testovat různé kombinace změn. Takové testy jsou náročné na implementaci, množství dat a složité na interpretaci (izolace efektů).*\n",
    "\n",
    "### Randomizace a rozdělení vzorků\n",
    "    \n",
    "1. Jednoduchá randomizace\n",
    "    - Každý uživatel má stejnou pravděpodobnost, že bude zařazen do kterékoli skupiny. To je nejjednodušší forma randomizace.\n",
    "    - Výhody: Snadná implementace.\n",
    "    - Nevýhody: Může vést k nerovnováze ve velikosti skupin při malých vzorcích.\n",
    "2.\tBloková randomizace\n",
    "    - Uživatelé jsou rozděleni do bloků a každý blok je pak náhodně přiřazen ke skupině A nebo B.\n",
    "    - Výhody: Zajišťuje rovnoměrné rozdělení uživatelů mezi skupiny.\n",
    "    - Nevýhody: Složitější implementace než jednoduchá randomizace.\n",
    "    - Příklad: Máte bloky o velikosti 10 uživatelů. V každém bloku 5 uživatelů přiřadíte náhodně do skupiny A a 5 do skupiny B. Tento proces opakujete pro každý blok, dokud nejsou všichni uživatelé přiřazeni do jedné z testovaných skupin.\n",
    "3.\tStratifikovaná randomizace\n",
    "    - Uživatelé jsou nejprve rozděleni do strat (podle demografických nebo behaviorálních charakteristik) a pak náhodně rozděleni do skupin v rámci každé straty.\n",
    "    - Výhody: Zajišťuje, že různé segmenty populace jsou rovnoměrně zastoupeny v každé skupině.\n",
    "    - Nevýhody: Složitější na nastavení a vyžaduje více dat o uživatelích.\n",
    "    - Příklad: Máte dvě straty podle věku (18-30 a 31-50 let). Uživatelé v každé věkové straty jsou náhodně rozděleni mezi skupiny A a B.\n",
    "4.\tAdaptive randomization\n",
    "    - Dynamicky upravuje pravděpodobnost přiřazení uživatelů do skupin na základě předchozích výsledků testu.\n",
    "    - Výhody: Může zvýšit efektivitu testování a rychleji identifikovat nejlepší variantu.\n",
    "    - Nevýhody: Složitá implementace a může zavést zaujatost, pokud není správně řízená.\n",
    "\n",
    "### Délka testování\n",
    "Délka testu by měla být dostatečná k tomu, aby nasbírala dostatek dat k dosažení **statistické významnosti**. To znamená, že test musí probíhat dostatečně dlouho, aby se minimalizoval vliv náhodných výkyvů.\n",
    "\n",
    "Faktory ovlivňující délku testu:\n",
    "- Sezónnost a výkyvy\n",
    "    - Je důležité, aby test probíhal dostatečně dlouho, aby pokryl různé dny v týdnu a případně sezónní výkyvy, které mohou ovlivnit chování uživatelů.\n",
    "- Velikost efektu\n",
    "    - Menší změny vyžadují delší testování, protože je potřeba více dat k detekci malých rozdílů.\n",
    "- Počet variant\n",
    "    - Více variant v testu znamená, že potřebujete více dat, což může prodloužit dobu trvání testu.\n",
    "\n",
    "### Velikost skupin\n",
    "- Skupiny A a B by měly být přibližně stejně velké, což zajistí statistickou významnost a spolehlivost výsledků.\n",
    "- Pokud máte 10,000 uživatelů, ideálně by každá skupina měla mít 5,000 uživatelů.\n",
    "- V některých případech může být užitečné rozdělit uživatele v jiném poměru (např. 70:30), zejména pokud jedna varianta představuje výrazně menší riziko nebo náklady.\n",
    "- Poměr rozdělení může být také použit, pokud máte omezené zdroje nebo pokud chcete minimalizovat expozici k rizikovější variantě.\n",
    "\n",
    "Velikost skupin by měla být určena na základě statistických výpočtů, které zahrnují:\n",
    "- Výchozí míru konverze\n",
    "- Minimální detekovatelný efekt (MDE)\n",
    "- Hladinu významnosti (α), obvykle 0.05\n",
    "- Sílu testu (1-β), obvykle 0.80 (80% pravděpodobnost detekce skutečného efektu)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Potřebná velikost vzorku pro každou skupinu: 57755\n",
      "Celková potřebná velikost vzorku: 115511\n"
     ]
    }
   ],
   "source": [
    "# Definujte parametry testu\n",
    "baseline_conversion_rate = 0.10  # Současná hodnota konverzního poměru (10%)\n",
    "desired_conversion_rate = 0.105  # Očekávaná hodnota po změně (10.5%)\n",
    "alpha = 0.05  # Hladina významnosti (5%)\n",
    "power = 0.80  # Síla testu (80%)\n",
    "\n",
    "# Výpočet velikosti efektu (effect size)\n",
    "effect_size = proportion_effectsize(\n",
    "    baseline_conversion_rate, desired_conversion_rate)\n",
    "\n",
    "# Výpočet velikosti vzorku\n",
    "# Když plánujete použít nepárový t-test a vaše data možná nejsou zcela normálně distribuovaná nebo máte relativně malý vzorek, je vhodné použít TTestIndPower.\n",
    "# Naproti tomu NormalIndPower je vhodnější pro případy, kdy můžete předpokládat normálnost distribuce díky velkosti vzorku nebo když pracujete s parametry, které už jsou známy z minulých měření nebo literatury.\n",
    "sample_size_per_group = NormalIndPower().solve_power(\n",
    "    effect_size, power=power, alpha=alpha\n",
    ")\n",
    "\n",
    "# Celkový počet vzorků (A + B)\n",
    "total_sample_size = int(sample_size_per_group * 2)\n",
    "\n",
    "print(f\"Potřebná velikost vzorku pro každou skupinu: {int(sample_size_per_group)}\")\n",
    "print(f\"Celková potřebná velikost vzorku: {total_sample_size}\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Jednovýběrový test\n",
    "Porovnává průměr jednoho vzorku s předem známou hodnotou nebo průměrem populace.\n",
    "\n",
    "- Kontrola kvality: Porovnání průměrné délky vyrobených součástek s požadovanou normou (např. průměrná délka šroubů musí být 5 cm).\n",
    "- Akademické testování: Porovnání průměrného skóre studentů v testu s národním průměrem.\n",
    "- Zdravotnické studie: Porovnání průměrné hladiny cholesterolu u pacientů s národní normou.\n",
    "\n",
    "#### Dvojvýběrový test (nepárový)\n",
    "Porovnává průměry dvou nezávislých vzorků.\n",
    "\n",
    "- Marketingové kampaně: Porovnání průměrné míry kliknutí (CTR) dvou různých reklamních kampaní, aby zjistil, která je efektivnější.\n",
    "- Lékařské studie: Porovnání průměrného krevního tlaku dvou skupin pacientů, z nichž jedna dostává novou léčbu a druhá placebo, aby zjistili, zda je léčba účinná.\n",
    "- Průzkum trhu: Porovnání průměrné spokojenosti zákazníků dvou různých produktů, aby zjistila, který produkt je oblíbenější.\n",
    "\n",
    "#### Párový test\n",
    "Porovnává průměry dvou souvisejících vzorků, například před a po nějaké intervenci.\n",
    "\n",
    "- Před a po testování: Porovnání průměrné hmotnosti skupiny klientů před začátkem cvičebního programu a po jeho dokončení.\n",
    "- Lékařské intervence: Porovnání průměrné hladiny cukru v krvi u pacientů před a po podání nové léčby.\n",
    "- Výzkum v oblasti vzdělávání: Porovnání průměrných výsledků testů studentů před a po implementaci nového výukového programu"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---\n",
    "<img src=\"img/it-is-time-718de29ca9.jpg\">\n",
    "\n",
    "## Vyhodnocování výsledků A/B testů\n",
    "\n",
    "\n",
    "### Gossetovo rozdělení (Studentovo t-rozdělení)\n",
    "<div class=\"alert alert-block alert-info\">\n",
    "<b>William Gosset</b> \n",
    "\n",
    "William Sealy Gosset, známý pod pseudonymem “Student,” byl statistik, který významně přispěl k rozvoji statistických metod použitých v A/B testování. \n",
    "\n",
    "Pracoval pro pivovar Guinness 🍺, kde se potýkal s problémy spojenými s malými vzorky dat. Aby tyto problémy vyřešil, vyvinul v roce 1908 Studentův t-test, což je statistická metoda používaná k testování hypotéz, zejména při porovnávání dvou průměrů, což je klíčový nástroj v A/B testování.\n",
    "</div>\n",
    "\n",
    "Studentovo t-rozdělení je rozdělení pravděpodobnosti, které se používá při odhadu průměru malých vzorků, zejména když je směrodatná odchylka populace neznámá a je nahrazena směrodatnou odchylkou vzorku.\n",
    "\n",
    "- T-rozdělení má tvar podobný normálnímu rozdělení, ale s těžšími ocasy, což znamená větší pravděpodobnost výskytu extrémních hodnot.\n",
    "- Rozdělení se zužuje k normálnímu rozdělení, jak se velikost vzorku zvětšuje (když (n) směřuje k nekonečnu).\n",
    "\n",
    "\n",
    "<img src=\"img/t-distribution.png\" style=\"width: 700px;\">\n",
    "\n",
    "\n",
    "### T-test & Z-test\n",
    "T-test a Z-test jsou statistické testy používané k porovnání průměrů dvou vzorků.\n",
    "\n",
    "<img src=\"img/diagram.png\" style=\"width: 700px;\">\n",
    "\n",
    "<br>\n",
    "<br>\n",
    "\n",
    "|                       | Z-test                                                         | T-test                                                        |\n",
    "|-----------------------|----------------------------------------------------------------|---------------------------------------------------------------|\n",
    "| Velikost dat          | Velikost dat je větší než 30                                   | Velikost dat je menší než 30                                  |\n",
    "| Datové body           | Datové body nejsou vzájemně závislé                            | Datové body mohou být vzájemně závislé, chování nebo hodnota jednoho bodu může ovlivnit jiný bod |\n",
    "| Distribuce            | Data jsou normálně rozložena (pokud velikost dat > 30)         | Data nejsou normálně rozložena                                |\n",
    "| Výběr dat             | Data byla náhodně vybrána z širší populace                     | Data nebyla náhodně vybrána                                   |\n",
    "| Velikost vzorků       | Velikost vzorků by měla být pokud možno stejná                 | Velikost vzorků není stejná                                   |\n",
    "\n",
    "\n",
    "YouTube: __[Statistics: Compare the Normal distribution to the t-distribution](https://www.youtube.com/watch?v=xcKKL3-bwss)__\n",
    "\n",
    "\n",
    "\n",
    "### Vyhodnocování p-hodnoty a statistické významnosti\n",
    "1.\tStanovení nulové a alternativní hypotézy:\n",
    "    - Nulová hypotéza (H₀): Předpoklad, že neexistuje žádný rozdíl nebo efekt. Například, že průměry dvou skupin jsou stejné.\n",
    "    - Alternativní hypotéza (H₁): Předpoklad, že existuje rozdíl nebo efekt. Například, že průměry dvou skupin jsou různé.\n",
    "2.\tVýběr hladiny významnosti (α):\n",
    "    - Typická hladina významnosti je 0.05 (5%), ale může být nastavena na 0.01 (1%) nebo jinou hodnotu v závislosti na kontextu.\n",
    "    - Hladina významnosti (α) představuje práh, pod kterým je p-hodnota považována za statisticky významnou.\n",
    "3.\tPorovnání p-hodnoty s hladinou významnosti:\n",
    "    - Pokud p-hodnota ≤ α, odmítáme nulovou hypotézu a výsledky jsou považovány za statisticky významné.\n",
    "    - Pokud p-hodnota > α, nepodaří se nám odmítnout nulovou hypotézu a výsledky nejsou považovány za statisticky významné.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Jednovýběrový t-test: t-stat = -0.28, p-value = 0.77809\n",
      "Dvojvýběrový t-test (nepárový): t-stat = -4.76, p-value = 0.00001\n",
      "Párový t-test: t-stat = 5.43, p-value = 0.00559\n"
     ]
    }
   ],
   "source": [
    "# Nastavení pro reprodukovatelnost\n",
    "np.random.seed(0)\n",
    "\n",
    "# Jednovýběrový t-test\n",
    "sample_data = np.random.normal(loc=5.0, scale=1.0, size=30)\n",
    "population_mean = 5.5\n",
    "t_stat_one_sample, p_value_one_sample = stats.ttest_1samp(\n",
    "    sample_data, population_mean)\n",
    "print(\n",
    "    f\"Jednovýběrový t-test: t-stat = {\n",
    "        t_stat_one_sample:.2f}, p-value = {p_value_one_sample:.5f}\"\n",
    ")\n",
    "\n",
    "# Dvojvýběrový t-test (nepárový)\n",
    "group_A = np.random.normal(loc=5.0, scale=1.0, size=30)\n",
    "group_B = np.random.normal(loc=6.0, scale=1.0, size=30)\n",
    "t_stat_ind, p_value_ind = stats.ttest_ind(group_A, group_B)\n",
    "print(\n",
    "    f\"Dvojvýběrový t-test (nepárový): t-stat = {\n",
    "        t_stat_ind:.2f}, p-value = {p_value_ind:.5f}\"\n",
    ")\n",
    "\n",
    "# Párový t-test\n",
    "before_treatment = np.array([200, 195, 198, 205, 202])\n",
    "after_treatment = np.array([180, 190, 185, 188, 183])\n",
    "t_stat_paired, p_value_paired = stats.ttest_rel(\n",
    "    before_treatment, after_treatment)\n",
    "print(\n",
    "    f\"Párový t-test: t-stat = {t_stat_paired:.2f}, p-value = {p_value_paired:.5f}\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "\n",
    "T-statistika měří, jak výrazný je rozdíl mezi průměry ve vztahu k variabilitě v datech. V podstatě se jedná o standardizovaný rozdíl mezi průměry.\n",
    "\n",
    "1.\tHodnota t-stat je velká (pozitivní nebo negativní):\n",
    "\t- Velká absolutní hodnota t-statistiky (například > 2 nebo < -2) znamená, že rozdíl mezi průměry je relativně velký vzhledem k variabilitě dat.\n",
    "\t- To naznačuje, že je nepravděpodobné, že by tento rozdíl byl způsoben náhodou.\n",
    "2.\tHodnota t-stat je blízká nule:\n",
    "\t- Hodnota t-statistiky blízká nule (například mezi -2 a 2) znamená, že rozdíl mezi průměry je malý vzhledem k variabilitě dat.\n",
    "\t- To naznačuje, že rozdíl může být způsoben náhodou.\n",
    "\n",
    "Znaménko t-statistiky závisí na tom, zda je první průměr větší nebo menší než druhý průměr.\n",
    "\n",
    "<img src=\"img/output.png\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Jak postupovat po A/B testování a jak implementovat změny\n",
    "\n",
    "**1. Analýza a interpretace dat**\n",
    "   - **Vyvoďte závěry**: Po ukončení sběru dat analyzujte výsledky a zjistěte, zda jsou statisticky významné. Rozhodněte, zda data podporují nulovou hypotézu (H0) nebo alternativní hypotézu (H1).\n",
    "   - **Kontextualizace výsledků**: Posuďte, jak výsledky A/B testu korelují s obchodními cíli a očekáváními. Ne všechny statisticky významné výsledky mohou mít významný dopad na obchodní výsledky.\n",
    "\n",
    "**2. Rozhodnutí o implementaci**\n",
    "   - **Rozhodnutí na základě dat**: Pokud data ukazují jasný vítěz, rozhodněte se, zda a jak implementovat změnu v širším měřítku.\n",
    "   - **Iterativní zlepšení**: Pokud výsledky nejsou jednoznačné nebo ukazují pouze malý rozdíl, zvažte další iterace testu s upravenými proměnnými.\n",
    "\n",
    "**3. Implementace a monitorování**\n",
    "   - **Plán implementace**: Vytvořte plán pro implementaci změny, zahrnující časový harmonogram, potřebné zdroje a komunikaci se zainteresovanými stranami.\n",
    "   - **Monitorování po implementaci**: Sledujte klíčové metriky po implementaci, abyste se ujistili, že změna dosahuje očekávaných výsledků a nezpůsobuje nežádoucí vedlejší efekty.\n",
    "\n",
    "**4. Sdílení poznatků**\n",
    "   - **Komunikace s týmem**: Sdílejte poznatky a úspěchy z A/B testování s týmem a dalšími odděleními ve firmě.\n",
    "   - **Dokumentace**: Zaznamenejte procesy, výsledky a získané lekce pro budoucí reference.\n",
    "\n",
    "### Nejčastější chyby při A/B testování\n",
    "\n",
    "**1. Nedostatečná velikost vzorku**\n",
    "   - Mnoho testů selže, protože nejsou řádně dimenzované pro detekci efektů dané velikosti. Toto vede k nedostatečné statistické síle.\n",
    "\n",
    "**2. Špatně definované cílové metriky**\n",
    "   - Nejasné nebo nevhodně zvolené metriky mohou vést k nesprávným závěrům. Je důležité vybrat metriky, které přímo odrážejí cíle testu.\n",
    "\n",
    "**3. Ignorování sezónnosti a externích faktorů**\n",
    "   - Vliv externích událostí nebo sezónních faktorů může zkreslit výsledky A/B testu. Je důležité analyzovat a očistit data, která mohou být ovlivněna externími faktory.\n",
    "\n",
    "**4. Předčasné ukončení testu**\n",
    "   - Ukončení testu před dosažením statistické významnosti nebo předtím, než jsou data stabilní, může vést k náhodným výsledkům.\n",
    "\n",
    "**5. Nedostatečné randomizace**\n",
    "   - Správná randomizace zajišťuje, že každý účastník má stejnou šanci být zařazen do jakékoli skupiny. Chyby v randomizaci mohou vést k zkresleným výsledkům.\n",
    "\n",
    "**6. Vícenásobné porovnávání a p-hacking**\n",
    "   - Prohlížení dat a opakované testování různých hypotéz bez úpravy na vícenásobné porovnávání může vést k nesprávné interpretaci významnosti.\n",
    "\n",
    "\n",
    "<img src=\"img/0*NDTRzzIEp8OSN7oV.png\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "## Případová studie: Analýza vlivu diety na hladiny cholesterolu\n",
    "\n",
    "Zdravotní výzkumníci chtějí zjistit, zda speciální dieta má významný vliv na hladiny cholesterolu u pacientů. Studie byla provedena na dvou skupinách pacientů:\n",
    "\n",
    "1.\tExperimentální skupina: Pacienti, kteří dodržovali speciální dietu.\n",
    "2.\tKontrolní skupina: Pacienti, kteří nedodržovali žádnou dietu.\n",
    "\n",
    "**Přínos studie**\n",
    "Studie pomůže zjistit, zda speciální dieta může účinně snížit hladiny cholesterolu, což by mohlo vést k novým doporučením pro pacienty s vysokým cholesterolem a snížit riziko srdečních chorob.\n",
    "\n",
    "**Data:**\n",
    "- before_diet: Hladiny cholesterolu pacientů před začátkem diety.\n",
    "- after_diet: Hladiny cholesterolu pacientů po skončení diety.\n",
    "- control: Hladiny cholesterolu pacientů v kontrolní skupině, kteří nedodržovali žádnou dietu.\n",
    "\n",
    "**Formulace hypotézy**\n",
    "\n",
    "1.\tJednovýběrový t-test:\n",
    "    - Nulová hypotéza (H₀): Průměrná hladina cholesterolu v kontrolní skupině je stejná jako populační průměr (190 mg/dl).\n",
    "    - Alternativní hypotéza (H₁): Průměrná hladina cholesterolu v kontrolní skupině se liší od populačního průměru.\n",
    "1.\tDvojvýběrový t-test (nepárový):\n",
    "    - Nulová hypotéza (H₀): Průměrná hladina cholesterolu v experimentální skupině po dietě je stejná jako v kontrolní skupině.\n",
    "    - Alternativní hypotéza (H₁): Průměrná hladina cholesterolu v experimentální skupině po dietě je nižší než v kontrolní skupině.\n",
    "1.\tPárový t-test:\n",
    "    - Nulová hypotéza (H₀): Průměrná hladina cholesterolu před a po dietě je stejná.\n",
    "    - Alternativní hypotéza (H₁): Průměrná hladina cholesterolu po dietě je nižší než před dietou.\n",
    "\n",
    "\n",
    "\n",
    "**Délka testu**\n",
    "\n",
    "Délka testu je stanovena na 3 měsíce, aby se zajistilo, že dieta má dostatek času na ovlivnění hladin cholesterolu.\n",
    "\n",
    "**Způsob randomizace**\n",
    "\n",
    "Pacienti byli náhodně rozděleni do experimentální a kontrolní skupiny pomocí jednoduché náhodné randomizace. Každý pacient měl stejnou pravděpodobnost být přiřazen do kterékoliv skupiny.\n",
    "\n",
    "**Výpočet velikosti vzorku a MDE (Minimální detekovatelný efekt)**\n",
    "\n",
    "Pro výpočet velikosti vzorku a MDE použijeme následující parametry:\n",
    "\n",
    "- Power (síla testu): 0.8 (80%)\n",
    "- Alfa (hladina významnosti): 0.05\n",
    "- Standardní odchylka (σ): 30 (předpokládaná odchylka hladin cholesterolu)\n",
    "\n",
    "Budeme předpokládat minimální detekovatelný efekt (MDE) ve výši 20 mg/dl."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Velikost vzorku na skupinu: 37\n"
     ]
    }
   ],
   "source": [
    "# Kód pro výpočet velikosti vzorku\n",
    "\n",
    "# Parametry pro výpočet velikosti vzorku\n",
    "effect_size = 20 / 30  # MDE / σ\n",
    "alpha = 0.05\n",
    "power = 0.8\n",
    "\n",
    "# Výpočet velikosti vzorku\n",
    "analysis = TTestIndPower()\n",
    "sample_size = analysis.solve_power(\n",
    "    effect_size=effect_size, alpha=alpha, power=power, alternative=\"two-sided\"\n",
    ")\n",
    "print(f\"Velikost vzorku na skupinu: {int(np.ceil(sample_size))}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Generování náhodných dat pro případovou studii\n",
    "np.random.seed(0)\n",
    "before_diet = np.random.normal(loc=200, scale=30, size=30)\n",
    "after_diet = before_diet - np.random.normal(\n",
    "    loc=20, scale=10, size=30\n",
    ")  # Předpokládáme pokles po dietě\n",
    "control = np.random.normal(loc=200, scale=30, size=30)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Párový t-test: t-stat = 10.25, p-value = 0.00000\n",
      "Dvojvýběrový t-test (nepárový): t-stat = 0.02, p-value = 0.98189\n",
      "Jednovýběrový t-test: t-stat = 1.13, p-value = 0.26653\n"
     ]
    }
   ],
   "source": [
    "# 1. Párový t-test: Porovnání před a po dietě\n",
    "t_stat_paired, p_value_paired = stats.ttest_rel(before_diet, after_diet)\n",
    "print(\n",
    "    f\"Párový t-test: t-stat = {t_stat_paired:.2f}, p-value = {p_value_paired:.5f}\")\n",
    "\n",
    "# 2. Dvojvýběrový t-test (nepárový): Porovnání experimentální a kontrolní skupiny po dietě\n",
    "t_stat_ind, p_value_ind = stats.ttest_ind(after_diet, control)\n",
    "print(\n",
    "    f\"Dvojvýběrový t-test (nepárový): t-stat = {\n",
    "        t_stat_ind:.2f}, p-value = {p_value_ind:.5f}\"\n",
    ")\n",
    "\n",
    "# 3. Jednovýběrový t-test: Porovnání kontrolní skupiny s populačním průměrem (např. 190)\n",
    "population_mean = 190\n",
    "t_stat_one_sample, p_value_one_sample = stats.ttest_1samp(\n",
    "    control, population_mean)\n",
    "print(\n",
    "    f\"Jednovýběrový t-test: t-stat = {\n",
    "        t_stat_one_sample:.2f}, p-value = {p_value_one_sample:.5f}\"\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"img/output2.png\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Interpretace výsledků**\n",
    "\n",
    "1.\tJednovýběrový t-test:\n",
    "    - Hypotéza: Hladiny cholesterolu v kontrolní skupině se liší od populačního průměru.\n",
    "    - Výsledky: Pokud je p-hodnota < 0.05, odmítáme nulovou hypotézu a přijímáme, že průměrná hladina cholesterolu v kontrolní skupině se liší od populačního průměru.\n",
    "2.\tDvojvýběrový t-test (nepárový):\n",
    "    - Hypotéza: Hladiny cholesterolu v experimentální skupině po dietě jsou nižší než v kontrolní skupině.\n",
    "    - Výsledky: Pokud je p-hodnota < 0.05, odmítáme nulovou hypotézu a přijímáme, že existuje významný rozdíl mezi hladinami cholesterolu po dietě a v kontrolní skupině.\n",
    "3.\tPárový t-test:\n",
    "    - Hypotéza: Hladiny cholesterolu po dietě jsou nižší než před dietou.\n",
    "    - Výsledky: Pokud je p-hodnota < 0.05, odmítáme nulovou hypotézu a přijím"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Čtení na doma\n",
    "- __[The ultimate guide to A/B testing](https://medium.com/swlh/the-ultimate-guide-to-a-b-testing-part-1-experiment-design-8315a2470c63)__"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "## Cvičení: A/B testování s hrou Cookie Cats\n",
    "\n",
    "**Cíl:** Provést A/B testování pro zjištění, jak změna v herním designu ovlivňuje míru retence hráčů ve hře Cookie Cats po 7 dnech od instalace.\n",
    "\n",
    "**Dataset:** \"Mobile Games A/B Testing - Cookie Cats\", který obsahuje data o hráčích, včetně toho, do které skupiny (A nebo B) byli přiřazeni a zda hráči zůstali ve hře po určité herní události.\n",
    "\n",
    "[Download data](https://www.kaggle.com/datasets/mursideyarkin/mobile-games-ab-testing-cookie-cats/data)\n",
    "\n",
    "- **userid**: Unikátní identifikátor hráče.\n",
    "- **version**: Skupina A/B testu, kde 'gate_30' a 'gate_40' značí různé herní nastavení.\n",
    "- **sum_gamerounds**: Celkový počet kol, které hráč odehrál během prvního týdne po instalaci.\n",
    "- **retention_1**: Indikátor, zda se hráč vrátil hrát hru 1 den po instalaci (True/False).\n",
    "- **retention_7**: Indikátor, zda se hráč vrátil hrát hru 7 dní po instalaci (True/False).\n",
    "\n",
    "### Krok 1: Příprava dat\n",
    "1. **Načtení dat:** Použijte Python a knihovnu pandas k načtení datasetu `cookie_cats.csv`.\n",
    "2. **Prozkoumání dat:** Použijte funkce `head()`, `info()`, a `describe()` k získání přehledu o datových typech a možných chybějících hodnotách.\n",
    "3. **Čištění dat:** Zkontrolujte data na případné duplicity nebo chybějící hodnoty a vyřešte tyto problémy.\n",
    "\n",
    "### Krok 2: Rozdělení dat\n",
    "1. **Ověření skupin:** Ujistěte se, že data obsahují jasně rozlišené skupiny A a B a že každý záznam je přiřazen jen do jedné skupiny.\n",
    "2. **Rovnováha mezi skupinami:** Zkontrolujte, zda je počet hráčů v obou skupinách vyvážený.\n",
    "\n",
    "### Krok 3: Statistická analýza\n",
    "1. **Stanovení hypotéz:**\n",
    "   - **H0 (nulová hypotéza):** Neexistuje žádný rozdíl v míře retence mezi skupinou A a B.\n",
    "   - **H1 (alternativní hypotéza):** Existuje statisticky významný rozdíl v míře retence mezi skupinou A a B.\n",
    "2. **Výpočet míry retence:** Pro každou skupinu vypočítejte míru retence jako poměr počtu hráčů, kteří zůstali ve hře, ku celkovému počtu hráčů ve skupině.\n",
    "3. **Provedení A/B testu:** Použijte z-test nebo t-test k porovnání míry retence mezi oběma skupinami.\n",
    "\n",
    "### Krok 4: Interpretace výsledků\n",
    "1. **Vyhodnocení p-hodnoty a statistické významnosti:** Na základě výsledků testu určete, zda zamítnout nulovou hypotézu.\n",
    "2. **Diskuze:** Interpretujte výsledky a diskutujte o možných důvodech pro pozorované rozdíly.\n",
    "\n",
    "### Krok 5: Vizualizace a závěry\n",
    "1. **Vizualizace výsledků:** Použijte knihovny jako matplotlib nebo seaborn k vizualizaci míry retence ve skupinách A a B.\n",
    "2. **Závěry a doporučení:** Formulujte závěry a navrhněte, jak by se dalo na základě výsledků A/B testu postupovat.\n",
    "\n",
    "### Bonusový úkol\n",
    "1. **Výpočet síly testu (Statistical Power):** Určete, zda byla velikost vzorku dostatečná k odhalení skutečného efektu, pokud existuje.\n",
    "2. **Reflexe metodologie:** Navrhněte možná vylepšení pro budoucí A/B testy na základě této zkušenosti."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.12.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}