08_敵対的生成モデル(GAN).ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 敵対的生成モデル(GAN)\n",
    "\n",
    "**お互いが切磋琢磨しながら成長していくニューラルネットワーク**\n",
    "\n",
    "### 偽札と偽札判別機\n",
    "\n",
    "よく例えられるのが、**「偽札と偽札判別機」**　です。\n",
    "2つのニューラルネットワークを生成し、それぞれ成長していきます。\n",
    "\n",
    "+ ジェネレーター（generator）：偽札を作ります。\n",
    "+ ディスクリミネータ（discriminator）：偽札を見破ります。（偽札判別機）\n",
    "\n",
    "＊画像認識の場面でよく用いられるので、勘違いされがちですが、CNNのような2次元構造ではなく、ジェネレーターもディスクリミネータも通常のニューラルネットです。\n",
    "\n",
    "### GANで出来る事\n",
    "下記の画像は、一見、手書き数字のようですが、これは、ニューラルネットが自ら生成した画像です。\n",
    "<img src=\"./images/gan_generated_image_epoch_80.png\"  width=\"30%\" style=\"position:relative;left:-35%;\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 学習の流れ\n",
    "\n",
    "<img src=\"./images/gan.png\"  width=\"80%\" style=\"position:relative;left:-10%;\">\n",
    "\n",
    "ジェネレータとディスクリミネータを「敵対的に」学習させていきます。\n",
    "\n",
    "## 学習順序\n",
    "\n",
    "### 1.本物のお札と偽物のお札を用意します\n",
    "+ 実際のデータのベクトル：正解ラベルを1とする\n",
    "+ ランダムなベクトルを生成し、ジェネレータに渡し、生成した偽ベクトル：正解ラベルを0とする\n",
    "\n",
    "### 2.上記2つのベクトルを用いて、ディスクリミネータを学習させる\n",
    "\n",
    "**→ディスクリミネータが、本物のお札と偽札を見分けられるようになります。**\n",
    "\n",
    "### 3.ディスクリミネータの学習を無効にする\n",
    "\n",
    "### 4.ランダムなベクトル：正解ラベルを1とする\n",
    "\n",
    "### 5.GANの入力ベクトルとして、4で生成したベクトルを渡し、ジェネレータを学習させる\n",
    "\n",
    "+ **ディスクリミネータは、「ジェネレータが生成したベクトル（偽物のお札）」に対しては、0を出力するように学習している。**\n",
    "\n",
    "+ **ディスクリミネータは、「実際のベクトル（本物のお札）」に対しては、1を出力するように学習している。**\n",
    "\n",
    "+ **4.で生成したベクトルの正解ラベルは1に設定してあるので、ジェネレータは、ディスクリミネータが「実際のデータのベクトル（本物のお札）」が入力されたと勘違いするように偽データを生み出します。**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n"
     ]
    }
   ],
   "source": [
    "# 必要ライブラリのimport\n",
    "import numpy as np\n",
    "from tqdm import tqdm # 進捗状況可視化\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "from keras.layers import Input\n",
    "from keras.models import Model, Sequential\n",
    "from keras.layers.core import Dense,Dropout\n",
    "from keras.layers.advanced_activations import LeakyReLU\n",
    "from keras.layers.convolutional import Convolution2D\n",
    "from keras.layers.normalization import BatchNormalization\n",
    "from keras.datasets import mnist\n",
    "from keras import optimizers\n",
    "from keras import losses\n",
    "from keras import initializers"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## データセットの作成\n",
    "\n",
    "今回はMNISTを使用します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 読み込み\n",
    "(X_train, y_train), (X_test, y_test) = mnist.load_data()\n",
    "# -1~1の値域に変形\n",
    "X_train = (X_train.astype(np.float32) - 127.5)/127.5\n",
    "# フラットにする\n",
    "X_train = X_train.reshape(60000, 784)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## ジェネレータ―の生成\n",
    "\n",
    "+ 入力：100(ランダムな数値の入力ベクトル)\n",
    "\n",
    "+ 出力：784(28×28の画像をフラット化させたベクトル)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "generator = Sequential()\n",
    "generator.add(Dense(256, input_dim=100, kernel_initializer=initializers.RandomNormal(stddev=0.02)))\n",
    "generator.add(LeakyReLU(0.2))\n",
    "generator.add(Dense(512))\n",
    "generator.add(LeakyReLU(0.2))\n",
    "generator.add(Dense(1024))\n",
    "generator.add(LeakyReLU(0.2))\n",
    "generator.add(Dense(784, activation='tanh'))\n",
    "generator.compile(\n",
    "    loss=losses.binary_crossentropy, \n",
    "    optimizer=optimizers.Adam(lr=0.0002, beta_1=0.5)\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## ディスクリミネータの生成\n",
    "\n",
    "+ 入力：784(28×28の画像をフラット化させたベクトル)\n",
    "+ 出力：1（画像が正規のデータか否か）"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "discriminator = Sequential()\n",
    "discriminator.add(Dense(1024, input_dim=784, kernel_initializer=initializers.RandomNormal(stddev=0.02)))\n",
    "discriminator.add(LeakyReLU(0.2))\n",
    "discriminator.add(Dropout(0.3))\n",
    "discriminator.add(Dense(512))\n",
    "discriminator.add(LeakyReLU(0.2))\n",
    "discriminator.add(Dropout(0.3))\n",
    "discriminator.add(Dense(256))\n",
    "discriminator.add(LeakyReLU(0.2))\n",
    "discriminator.add(Dropout(0.3))\n",
    "discriminator.add(Dense(1, activation='sigmoid'))\n",
    "discriminator.compile(\n",
    "    loss=losses.binary_crossentropy, \n",
    "    optimizer=optimizers.Adam(lr=0.0002, beta_1=0.5)\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## ジェネレータとディスクリミネータの結合\n",
    "## (GAN生成)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "# GAN内でのディスクリミネータは学習させない\n",
    "discriminator.trainable = False\n",
    "\n",
    "# ジェネレータ―の入力\n",
    "ganInput = Input(shape=(100,))\n",
    "x = generator(ganInput)\n",
    "\n",
    "# ディスクリミネータの入力\n",
    "ganOutput = discriminator(x)\n",
    "\n",
    "# 結合モデルの作成（100　→　1）\n",
    "gan = Model(inputs=ganInput, outputs=ganOutput)\n",
    "\n",
    "# コンパイル\n",
    "gan.compile(\n",
    "    loss=losses.binary_crossentropy, \n",
    "    optimizer=optimizers.Adam(lr=0.0002, beta_1=0.5)\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 関数定義\n",
    "\n",
    "+ 生成画像描画\n",
    "+ モデル保存"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "def plotGeneratedImages(epoch, examples=100, dim=(10, 10), figsize=(10, 10)):\n",
    "    \"\"\"現在の生成された画像を表示\n",
    "    引数：\n",
    "    　epoch：現在の学習回数\n",
    "    　examples：描画するサンプル数\n",
    "    　dim：縦数×横数\n",
    "    　figsize：1画像のサイズ\n",
    "    返り値：\n",
    "    処理概要：\n",
    "    　デフォルトだと、10×10ピクセルのMNIST画像を、10×10個ずつ合計100個並べた画像を出力する\n",
    "    \"\"\"\n",
    "    # 生成したい画像の数のベクトル生成（100×100）\n",
    "    noise = np.random.normal(0, 1, size=[examples, 100])\n",
    "    \n",
    "    # 上記のランダムな配列から、配列生成（100×784）\n",
    "    generatedImages = generator.predict(noise)\n",
    "    \n",
    "    # 2次元に変換（100×28×28）\n",
    "    generatedImages = generatedImages.reshape(examples, 28, 28)\n",
    "    \n",
    "    # 画像生成\n",
    "    plt.figure(figsize=figsize)\n",
    "    for i in range(generatedImages.shape[0]):# 100枚描画\n",
    "        plt.subplot(dim[0], dim[1], i+1)\n",
    "        plt.imshow(generatedImages[i], interpolation='nearest', cmap='gray_r')\n",
    "        plt.axis('off')\n",
    "    plt.tight_layout()\n",
    "    plt.savefig('images/gan_generated_image_epoch_%d.png' % epoch)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "def saveModels(epoch):\n",
    "    \"\"\"モデルを保存する\n",
    "    引数：\n",
    "    　epoch：現在の学習回数\n",
    "    処理概要：\n",
    "    　\n",
    "    \"\"\"\n",
    "    generator.save('model/gan_generator_epoch_%d.h5' % epoch)\n",
    "    discriminator.save('model/gan_discriminator_epoch_%d.h5' % epoch)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "  2%|█▍                                                                                | 9/500 [00:00<00:05, 83.31it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 0 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 96.82it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 95.23it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 1 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.29it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 95.22it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 2 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.22it/s]\n",
      "  2%|█▊                                                                               | 11/500 [00:00<00:04, 99.10it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 3 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.14it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 98.02it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 4 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.25it/s]\n",
      "  2%|█▊                                                                              | 11/500 [00:00<00:04, 101.82it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 5 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 99.19it/s]\n",
      "  2%|█▊                                                                              | 11/500 [00:00<00:04, 100.90it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 6 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 99.12it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:04, 98.20it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 7 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.87it/s]\n",
      "  2%|█▊                                                                              | 11/500 [00:00<00:04, 100.92it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 8 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 99.09it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 95.22it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 9 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.52it/s]\n",
      "  2%|█▊                                                                              | 11/500 [00:00<00:04, 101.85it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 10 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.66it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 98.04it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 11 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.17it/s]\n",
      "  2%|█▊                                                                              | 11/500 [00:00<00:04, 100.00it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 12 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 95.97it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 99.97it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 13 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.57it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 99.01it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 14 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.47it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:04, 98.61it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 15 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.81it/s]\n",
      "  2%|█▊                                                                              | 11/500 [00:00<00:04, 100.95it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 16 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.89it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 98.97it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 17 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.64it/s]\n",
      "  2%|█▊                                                                              | 11/500 [00:00<00:04, 100.89it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 18 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.05it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 95.22it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 19 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.39it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:04, 98.99it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 20 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.35it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 99.01it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 21 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.82it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:04, 97.73it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 22 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.14it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:04, 98.32it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 23 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.79it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 99.98it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 24 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.72it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 98.04it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 25 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.36it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:04, 99.98it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 26 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.43it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 99.98it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 27 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.61it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 97.09it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 28 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.39it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 98.04it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 29 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 96.82it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 98.02it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 30 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.52it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 93.45it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 31 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 95.80it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:04, 97.44it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 32 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.39it/s]\n",
      "  2%|█▌                                                                              | 10/500 [00:00<00:04, 100.00it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 33 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 96.86it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 98.99it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 34 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 96.63it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 95.21it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 35 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.04it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 96.13it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 36 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 96.90it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:04, 96.42it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 37 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.28it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:04, 97.68it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 38 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.56it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 96.13it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 39 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.20it/s]\n",
      "  2%|█▊                                                                              | 11/500 [00:00<00:04, 100.89it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 40 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.38it/s]\n",
      "  2%|█▊                                                                              | 11/500 [00:00<00:04, 100.89it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 41 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.01it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 96.13it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 42 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.64it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:04, 97.36it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 43 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.43it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 98.02it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 44 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.02it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 96.13it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 45 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.67it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 96.16it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 46 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 96.96it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:05, 95.62it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 47 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.69it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 98.98it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 48 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.46it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:04, 98.98it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 49 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.11it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 97.11it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 50 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.39it/s]\n",
      "  2%|█▊                                                                              | 11/500 [00:00<00:04, 100.90it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 51 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.97it/s]\n",
      "  2%|█▊                                                                              | 11/500 [00:00<00:04, 100.00it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 52 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.73it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 98.00it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 53 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.76it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 97.06it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 54 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 98.01it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:04, 98.99it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 55 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 97.24it/s]\n",
      "  2%|█▊                                                                               | 11/500 [00:00<00:04, 99.97it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 56 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 95.74it/s]\n",
      "  2%|█▌                                                                               | 10/500 [00:00<00:05, 96.15it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 57 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 95.79it/s]\n",
      "  4%|███▏                                                                             | 20/500 [00:00<00:04, 96.14it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 58 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [00:05<00:00, 94.98it/s]\n",
      "  4%|██▉                                                                              | 18/500 [00:00<00:05, 85.55it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 59 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:05<00:00,  7.66it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:13,  6.80it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 60 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:15<00:00,  6.64it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:22,  6.06it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 61 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:18<00:00,  6.41it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:13,  6.80it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 62 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:15<00:00,  6.63it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:18,  6.33it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 63 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:15<00:00,  6.65it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:20,  6.21it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 64 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:16<00:00,  6.53it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<00:58,  8.47it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 65 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:14<00:00,  6.68it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:17,  6.41it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 66 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:14<00:00,  6.70it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:21,  6.10it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 67 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:14<00:00,  6.68it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:16,  6.54it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 68 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:14<00:00,  6.70it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:06,  7.52it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 69 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:15<00:00,  6.63it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:15,  6.62it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 70 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:15<00:00,  6.62it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:17,  6.45it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 71 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:14<00:00,  6.72it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:12,  6.89it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 72 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:15<00:00,  6.59it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:16,  6.54it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 73 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:15<00:00,  6.65it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:20,  6.17it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 74 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:15<00:00,  6.64it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:20,  6.21it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 75 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:15<00:00,  6.63it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:14,  6.71it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 76 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:15<00:00,  6.66it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:15,  6.58it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 77 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:14<00:00,  6.70it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:06,  7.46it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 78 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:14<00:00,  6.67it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:16,  6.49it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 79 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 500/500 [01:14<00:00,  6.69it/s]\n",
      "  0%|▏                                                                                 | 1/500 [00:00<01:18,  6.33it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--------------- Epoch 80 ---------------\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      " 59%|███████████████████████████████████████████████▎                                | 296/500 [00:44<00:32,  6.35it/s]"
     ]
    }
   ],
   "source": [
    "epochs=80\n",
    "# 学習開始\n",
    "for e in range(epochs):\n",
    "    # 学習回数の描画\n",
    "    print('-'*15, 'Epoch %d' % e, '-'*15)\n",
    "    # ミニバッチ処理(500回)\n",
    "    for _ in tqdm(range(500)):# 進捗状況の可視化\n",
    "        ########### 1\n",
    "        # ランダムにバッチ数の数だけ訓練データを取得(128×784)\n",
    "        img = X_train[np.random.randint(0, 60000, size=128)]\n",
    "        ########### 2\n",
    "        # ランダムな入力ベクトルの作成（128×100）\n",
    "        noise = np.random.normal(0, 1, size=[128, 100])\n",
    "        # ジェネレータで画像を生成（128×784）\n",
    "        img_gen = generator.predict(noise)\n",
    "        # 上記2配列の結合（256×784）\n",
    "        X = np.concatenate([img,img_gen])\n",
    "        # ディスクリミネータの正解ラベル\n",
    "        y_img = np.ones(128)\n",
    "        y_img_gen = np.zeros(128)\n",
    "        y = np.concatenate([y_img,y_img_gen])\n",
    "        ########### 3\n",
    "        # ディスクリミネータの学習\n",
    "        discriminator.trainable = True\n",
    "        dloss = discriminator.train_on_batch(X, y)\n",
    "        ########### 4\n",
    "        # ランダムな入力ベクトルの作成（128×100）\n",
    "        noise = np.random.normal(0, 1, size=[128, 100])\n",
    "        # ジェネレータの正解ラベル\n",
    "        y = np.ones(128)\n",
    "        ########### 5\n",
    "        # GANに入力する（ジェネレータを学習させる）\n",
    "        gloss = gan.train_on_batch(noise, y)\n",
    "    \n",
    "    # 定期的に出力\n",
    "    if e % 20 == 0:\n",
    "        # ジェネレータ生成画像の出力\n",
    "        plotGeneratedImages(e)\n",
    "        # モデルの出力\n",
    "        saveModels(e)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 80回学習後の生成画像\n",
    "<img src=\"./images/gan_generated_image_epoch_80.png\"  width=\"80%\" style=\"position:relative;left:-10%;\">"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}