2 Project_efficient_net.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "FK-y9Ctezw39"
   },
   "source": [
    "Day 4 3 Transfer learning"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "id": "n1veiSRc479L"
   },
   "outputs": [],
   "source": [
    "import torch\n",
    "import torchvision\n",
    "from tqdm import tqdm\n",
    "import gc\n",
    "import torchvision.transforms as transforms\n",
    "from sklearn.metrics import confusion_matrix, classification_report\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "import datetime\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "OQ7WwnY_EVux",
    "outputId": "2a720f78-95e6-478a-c61d-6b2b460d319e"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "10000\n",
      "1000\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "['Tomato___Bacterial_spot',\n",
       " 'Tomato___Early_blight',\n",
       " 'Tomato___Late_blight',\n",
       " 'Tomato___Leaf_Mold',\n",
       " 'Tomato___Septoria_leaf_spot',\n",
       " 'Tomato___Spider_mites Two-spotted_spider_mite',\n",
       " 'Tomato___Target_Spot',\n",
       " 'Tomato___Tomato_Yellow_Leaf_Curl_Virus',\n",
       " 'Tomato___Tomato_mosaic_virus',\n",
       " 'Tomato___healthy']"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "device = torch.device(\"cuda:0\" if torch.cuda.is_available() else \"cpu\")\n",
    "# Step 1) Dataset preparation\n",
    "train_path = './tomato/train'\n",
    "test_path = './tomato/val'\n",
    "\n",
    "# create an empty list\n",
    "transform = [torchvision.transforms.Resize((256,256)),\n",
    " torchvision.transforms.ToTensor(),\n",
    " torchvision.transforms.Normalize(mean=[0.5,0.5,0.5],std=[0.5,0.5,0.5])]\n",
    "\n",
    "transformation = torchvision.transforms.Compose(transform)\n",
    "\n",
    "train_dataset = torchvision.datasets.ImageFolder(root=train_path,\n",
    "                                                transform=transformation)\n",
    "test_dataset = torchvision.datasets.ImageFolder(root=test_path,\n",
    "                                                transform=transformation)\n",
    "print(len(train_dataset))\n",
    "print(len(test_dataset))\n",
    "train_dataset[0][0].shape\n",
    "train_dataset.classes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cuda:0\n"
     ]
    }
   ],
   "source": [
    "print(device)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "wyXlC3bU9hgA"
   },
   "outputs": [],
   "source": [
    "batch_size = 4\n",
    "num_epochs = 30\n",
    "learning_rate = 0.0001\n",
    "num_classes = 10\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "id": "lkNmhAz5z54h"
   },
   "outputs": [],
   "source": [
    "train_loader=torch.utils.data.DataLoader(\n",
    "        train_dataset,\n",
    "        batch_size=batch_size,\n",
    "        shuffle=True\n",
    ")\n",
    "test_loader=torch.utils.data.DataLoader(\n",
    "        test_dataset,\n",
    "        batch_size=batch_size,\n",
    "        shuffle=False\n",
    ")\n",
    "\n",
    "\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "Xiv4cZn19-pY",
    "outputId": "6d271539-79f5-4d9e-daef-9f863d238f8b"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\User\\anaconda3\\envs\\cpuenv\\Lib\\site-packages\\torchvision\\models\\_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.\n",
      "  warnings.warn(\n",
      "C:\\Users\\User\\anaconda3\\envs\\cpuenv\\Lib\\site-packages\\torchvision\\models\\_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=None`.\n",
      "  warnings.warn(msg)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1536\n"
     ]
    }
   ],
   "source": [
    "model=torchvision.models.efficientnet_b3(pretrained=False)\n",
    "n_inputs=model.classifier[1].in_features\n",
    "# print(model)\n",
    "print(n_inputs)\n",
    "model.classifier[1]=torch.nn.Linear(n_inputs,10)\n",
    "\n",
    "creiterion=torch.nn.CrossEntropyLoss()\n",
    "optim=torch.optim.Adam(model.parameters(),lr=0.0001)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "id": "y9cq-eZi_m6a"
   },
   "outputs": [],
   "source": [
    "def fit(epoch, model, trainloader, testloader):\n",
    "    correct = 0\n",
    "    total = 0\n",
    "    running_loss = 0\n",
    "    model.to(device)\n",
    "    model.train()\n",
    "    for x, y in tqdm(trainloader):\n",
    "        x = x.to(device)\n",
    "        y = y.to(device)\n",
    "        y_pred = model(x)\n",
    "        loss = creiterion(y_pred, y)\n",
    "        optim.zero_grad()\n",
    "        loss.backward()\n",
    "        optim.step()\n",
    "        with torch.no_grad():\n",
    "            y_pred = torch.argmax(y_pred, dim=1)\n",
    "            correct += (y_pred == y).sum().item()\n",
    "            total += y.size(0)\n",
    "            running_loss += loss.item()\n",
    "\n",
    "    epoch_loss = running_loss / len(trainloader.dataset)\n",
    "    epoch_acc = correct / total\n",
    "\n",
    "    test_correct = 0\n",
    "    test_total = 0\n",
    "    test_running_loss = 0\n",
    "    model.eval()\n",
    "    with torch.no_grad():\n",
    "        for x, y in tqdm(testloader):\n",
    "            x = x.to(device)\n",
    "            y = y.to(device)\n",
    "            y_pred = model(x.to(device))\n",
    "            loss = creiterion(y_pred, y)\n",
    "            y_pred = torch.argmax(y_pred, dim=1)\n",
    "            test_correct += (y_pred == y).sum().item()\n",
    "            test_total += y.size(0)\n",
    "            test_running_loss += loss.item()\n",
    "\n",
    "    epoch_test_loss = test_running_loss / len(testloader.dataset)\n",
    "    epoch_test_acc = test_correct / test_total\n",
    "\n",
    "    print('epoch: ', epoch,\n",
    "          'loss： ', round(epoch_loss, 3),\n",
    "          'accuracy:', round(epoch_acc, 3),\n",
    "          'test_loss： ', round(epoch_test_loss, 3),\n",
    "          'test_accuracy:', round(epoch_test_acc, 3)\n",
    "          )\n",
    "\n",
    "    return epoch_loss, epoch_acc, epoch_test_loss, epoch_test_acc\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:54<00:00,  5.26it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:33<00:00,  7.50it/s]\n",
      "C:\\Users\\User\\AppData\\Local\\Temp\\ipykernel_9956\\3204854842.py:42: FutureWarning: The behavior of DataFrame concatenation with empty or all-NA entries is deprecated. In a future version, this will no longer exclude empty or all-NA columns when determining the result dtypes. To retain the old behavior, exclude the relevant entries before the concat operation.\n",
      "  results_df = pd.concat([results_df, new_row_df], ignore_index=True)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  0 loss：  0.487 accuracy: 0.293 test_loss：  0.303 test_accuracy: 0.585\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:06<00:00,  5.86it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:12<00:00, 20.78it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  1 loss：  0.335 accuracy: 0.537 test_loss：  0.236 test_accuracy: 0.662\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:02<00:00,  5.91it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.87it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  2 loss：  0.251 accuracy: 0.669 test_loss：  0.147 test_accuracy: 0.811\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:03<00:00,  5.91it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 21.05it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  3 loss：  0.196 accuracy: 0.738 test_loss：  0.144 test_accuracy: 0.823\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:02<00:00,  5.91it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 21.05it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  4 loss：  0.164 accuracy: 0.781 test_loss：  0.105 test_accuracy: 0.861\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:03<00:00,  5.90it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 21.06it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  5 loss：  0.141 accuracy: 0.819 test_loss：  0.116 test_accuracy: 0.873\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:03<00:00,  5.91it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.93it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  6 loss：  0.12 accuracy: 0.844 test_loss：  0.107 test_accuracy: 0.863\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:02<00:00,  5.91it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:12<00:00, 20.42it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  7 loss：  0.101 accuracy: 0.869 test_loss：  0.07 test_accuracy: 0.899\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:03<00:00,  5.90it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.92it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  8 loss：  0.089 accuracy: 0.884 test_loss：  0.073 test_accuracy: 0.915\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:03<00:00,  5.90it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:12<00:00, 20.81it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  9 loss：  0.08 accuracy: 0.897 test_loss：  0.078 test_accuracy: 0.898\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:03<00:00,  5.90it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  10 loss：  0.073 accuracy: 0.906 test_loss：  0.097 test_accuracy: 0.89\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:03<00:00,  5.90it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.91it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  11 loss：  0.065 accuracy: 0.922 test_loss：  0.063 test_accuracy: 0.925\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:04<00:00,  5.90it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 21.01it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  12 loss：  0.058 accuracy: 0.929 test_loss：  0.082 test_accuracy: 0.912\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:03<00:00,  5.90it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.91it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  13 loss：  0.05 accuracy: 0.938 test_loss：  0.06 test_accuracy: 0.934\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:04<00:00,  5.90it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  14 loss：  0.049 accuracy: 0.938 test_loss：  0.067 test_accuracy: 0.922\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:03<00:00,  5.90it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.85it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  15 loss：  0.046 accuracy: 0.941 test_loss：  0.06 test_accuracy: 0.936\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:04<00:00,  5.89it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.93it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  16 loss：  0.037 accuracy: 0.953 test_loss：  0.08 test_accuracy: 0.913\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:04<00:00,  5.89it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.91it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  17 loss：  0.04 accuracy: 0.949 test_loss：  0.058 test_accuracy: 0.925\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:04<00:00,  5.89it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.87it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  18 loss：  0.035 accuracy: 0.956 test_loss：  0.052 test_accuracy: 0.929\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:04<00:00,  5.89it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.88it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  19 loss：  0.034 accuracy: 0.959 test_loss：  0.049 test_accuracy: 0.932\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:09<00:00,  5.83it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:12<00:00, 20.35it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  20 loss：  0.029 accuracy: 0.961 test_loss：  0.048 test_accuracy: 0.93\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:06<00:00,  5.86it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:12<00:00, 20.83it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  21 loss：  0.029 accuracy: 0.963 test_loss：  0.06 test_accuracy: 0.935\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:05<00:00,  5.87it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  22 loss：  0.027 accuracy: 0.964 test_loss：  0.071 test_accuracy: 0.918\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:04<00:00,  5.89it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:12<00:00, 20.76it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  23 loss：  0.025 accuracy: 0.97 test_loss：  0.05 test_accuracy: 0.946\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:04<00:00,  5.88it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.90it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  24 loss：  0.024 accuracy: 0.972 test_loss：  0.034 test_accuracy: 0.959\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:03<00:00,  5.90it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.93it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  25 loss：  0.024 accuracy: 0.971 test_loss：  0.054 test_accuracy: 0.934\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:04<00:00,  5.89it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.90it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  26 loss：  0.023 accuracy: 0.971 test_loss：  0.061 test_accuracy: 0.923\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:03<00:00,  5.90it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:12<00:00, 20.81it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  27 loss：  0.022 accuracy: 0.974 test_loss：  0.037 test_accuracy: 0.955\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:04<00:00,  5.89it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  28 loss：  0.021 accuracy: 0.975 test_loss：  0.053 test_accuracy: 0.936\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████████████████████████████████████████████████████████████████████| 2500/2500 [07:03<00:00,  5.90it/s]\n",
      "100%|████████████████████████████████████████████████████████████████████████████| 250/250 [00:11<00:00, 20.94it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch:  29 loss：  0.02 accuracy: 0.977 test_loss：  0.056 test_accuracy: 0.937\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "# Initialize lists for storing metrics\n",
    "train_loss = []\n",
    "train_acc = []\n",
    "test_loss = []\n",
    "test_acc = []\n",
    "\n",
    "# Create an empty DataFrame to store the results\n",
    "results_df = pd.DataFrame(columns=['Timestamp', 'Epoch', 'Train_Loss', 'Train_Acc', 'Test_Loss', 'Test_Acc'])\n",
    "\n",
    "for epoch in range(num_epochs):\n",
    "    gc.collect()\n",
    "    torch.cuda.empty_cache()\n",
    "    epoch_loss, epoch_acc, epoch_test_loss, epoch_test_acc = fit(epoch,\n",
    "                                                                 model,\n",
    "                                                                 train_loader,\n",
    "                                                                 test_loader)\n",
    "    \n",
    "    # Get current timestamp\n",
    "    timestamp = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')\n",
    "    \n",
    "    # Save the model with a timestamp\n",
    "    model_filename = f\"project_efficient_{timestamp.replace(':', '').replace(' ', '_')}.pt\"\n",
    "    torch.save(model.state_dict(), model_filename)\n",
    "    \n",
    "    # Append metrics to the lists\n",
    "    train_loss.append(epoch_loss)\n",
    "    train_acc.append(epoch_acc)\n",
    "    test_loss.append(epoch_test_loss)\n",
    "    test_acc.append(epoch_test_acc)\n",
    "    \n",
    "    # Add the epoch results to the DataFrame\n",
    "    new_row = {\n",
    "        'Timestamp': timestamp,\n",
    "        'Epoch': epoch + 1,\n",
    "        'Train_Loss': epoch_loss,\n",
    "        'Train_Acc': epoch_acc,\n",
    "        'Test_Loss': epoch_test_loss,\n",
    "        'Test_Acc': epoch_test_acc\n",
    "    }\n",
    "\n",
    "    new_row_df = pd.DataFrame([new_row])\n",
    "    results_df = pd.concat([results_df, new_row_df], ignore_index=True)\n",
    "    \n",
    "    # Save the DataFrame to a CSV file with a timestamped filename\n",
    "    csv_filename = f\"training_results_{datetime.datetime.now().strftime('%Y%m%d_%H%M%S')}.csv\"\n",
    "    results_df.to_csv(csv_filename, index=False)\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.12.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}