parsing.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import json\n",
    "import re\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "import xlsxwriter\n",
    "from time import sleep"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{438: 'Алтайский край',\n",
       " 439: 'Амурская область',\n",
       " 440: 'Архангельская область',\n",
       " 441: 'Астраханская область',\n",
       " 442: 'Белгородская область',\n",
       " 443: 'Брянская область',\n",
       " 444: 'Владимирская область',\n",
       " 445: 'Волгоградская область',\n",
       " 446: 'Вологодская область',\n",
       " 447: 'Воронежская область',\n",
       " 448: 'Еврейская автономная область',\n",
       " 449: 'Забайкальский край',\n",
       " 450: 'Ивановская область',\n",
       " 451: 'Иркутская область',\n",
       " 452: 'Кабардино-Балкарская Республика',\n",
       " 453: 'Калининградская область',\n",
       " 454: 'Калужская область',\n",
       " 455: 'Камчатский край',\n",
       " 456: 'Карачаево-Черкесская Республика',\n",
       " 457: 'Кемеровская область',\n",
       " 458: 'Кировская область',\n",
       " 459: 'Костромская область',\n",
       " 460: 'Краснодарский край',\n",
       " 461: 'Красноярский край',\n",
       " 462: 'Курганская область',\n",
       " 463: 'Курская область',\n",
       " 464: 'Ленинградская область',\n",
       " 465: 'Липецкая область',\n",
       " 466: 'Магаданская область',\n",
       " 467: 'Москва и Московская область',\n",
       " 468: 'Мурманская область',\n",
       " 469: 'Ненецкий автономный округ',\n",
       " 470: 'Нижегородская область',\n",
       " 471: 'Новгородская область',\n",
       " 472: 'Новосибирская область',\n",
       " 473: 'Омская область',\n",
       " 474: 'Оренбургская область',\n",
       " 475: 'Орловская область',\n",
       " 476: 'Пензенская область',\n",
       " 477: 'Пермский край',\n",
       " 478: 'Приморский край',\n",
       " 479: 'Псковская область',\n",
       " 480: 'Республика Адыгея',\n",
       " 481: 'Республика Алтай',\n",
       " 482: 'Республика Башкортостан',\n",
       " 483: 'Республика Бурятия',\n",
       " 484: 'Республика Дагестан',\n",
       " 485: 'Республика Ингушетия',\n",
       " 486: 'Республика Калмыкия',\n",
       " 487: 'Республика Карелия',\n",
       " 488: 'Республика Коми',\n",
       " 489: 'Республика Крым',\n",
       " 490: 'Республика Марий Эл',\n",
       " 491: 'Республика Мордовия',\n",
       " 492: 'Республика Саха (Якутия)',\n",
       " 493: 'Республика Северная Осетия — Алания',\n",
       " 494: 'Республика Татарстан',\n",
       " 495: 'Республика Тыва',\n",
       " 496: 'Республика Хакасия',\n",
       " 497: 'Ростовская область',\n",
       " 498: 'Рязанская область',\n",
       " 499: 'Самарская область',\n",
       " 500: 'Санкт-Петербург',\n",
       " 501: 'Саратовская область',\n",
       " 502: 'Сахалинская область',\n",
       " 503: 'Свердловская область',\n",
       " 504: 'Севастополь',\n",
       " 505: 'Смоленская область',\n",
       " 506: 'Ставропольский край',\n",
       " 507: 'Тамбовская область',\n",
       " 508: 'Тверская область',\n",
       " 509: 'Томская область',\n",
       " 510: 'Тульская область',\n",
       " 511: 'Тюменская область',\n",
       " 512: 'Удмуртская Республика',\n",
       " 513: 'Ульяновская область',\n",
       " 514: 'Хабаровский край',\n",
       " 515: 'Ханты-Мансийский автономный округ — Югра',\n",
       " 516: 'Челябинская область',\n",
       " 517: 'Чеченская Республика',\n",
       " 518: 'Чувашская Республика',\n",
       " 519: 'Чукотский автономный округ',\n",
       " 520: 'Ямало-Ненецкий автономный округ',\n",
       " 521: 'Ярославская область'}"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# получение списка всех регионов\n",
    "url = 'https://education.yandex.ru/universities/'\n",
    "text = requests.get(url).text\n",
    "\n",
    "p = re.compile(r'\\\"id\\\":(\\d{3}),\\\"title\\\":\\\"([\\w ()-—]+)\\\",\\\"geoId\\\"')\n",
    "pairs = p.findall(text)\n",
    "\n",
    "regions = {}\n",
    "regions_json_form = {}\n",
    "for key, value in pairs:\n",
    "    key = int(key)\n",
    "    #print('tree.add(' + \"'\" + value + \"')\")\n",
    "    regions.update({key: value})\n",
    "    regions_json_form.update({key: {'name': value, 'universities': []}})\n",
    "\n",
    "regions\n",
    "#print(regions_json_form)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "True\n",
      "Математика 17\n",
      "Прикладная математика и информатика 2\n",
      "Механика и математическое моделирование 85\n",
      "Прикладная математика 24\n",
      "Фундаментальные математика и механика 174\n",
      "Математика и компьютерные науки 40\n",
      "Фундаментальная информатика и информационные технологии 26\n",
      "Математическое обеспечение и администрирование информационных систем 73\n",
      "Прикладные математика и физика 23\n",
      "Физика 25\n",
      "Радиофизика 83\n",
      "Астрономия 115\n",
      "Химия 46\n",
      "Химия, физика и механика материалов 155\n",
      "Фундаментальная и прикладная химия 37\n",
      "Геология 51\n",
      "География 39\n",
      "Картография и геоинформатика 154\n",
      "Гидрометеорология 70\n",
      "Прикладная гидрометеорология 214\n",
      "Экология и природопользование 22\n",
      "Метеорология специального назначения None\n",
      "Военная картография None\n",
      "Биология 26\n",
      "Почвоведение 82\n",
      "Биоинженерия и биоинформатика 178\n",
      "Архитектура 106\n",
      "Реконструкция и реставрация архитектурного наследия 217\n",
      "Дизайн архитектурной среды 140\n",
      "Градостроительство 216\n",
      "Строительство 79\n",
      "Строительство уникальных зданий и сооружений 86\n",
      "Строительство железных дорог, мостов и транспортных тоннелей 307\n",
      "Строительство, эксплуатация, восстановление и техническое прикрытие автомобильных дорог, мостов и тоннелей 191\n",
      "Информатика и вычислительная техника 7\n",
      "Информационные системы и технологии 17\n",
      "Прикладная информатика 31\n",
      "Программная инженерия 5\n",
      "Применение и эксплуатация автоматизированных систем специального назначения 187\n",
      "Информационная безопасность 57\n",
      "Компьютерная безопасность 20\n",
      "Информационная безопасность телекоммуникационных систем 137\n",
      "Информационная безопасность автоматизированных систем 54\n",
      "Информационно-аналитические системы безопасности 136\n",
      "Безопасность информационных технологий в правоохранительной сфере 132\n",
      "Криптография None\n",
      "Противодействие техническим разведкам 266\n",
      "Радиотехника 120\n",
      "Инфокоммуникационные технологии и системы связи 42\n",
      "Конструирование и технология электронных средств 43\n",
      "Электроника и наноэлектроника 28\n",
      "Радиоэлектронные системы и комплексы 74\n",
      "Специальные радиотехнические системы 247\n",
      "Применение и эксплуатация средств и систем специального мониторинга None\n",
      "Инфокоммуникационные технологии системы специальной связи 248\n",
      "Приборостроение 66\n",
      "Оптотехника 78\n",
      "Фотоника и оптоинформатика 152\n",
      "Биотехнические системы и технологии 54\n",
      "Лазерная техника и лазерные технологии 143\n",
      "Электронные и оптико-электронные приборы и системы специального назначения 138\n",
      "Теплоэнергетика и теплотехника 98\n",
      "Электроэнергетика и электротехника 60\n",
      "Энергетическое машиностроение 62\n",
      "Тепло- и электрообеспечение специальных технических систем и объектов 312\n",
      "Специальные электромеханические системы 313\n",
      "Ядерная энергетика и теплофизика 95\n",
      "Ядерные физика и технологии 146\n",
      "Ядерные реакторы и материалы 121\n",
      "Атомные станции: проектирование, эксплуатация и инжиниринг 146\n",
      "Технологии разделения изотопов и ядерное топливо 141\n",
      "Электроника и автоматика физических установок 153\n",
      "Машиностроение 53\n",
      "Технологические машины и оборудование 63\n",
      "Прикладная механика 84\n",
      "Автоматизация технологических процессов и производств 45\n",
      "Конструкторско-технологическое обеспечение машиностроительных производств 64\n",
      "Мехатроника и робототехника 48\n",
      "Проектирование технологических машин и комплексов 107\n",
      "Техническая физика 61\n",
      "Высокотехнологические плазменные и энергетические установки 156\n",
      "Холодильная, криогенная техника и системы жизнеобеспечения 96\n",
      "Специальные системы жизнеобеспечения 157\n",
      "Корабельное вооружение 267\n",
      "Боеприпасы и взрыватели 169\n",
      "Стрелково-пушечное, артиллерийское и ракетное оружие 171\n",
      "Проектирование, производство и испытание корабельного вооружения и информационно-управляющих систем 271\n",
      "Технологии веществ и материалов в вооружении и военной технике None\n",
      "Химическая технология 90\n",
      "Энерго- и ресурсосберегающие процессы в химической технологии, нефтехимии и биотехнологии 59\n",
      "Химическая технология энергонасыщенных материалов и изделий 177\n",
      "Химическая технология материалов современной энергетики 172\n",
      "Биотехнология 94\n",
      "Продукты питания из растительного сырья 123\n",
      "Продукты питания животного происхождения 128\n",
      "Технология продукции и организация общественного питания 121\n",
      "Техносферная безопасность 47\n",
      "Природообустройство и водопользование 102\n",
      "Пожарная безопасность 130\n",
      "Нефтегазовое дело 49\n",
      "Землеустройство и кадастры 81\n",
      "Геодезия и дистанционное зондирование 186\n",
      "Прикладная геодезия 144\n",
      "Прикладная геология 75\n",
      "Технология геологической разведки 111\n",
      "Горное дело 100\n",
      "Физические процессы горного или нефтегазового производства 208\n",
      "Нефтегазовые техника и технологии 271\n",
      "Материаловедение и технологии материалов 41\n",
      "Металлургия 92\n",
      "Технология транспортных процессов 125\n",
      "Наземные транспортно-технологические комплексы 91\n",
      "Эксплуатация транспортно-технологических машин и комплексов 89\n",
      "Наземные транспортно-технологические средства 76\n",
      "Транспортные средства специального назначения 150\n",
      "Подвижной состав железных дорог 222\n",
      "Эксплуатация железных дорог 220\n",
      "Системы обеспечения движения поездов 221\n",
      "Ракетные комплексы и космонавтика 105\n",
      "Системы управления движением и навигация 139\n",
      "Баллистика и гидроаэродинамика 180\n",
      "Авиастроение 164\n",
      "Двигатели летательных аппаратов 196\n",
      "Проектирование, производство и эксплуатация ракет и ракетно-космических комплексов 104\n",
      "Проектирование авиационных и ракетных двигателей 101\n",
      "Испытание летательных аппаратов 173\n",
      "Навигационно-баллистическое обеспечение применения космической техники 159\n",
      "Интегрированные системы летательных аппаратов 134\n",
      "Системы управления летательными аппаратами 148\n",
      "Самолето- и вертолетостроение 144\n",
      "Техническая эксплуатация летательных аппаратов и двигателей 189\n",
      "Техническая эксплуатация авиационных электросистем и пилотажно-навигационных комплексов 233\n",
      "Аэронавигация 197\n",
      "Эксплуатация аэропортов и обеспечение полетов воздушных судов 184\n",
      "Техническая эксплуатация и восстановление боевых летательных аппаратов и двигателей 235\n",
      "Техническая эксплуатация и восстановление электросистем и пилотажно-навигационных комплексов боевых летательных аппаратов 235\n",
      "Техническая эксплуатация транспортного радиооборудования 179\n",
      "Летная эксплуатация и применение авиационных комплексов 271\n",
      "Эксплуатация воздушных судов и организация воздушного движения 183\n",
      "Управление водным транспортом и гидрографическое обеспечение судоходства 256\n",
      "Кораблестроение, океанотехника и системотехника объектов морской инфраструктуры 192\n",
      "Проектирование и постройка кораблей, судов и объектов океанотехники 251\n",
      "Проектирование, изготовление и ремонт энергетических установок и систем автоматизации кораблей и судов 271\n",
      "Строительство, ремонт и поисково-спасательное обеспечение надводных кораблей и подводных лодок 262\n",
      "Применение и эксплуатация технических систем надводных кораблей и подводных лодок 240\n",
      "Судовождение 254\n",
      "Эксплуатация судовых энергетических установок 235\n",
      "Эксплуатация судового электрооборудования и средств автоматики 250\n",
      "Стандартизация и метрология 68\n",
      "Управление качеством 50\n",
      "Системный анализ и управление 69\n",
      "Управление в технических системах 29\n",
      "Инноватика 44\n",
      "Специальные организационно-технические системы 225\n",
      "Метрологическое обеспечение вооружения и военной техники 270\n",
      "Нанотехнологии и микросистемная техника 118\n",
      "Наноинженерия 149\n",
      "Наноматериалы 271\n",
      "Технология изделий легкой промышленности 163\n",
      "Технологии и проектирование текстильных изделий 166\n",
      "Технология полиграфического и упаковочного производства 129\n",
      "Технология художественной обработки материалов 126\n",
      "Конструирование изделий легкой промышленности 162\n",
      "Медицинская биохимия 200\n",
      "Медицинская биофизика 204\n",
      "Медицинская кибернетика 228\n",
      "Лечебное дело 15\n",
      "Педиатрия 167\n",
      "Стоматология 113\n",
      "Медико-профилактическое дело 199\n",
      "Фармация 114\n",
      "Сестринское дело 182\n",
      "Лесное дело 201\n",
      "Технология лесозаготовительных и деревоперерабатывающих производств 188\n",
      "Агрохимия и агропочвоведение 235\n",
      "Агрономия 169\n",
      "Садоводство 247\n",
      "Агроинженерия 229\n",
      "Технология производства и переработки сельскохозяйственной продукции 231\n",
      "Водные биоресурсы и аквакультура 224\n",
      "Промышленное рыболовство 269\n",
      "Ландшафтная архитектура 168\n",
      "Ветеринарно-санитарная экспертиза 203\n",
      "Зоотехния 230\n",
      "Ветеринария 198\n",
      "Психология 13\n",
      "Конфликтология 109\n",
      "Клиническая психология 33\n",
      "Психология служебной деятельности 135\n",
      "Экономика 1\n",
      "Менеджмент 32\n",
      "Управление персоналом 37\n",
      "Государственное и муниципальное управление 56\n",
      "Бизнес-информатика 11\n",
      "Торговое дело 99\n",
      "Товароведение 124\n",
      "Жилищное хозяйство и коммунальная инфраструктура 325\n",
      "Экономическая безопасность 33\n",
      "Таможенное дело 79\n",
      "Социология 10\n",
      "Социальная работа 52\n",
      "Организация работы с молодежью 87\n",
      "Юриспруденция 33\n",
      "Правовое обеспечение национальной безопасности 181\n",
      "Правоохранительная деятельность 219\n",
      "Судебная экспертиза 67\n",
      "Зарубежное регионоведение 29\n",
      "Регионоведение России 131\n",
      "Востоковедение и африканистика 14\n",
      "Политология 12\n",
      "Международные отношения 4\n",
      "Публичная политика и социальные науки 271\n",
      "Реклама и связи с общественностью 6\n",
      "Журналистика 3\n",
      "Издательское дело 88\n",
      "Телевидение 190\n",
      "Медиакоммуникации 271\n",
      "Сервис 58\n",
      "Туризм 65\n",
      "Гостиничное дело 116\n",
      "Педагогическое образование 103\n",
      "Психолого-педагогическое образование 77\n",
      "Специальное (дефектологическое) образование 117\n",
      "Профессиональное обучение (по отраслям) 127\n",
      "Педагогическое образование (с двумя профилями подготовки) 271\n",
      "Педагогика и психология девиантного поведения 175\n",
      "Филология 8\n",
      "Лингвистика 20\n",
      "Фундаментальная и прикладная лингвистика 36\n",
      "Интеллектуальные системы в гуманитарной сфере 151\n",
      "Перевод и переводоведение 133\n",
      "История 9\n",
      "Документоведение и архивоведение 72\n",
      "Антропология и этнология 92\n",
      "Философия 19\n",
      "Прикладная этика 110\n",
      "Религиоведение 108\n",
      "Теология 160\n",
      "Физическая культура 96\n",
      "Физическая культура для лиц с отклонениями в состоянии здоровья (адаптивная физическая культура) 185\n",
      "Рекреация и спортивно-оздоровительный туризм 210\n",
      "Искусства и гуманитарные науки 165\n",
      "Изящные искусства 194\n",
      "История искусств 112\n",
      "Теория и история искусств 226\n",
      "Культурология 16\n",
      "Народная художественная культура 211\n",
      "Социально-культурная деятельность 161\n",
      "Музеология и охрана объектов культурного и природного наследия 142\n",
      "Режиссура театрализованных представлений и праздников 245\n",
      "Библиотечно-информационная деятельность 202\n",
      "Звукорежиссура культурно-массовых представлений и концертных программ 266\n",
      "Хореографическое искусство 232\n",
      "Хореографическое исполнительство 270\n",
      "Цирковое искусство 271\n",
      "Технология художественного оформления спектакля 267\n",
      "Театроведение 264\n",
      "Драматургия 257\n",
      "Актерское искусство 206\n",
      "Режиссура театра 243\n",
      "Сценография 260\n",
      "Литературное творчество 205\n",
      "Музыкальное искусство эстрады 239\n",
      "Музыкально-инструментальное искусство 207\n",
      "Вокальное искусство 209\n",
      "Искусство народного пения 241\n",
      "Дирижирование 242\n",
      "Музыкознание и музыкально-прикладное искусство 245\n",
      "Искусство концертного исполнительства 234\n",
      "Художественное руководство оперно-симфоническим оркестром и академическим хором 213\n",
      "Музыкальная звукорежиссура 261\n",
      "Музыкально-театральное искусство 212\n",
      "Музыковедение 247\n",
      "Композиция 251\n",
      "Дирижирование военным духовым оркестром 271\n",
      "Дизайн 70\n",
      "Декоративно-прикладное искусство и народные промыслы 119\n",
      "Искусство костюма и текстиля 195\n",
      "Реставрация 215\n",
      "Монументально-декоративное искусство 193\n",
      "Живопись 176\n",
      "Графика 158\n",
      "Скульптура 223\n",
      "Живопись и изящные искусства 253\n",
      "Режиссура кино и телевидения 243\n",
      "Звукорежиссура аудиовизуальных искусств 265\n",
      "Кинооператорство 257\n",
      "Продюсерство 254\n",
      "Киноведение 257\n",
      "Тыловое обеспечение None\n",
      "Радиационная, химическая и биологическая защита None\n",
      "Служебно-прикладная физическая подготовка None\n",
      "Управление персоналом (Вооруженные Силы, другие войска, воинские формирования и приравненные к ним органы Российской Федерации) None\n",
      "Военная журналистика 259\n",
      "Пограничная деятельность None\n"
     ]
    }
   ],
   "source": [
    "# получение списка всех специальностей\n",
    "url = 'https://education.yandex.ru/universities/'\n",
    "print(requests.get(url).ok)\n",
    "text = requests.get(url).text\n",
    "\n",
    "p = re.compile(r'\\\"id\\\":(\\d{4}),\\\"code\\\":\\\"\\d{2}.\\d{2}.\\d{2}\\\",\\\"title\\\":\\\"([\\w .,()-:]+)\\\",\\\"educationTypes\\\"')\n",
    "pairs = p.findall(text)\n",
    "\n",
    "specialties = {}\n",
    "specialties_id = []\n",
    "for key, value in pairs:\n",
    "    key = int(key)\n",
    "    specialties.update({key: value})\n",
    "    specialties_id.append(key)\n",
    "\n",
    "specialties\n",
    "\n",
    "url = 'http://vuzoteka.ru/%D0%B2%D1%83%D0%B7%D1%8B/%D1%81%D0%BF%D0%B5%D1%86%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8'\n",
    "\n",
    "soup = BeautifulSoup(requests.get(url).text, 'html.parser')\n",
    "\n",
    "specialties_rating = {}\n",
    "\n",
    "specialties_raw = soup.findAll('div', attrs={'style': ['margin:0px 0 15px 0px; border:1px solid #eee; border-radius:5px;']})\n",
    "for specialty in specialties_raw:\n",
    "    name = specialty.find('a').text\n",
    "    place = re.match(r'рейтинг\\s\\(баллы\\)\\s(\\d+)\\s\\(\\d+\\)', specialty.find('div', attrs={'class': ['label-part last']}).text).group(1)\n",
    "    specialties_rating.update({name: int(place)})\n",
    "\n",
    "for key, value in specialties.items():\n",
    "    print(value, specialties_rating.get(value, None))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\n",
    "# набор функций для парсинга страницы\n",
    "def get_level(td_list):\n",
    "    return td_list[0].attrs['title']\n",
    "\n",
    "def get_specialty(td_list):\n",
    "    specialty = td_list[1].text\n",
    "    pos = specialty.find('«') + 1\n",
    "    if pos:\n",
    "        specialty = specialty[pos:specialty.find('»')]\n",
    "    return specialty\n",
    "\n",
    "def get_department(td_list):\n",
    "    return td_list[1].text\n",
    "\n",
    "def get_subjects(td_list):\n",
    "    subjects = []\n",
    "    for subject in td_list[2].findAll('div', attrs={'class': ['year-stats-subjects-popup__subject']}):\n",
    "        if subject.attrs['class'] == ['year-stats-subjects-popup__subject']:\n",
    "            subjects.append(subject.text)\n",
    "    return subjects\n",
    "\n",
    "def get_budget_plan(td_list):\n",
    "    budget_plan = None\n",
    "    if td_list[3].find('div') != None:\n",
    "        budget_plan = td_list[3].find('div', attrs={'class': ['year-stats-cell-popup__title']}).text\n",
    "    return budget_plan\n",
    "\n",
    "def get_budget(td_list):\n",
    "    budget = None\n",
    "    if td_list[3].find('div') != None:\n",
    "        budget = {}\n",
    "        budget_plan = td_list[3].find('div', attrs={'class': ['year-stats-cell-popup__title']}).text\n",
    "        for row in td_list[3].findAll('div', attrs={'class': ['year-stats-places-popup__row']}):\n",
    "            budget.update({row.find('span').text: row.find('div', attrs={'class': ['year-stats-places-popup__row-value']}).text})\n",
    "    return budget\n",
    "\n",
    "def get_budget_passing_score(td_list):\n",
    "    budget_passing_score = None\n",
    "    text = td_list[4].find('div', attrs={'class': ['year-stats-points-popup__points']}).text\n",
    "    if text != '':\n",
    "        budget_passing_score = text    \n",
    "    return budget_passing_score\n",
    "\n",
    "def get_paid_plan(td_list):\n",
    "    paid_plan = None\n",
    "    if td_list[5].find('div') != None:\n",
    "        paid_plan = td_list[5].find('div', attrs={'class': ['year-stats-cell-popup__title']}).text\n",
    "    return paid_plan\n",
    "\n",
    "def get_paid(td_list):\n",
    "    paid = None\n",
    "    if td_list[5].find('div') != None:\n",
    "        paid = {}\n",
    "        paid_plan = td_list[5].find('div', attrs={'class': ['year-stats-cell-popup__title']}).text\n",
    "        for row in td_list[5].findAll('div', attrs={'class': ['year-stats-places-popup__row']}):\n",
    "            paid.update({row.find('span').text: row.find('div', attrs={'class': ['year-stats-places-popup__row-value']}).text})\n",
    "    return paid\n",
    "\n",
    "def get_paid_passing_score(td_list):\n",
    "    paid_passing_score = None\n",
    "    text = td_list[6].find('div', attrs={'class': ['year-stats-table-row__right-aligned']}).text\n",
    "    if text != '':\n",
    "        paid_passing_score = text\n",
    "    return paid_passing_score\n",
    "\n",
    "def get_cost(td_list):\n",
    "    return td_list[7].find('div', attrs={'class': ['year-stats-table-row__right-aligned']}).text.replace(' ', '')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Алтайский государственный педагогический университет\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>department</th>\n",
       "      <th>level</th>\n",
       "      <th>subjects</th>\n",
       "      <th>budget_plan</th>\n",
       "      <th>budget</th>\n",
       "      <th>budget_passing_score</th>\n",
       "      <th>paid_plan</th>\n",
       "      <th>paid</th>\n",
       "      <th>paid_passing_score</th>\n",
       "      <th>cost</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>specialty</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Прикладная математика</th>\n",
       "      <td>институт физико-математического образования</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[математика, русский язык, физика]</td>\n",
       "      <td>24</td>\n",
       "      <td>{'По конкурсу': '23', 'Целевой прием': '0', 'П...</td>\n",
       "      <td>133</td>\n",
       "      <td>2</td>\n",
       "      <td>{'По конкурсу': '2', 'Целевой прием': '0', 'По...</td>\n",
       "      <td>118</td>\n",
       "      <td>77680</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Прикладная информатика</th>\n",
       "      <td>институт физико-математического образования</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[математика, русский язык, физика]</td>\n",
       "      <td>25</td>\n",
       "      <td>{'По конкурсу': '21', 'Целевой прием': '3', 'П...</td>\n",
       "      <td>142</td>\n",
       "      <td>2</td>\n",
       "      <td>{'По конкурсу': '1', 'Целевой прием': '0', 'По...</td>\n",
       "      <td>128</td>\n",
       "      <td>83000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогическое образование</th>\n",
       "      <td>факультет физической культуры</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[обществознание, русский язык]</td>\n",
       "      <td>23</td>\n",
       "      <td>{'По конкурсу': '17', 'Целевой прием': '5', 'П...</td>\n",
       "      <td>219</td>\n",
       "      <td>30</td>\n",
       "      <td>{'По конкурсу': '19', 'Целевой прием': '0', 'П...</td>\n",
       "      <td>139</td>\n",
       "      <td>78440</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогическое образование</th>\n",
       "      <td>филологический факультет</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[литература, обществознание, русский язык]</td>\n",
       "      <td>25</td>\n",
       "      <td>{'По конкурсу': '15', 'Целевой прием': '9', 'П...</td>\n",
       "      <td>206</td>\n",
       "      <td>15</td>\n",
       "      <td>{'По конкурсу': '37', 'Целевой прием': '0', 'П...</td>\n",
       "      <td>111</td>\n",
       "      <td>78440</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогическое образование</th>\n",
       "      <td>филологический факультет</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[литература, обществознание, русский язык]</td>\n",
       "      <td>25</td>\n",
       "      <td>{'По конкурсу': '14', 'Целевой прием': '8', 'П...</td>\n",
       "      <td>205</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Психолого-педагогическое образование</th>\n",
       "      <td>институт психологии и педагогики</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[биология, математика, русский язык]</td>\n",
       "      <td>22</td>\n",
       "      <td>{'По конкурсу': '14', 'Целевой прием': '5', 'П...</td>\n",
       "      <td>159</td>\n",
       "      <td>1</td>\n",
       "      <td>{'По конкурсу': '5', 'Целевой прием': '0', 'По...</td>\n",
       "      <td>118</td>\n",
       "      <td>78440</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Специальное (дефектологическое) образование</th>\n",
       "      <td>институт психологии и педагогики</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[биология, математика, русский язык]</td>\n",
       "      <td>40</td>\n",
       "      <td>{'По конкурсу': '26', 'Целевой прием': '10', '...</td>\n",
       "      <td>158</td>\n",
       "      <td>2</td>\n",
       "      <td>{'По конкурсу': '11', 'Целевой прием': '0', 'П...</td>\n",
       "      <td>130</td>\n",
       "      <td>78440</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогическое образование (с двумя профилями подготовки)</th>\n",
       "      <td>институт психологии и педагогики</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[математика, обществознание, русский язык]</td>\n",
       "      <td>23</td>\n",
       "      <td>{'По конкурсу': '13', 'Целевой прием': '7', 'П...</td>\n",
       "      <td>181</td>\n",
       "      <td>1</td>\n",
       "      <td>{'По конкурсу': '1', 'Целевой прием': '0', 'По...</td>\n",
       "      <td>133</td>\n",
       "      <td>78440</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогическое образование (с двумя профилями подготовки)</th>\n",
       "      <td>институт психологии и педагогики</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[математика, обществознание, русский язык]</td>\n",
       "      <td>68</td>\n",
       "      <td>{'По конкурсу': '38', 'Целевой прием': '21', '...</td>\n",
       "      <td>161</td>\n",
       "      <td>3</td>\n",
       "      <td>{'По конкурсу': '16', 'Целевой прием': '0', 'П...</td>\n",
       "      <td>106</td>\n",
       "      <td>78440</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогическое образование (с двумя профилями подготовки)</th>\n",
       "      <td>институт физико-математического образования</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[математика, обществознание, русский язык]</td>\n",
       "      <td>75</td>\n",
       "      <td>{'По конкурсу': '57', 'Целевой прием': '16', '...</td>\n",
       "      <td>163</td>\n",
       "      <td>6</td>\n",
       "      <td>{'По конкурсу': '3', 'Целевой прием': '0', 'По...</td>\n",
       "      <td>116</td>\n",
       "      <td>77680</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогическое образование (с двумя профилями подготовки)</th>\n",
       "      <td>институт физико-математического образования</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[математика, обществознание, русский язык]</td>\n",
       "      <td>25</td>\n",
       "      <td>{'По конкурсу': '21', 'Целевой прием': '1', 'П...</td>\n",
       "      <td>162</td>\n",
       "      <td>1</td>\n",
       "      <td>{'По конкурсу': '0', 'Целевой прием': '0', 'По...</td>\n",
       "      <td>None</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогическое образование (с двумя профилями подготовки)</th>\n",
       "      <td>исторический факультет</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[история, обществознание, русский язык]</td>\n",
       "      <td>23</td>\n",
       "      <td>{'По конкурсу': '13', 'Целевой прием': '8', 'П...</td>\n",
       "      <td>193</td>\n",
       "      <td>2</td>\n",
       "      <td>{'По конкурсу': '7', 'Целевой прием': '0', 'По...</td>\n",
       "      <td>132</td>\n",
       "      <td>77680</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогическое образование (с двумя профилями подготовки)</th>\n",
       "      <td>исторический факультет</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[история, обществознание, русский язык]</td>\n",
       "      <td>46</td>\n",
       "      <td>{'По конкурсу': '31', 'Целевой прием': '11', '...</td>\n",
       "      <td>194</td>\n",
       "      <td>20</td>\n",
       "      <td>{'По конкурсу': '19', 'Целевой прием': '0', 'П...</td>\n",
       "      <td>111</td>\n",
       "      <td>77680</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогическое образование (с двумя профилями подготовки)</th>\n",
       "      <td>лингвистический институт</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[иностранный язык, обществознание, русский язык]</td>\n",
       "      <td>60</td>\n",
       "      <td>{'По конкурсу': '46', 'Целевой прием': '12', '...</td>\n",
       "      <td>174</td>\n",
       "      <td>37</td>\n",
       "      <td>{'По конкурсу': '43', 'Целевой прием': '0', 'П...</td>\n",
       "      <td>104</td>\n",
       "      <td>78440</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогическое образование (с двумя профилями подготовки)</th>\n",
       "      <td>факультет физической культуры</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[обществознание, русский язык]</td>\n",
       "      <td>22</td>\n",
       "      <td>{'По конкурсу': '16', 'Целевой прием': '5', 'П...</td>\n",
       "      <td>219</td>\n",
       "      <td>15</td>\n",
       "      <td>{'По конкурсу': '11', 'Целевой прием': '0', 'П...</td>\n",
       "      <td>155</td>\n",
       "      <td>78440</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогическое образование (с двумя профилями подготовки)</th>\n",
       "      <td>факультет физической культуры</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[обществознание, русский язык]</td>\n",
       "      <td>23</td>\n",
       "      <td>{'По конкурсу': '20', 'Целевой прием': '2', 'П...</td>\n",
       "      <td>220</td>\n",
       "      <td>15</td>\n",
       "      <td>{'По конкурсу': '10', 'Целевой прием': '0', 'П...</td>\n",
       "      <td>141</td>\n",
       "      <td>78440</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Педагогика и психология девиантного поведения</th>\n",
       "      <td>институт психологии и педагогики</td>\n",
       "      <td>Специалитет</td>\n",
       "      <td>[история, обществознание, русский язык]</td>\n",
       "      <td>21</td>\n",
       "      <td>{'По конкурсу': '16', 'Целевой прием': '2', 'П...</td>\n",
       "      <td>189</td>\n",
       "      <td>1</td>\n",
       "      <td>{'По конкурсу': '8', 'Целевой прием': '0', 'По...</td>\n",
       "      <td>156</td>\n",
       "      <td>78440</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Лингвистика</th>\n",
       "      <td>лингвистический институт</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[иностранный язык, история, русский язык]</td>\n",
       "      <td>16</td>\n",
       "      <td>{'По конкурсу': '15', 'Целевой прием': '1', 'П...</td>\n",
       "      <td>215</td>\n",
       "      <td>10</td>\n",
       "      <td>{'По конкурсу': '24', 'Целевой прием': '0', 'П...</td>\n",
       "      <td>123</td>\n",
       "      <td>73940</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Физическая культура</th>\n",
       "      <td>факультет физической культуры</td>\n",
       "      <td>Бакалавриат</td>\n",
       "      <td>[биология, русский язык]</td>\n",
       "      <td>10</td>\n",
       "      <td>{'По конкурсу': '8', 'Целевой прием': '1', 'По...</td>\n",
       "      <td>242</td>\n",
       "      <td>15</td>\n",
       "      <td>{'По конкурсу': '1', 'Целевой прием': '0', 'По...</td>\n",
       "      <td>160</td>\n",
       "      <td>128100</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                                     department  \\\n",
       "specialty                                                                                         \n",
       "Прикладная математика                               институт физико-математического образования   \n",
       "Прикладная информатика                              институт физико-математического образования   \n",
       "Педагогическое образование                                        факультет физической культуры   \n",
       "Педагогическое образование                                             филологический факультет   \n",
       "Педагогическое образование                                             филологический факультет   \n",
       "Психолого-педагогическое образование                           институт психологии и педагогики   \n",
       "Специальное (дефектологическое) образование                    институт психологии и педагогики   \n",
       "Педагогическое образование (с двумя профилями п...             институт психологии и педагогики   \n",
       "Педагогическое образование (с двумя профилями п...             институт психологии и педагогики   \n",
       "Педагогическое образование (с двумя профилями п...  институт физико-математического образования   \n",
       "Педагогическое образование (с двумя профилями п...  институт физико-математического образования   \n",
       "Педагогическое образование (с двумя профилями п...                       исторический факультет   \n",
       "Педагогическое образование (с двумя профилями п...                       исторический факультет   \n",
       "Педагогическое образование (с двумя профилями п...                     лингвистический институт   \n",
       "Педагогическое образование (с двумя профилями п...                факультет физической культуры   \n",
       "Педагогическое образование (с двумя профилями п...                факультет физической культуры   \n",
       "Педагогика и психология девиантного поведения                  институт психологии и педагогики   \n",
       "Лингвистика                                                            лингвистический институт   \n",
       "Физическая культура                                               факультет физической культуры   \n",
       "\n",
       "                                                          level  \\\n",
       "specialty                                                         \n",
       "Прикладная математика                               Бакалавриат   \n",
       "Прикладная информатика                              Бакалавриат   \n",
       "Педагогическое образование                          Бакалавриат   \n",
       "Педагогическое образование                          Бакалавриат   \n",
       "Педагогическое образование                          Бакалавриат   \n",
       "Психолого-педагогическое образование                Бакалавриат   \n",
       "Специальное (дефектологическое) образование         Бакалавриат   \n",
       "Педагогическое образование (с двумя профилями п...  Бакалавриат   \n",
       "Педагогическое образование (с двумя профилями п...  Бакалавриат   \n",
       "Педагогическое образование (с двумя профилями п...  Бакалавриат   \n",
       "Педагогическое образование (с двумя профилями п...  Бакалавриат   \n",
       "Педагогическое образование (с двумя профилями п...  Бакалавриат   \n",
       "Педагогическое образование (с двумя профилями п...  Бакалавриат   \n",
       "Педагогическое образование (с двумя профилями п...  Бакалавриат   \n",
       "Педагогическое образование (с двумя профилями п...  Бакалавриат   \n",
       "Педагогическое образование (с двумя профилями п...  Бакалавриат   \n",
       "Педагогика и психология девиантного поведения       Специалитет   \n",
       "Лингвистика                                         Бакалавриат   \n",
       "Физическая культура                                 Бакалавриат   \n",
       "\n",
       "                                                                                            subjects  \\\n",
       "specialty                                                                                              \n",
       "Прикладная математика                                             [математика, русский язык, физика]   \n",
       "Прикладная информатика                                            [математика, русский язык, физика]   \n",
       "Педагогическое образование                                            [обществознание, русский язык]   \n",
       "Педагогическое образование                                [литература, обществознание, русский язык]   \n",
       "Педагогическое образование                                [литература, обществознание, русский язык]   \n",
       "Психолого-педагогическое образование                            [биология, математика, русский язык]   \n",
       "Специальное (дефектологическое) образование                     [биология, математика, русский язык]   \n",
       "Педагогическое образование (с двумя профилями п...        [математика, обществознание, русский язык]   \n",
       "Педагогическое образование (с двумя профилями п...        [математика, обществознание, русский язык]   \n",
       "Педагогическое образование (с двумя профилями п...        [математика, обществознание, русский язык]   \n",
       "Педагогическое образование (с двумя профилями п...        [математика, обществознание, русский язык]   \n",
       "Педагогическое образование (с двумя профилями п...           [история, обществознание, русский язык]   \n",
       "Педагогическое образование (с двумя профилями п...           [история, обществознание, русский язык]   \n",
       "Педагогическое образование (с двумя профилями п...  [иностранный язык, обществознание, русский язык]   \n",
       "Педагогическое образование (с двумя профилями п...                    [обществознание, русский язык]   \n",
       "Педагогическое образование (с двумя профилями п...                    [обществознание, русский язык]   \n",
       "Педагогика и психология девиантного поведения                [история, обществознание, русский язык]   \n",
       "Лингвистика                                                [иностранный язык, история, русский язык]   \n",
       "Физическая культура                                                         [биология, русский язык]   \n",
       "\n",
       "                                                   budget_plan  \\\n",
       "specialty                                                        \n",
       "Прикладная математика                                       24   \n",
       "Прикладная информатика                                      25   \n",
       "Педагогическое образование                                  23   \n",
       "Педагогическое образование                                  25   \n",
       "Педагогическое образование                                  25   \n",
       "Психолого-педагогическое образование                        22   \n",
       "Специальное (дефектологическое) образование                 40   \n",
       "Педагогическое образование (с двумя профилями п...          23   \n",
       "Педагогическое образование (с двумя профилями п...          68   \n",
       "Педагогическое образование (с двумя профилями п...          75   \n",
       "Педагогическое образование (с двумя профилями п...          25   \n",
       "Педагогическое образование (с двумя профилями п...          23   \n",
       "Педагогическое образование (с двумя профилями п...          46   \n",
       "Педагогическое образование (с двумя профилями п...          60   \n",
       "Педагогическое образование (с двумя профилями п...          22   \n",
       "Педагогическое образование (с двумя профилями п...          23   \n",
       "Педагогика и психология девиантного поведения               21   \n",
       "Лингвистика                                                 16   \n",
       "Физическая культура                                         10   \n",
       "\n",
       "                                                                                               budget  \\\n",
       "specialty                                                                                               \n",
       "Прикладная математика                               {'По конкурсу': '23', 'Целевой прием': '0', 'П...   \n",
       "Прикладная информатика                              {'По конкурсу': '21', 'Целевой прием': '3', 'П...   \n",
       "Педагогическое образование                          {'По конкурсу': '17', 'Целевой прием': '5', 'П...   \n",
       "Педагогическое образование                          {'По конкурсу': '15', 'Целевой прием': '9', 'П...   \n",
       "Педагогическое образование                          {'По конкурсу': '14', 'Целевой прием': '8', 'П...   \n",
       "Психолого-педагогическое образование                {'По конкурсу': '14', 'Целевой прием': '5', 'П...   \n",
       "Специальное (дефектологическое) образование         {'По конкурсу': '26', 'Целевой прием': '10', '...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '13', 'Целевой прием': '7', 'П...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '38', 'Целевой прием': '21', '...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '57', 'Целевой прием': '16', '...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '21', 'Целевой прием': '1', 'П...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '13', 'Целевой прием': '8', 'П...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '31', 'Целевой прием': '11', '...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '46', 'Целевой прием': '12', '...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '16', 'Целевой прием': '5', 'П...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '20', 'Целевой прием': '2', 'П...   \n",
       "Педагогика и психология девиантного поведения       {'По конкурсу': '16', 'Целевой прием': '2', 'П...   \n",
       "Лингвистика                                         {'По конкурсу': '15', 'Целевой прием': '1', 'П...   \n",
       "Физическая культура                                 {'По конкурсу': '8', 'Целевой прием': '1', 'По...   \n",
       "\n",
       "                                                   budget_passing_score  \\\n",
       "specialty                                                                 \n",
       "Прикладная математика                                               133   \n",
       "Прикладная информатика                                              142   \n",
       "Педагогическое образование                                          219   \n",
       "Педагогическое образование                                          206   \n",
       "Педагогическое образование                                          205   \n",
       "Психолого-педагогическое образование                                159   \n",
       "Специальное (дефектологическое) образование                         158   \n",
       "Педагогическое образование (с двумя профилями п...                  181   \n",
       "Педагогическое образование (с двумя профилями п...                  161   \n",
       "Педагогическое образование (с двумя профилями п...                  163   \n",
       "Педагогическое образование (с двумя профилями п...                  162   \n",
       "Педагогическое образование (с двумя профилями п...                  193   \n",
       "Педагогическое образование (с двумя профилями п...                  194   \n",
       "Педагогическое образование (с двумя профилями п...                  174   \n",
       "Педагогическое образование (с двумя профилями п...                  219   \n",
       "Педагогическое образование (с двумя профилями п...                  220   \n",
       "Педагогика и психология девиантного поведения                       189   \n",
       "Лингвистика                                                         215   \n",
       "Физическая культура                                                 242   \n",
       "\n",
       "                                                   paid_plan  \\\n",
       "specialty                                                      \n",
       "Прикладная математика                                      2   \n",
       "Прикладная информатика                                     2   \n",
       "Педагогическое образование                                30   \n",
       "Педагогическое образование                                15   \n",
       "Педагогическое образование                              None   \n",
       "Психолого-педагогическое образование                       1   \n",
       "Специальное (дефектологическое) образование                2   \n",
       "Педагогическое образование (с двумя профилями п...         1   \n",
       "Педагогическое образование (с двумя профилями п...         3   \n",
       "Педагогическое образование (с двумя профилями п...         6   \n",
       "Педагогическое образование (с двумя профилями п...         1   \n",
       "Педагогическое образование (с двумя профилями п...         2   \n",
       "Педагогическое образование (с двумя профилями п...        20   \n",
       "Педагогическое образование (с двумя профилями п...        37   \n",
       "Педагогическое образование (с двумя профилями п...        15   \n",
       "Педагогическое образование (с двумя профилями п...        15   \n",
       "Педагогика и психология девиантного поведения              1   \n",
       "Лингвистика                                               10   \n",
       "Физическая культура                                       15   \n",
       "\n",
       "                                                                                                 paid  \\\n",
       "specialty                                                                                               \n",
       "Прикладная математика                               {'По конкурсу': '2', 'Целевой прием': '0', 'По...   \n",
       "Прикладная информатика                              {'По конкурсу': '1', 'Целевой прием': '0', 'По...   \n",
       "Педагогическое образование                          {'По конкурсу': '19', 'Целевой прием': '0', 'П...   \n",
       "Педагогическое образование                          {'По конкурсу': '37', 'Целевой прием': '0', 'П...   \n",
       "Педагогическое образование                                                                       None   \n",
       "Психолого-педагогическое образование                {'По конкурсу': '5', 'Целевой прием': '0', 'По...   \n",
       "Специальное (дефектологическое) образование         {'По конкурсу': '11', 'Целевой прием': '0', 'П...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '1', 'Целевой прием': '0', 'По...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '16', 'Целевой прием': '0', 'П...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '3', 'Целевой прием': '0', 'По...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '0', 'Целевой прием': '0', 'По...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '7', 'Целевой прием': '0', 'По...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '19', 'Целевой прием': '0', 'П...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '43', 'Целевой прием': '0', 'П...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '11', 'Целевой прием': '0', 'П...   \n",
       "Педагогическое образование (с двумя профилями п...  {'По конкурсу': '10', 'Целевой прием': '0', 'П...   \n",
       "Педагогика и психология девиантного поведения       {'По конкурсу': '8', 'Целевой прием': '0', 'По...   \n",
       "Лингвистика                                         {'По конкурсу': '24', 'Целевой прием': '0', 'П...   \n",
       "Физическая культура                                 {'По конкурсу': '1', 'Целевой прием': '0', 'По...   \n",
       "\n",
       "                                                   paid_passing_score    cost  \n",
       "specialty                                                                      \n",
       "Прикладная математика                                             118   77680  \n",
       "Прикладная информатика                                            128   83000  \n",
       "Педагогическое образование                                        139   78440  \n",
       "Педагогическое образование                                        111   78440  \n",
       "Педагогическое образование                                       None          \n",
       "Психолого-педагогическое образование                              118   78440  \n",
       "Специальное (дефектологическое) образование                       130   78440  \n",
       "Педагогическое образование (с двумя профилями п...                133   78440  \n",
       "Педагогическое образование (с двумя профилями п...                106   78440  \n",
       "Педагогическое образование (с двумя профилями п...                116   77680  \n",
       "Педагогическое образование (с двумя профилями п...               None          \n",
       "Педагогическое образование (с двумя профилями п...                132   77680  \n",
       "Педагогическое образование (с двумя профилями п...                111   77680  \n",
       "Педагогическое образование (с двумя профилями п...                104   78440  \n",
       "Педагогическое образование (с двумя профилями п...                155   78440  \n",
       "Педагогическое образование (с двумя профилями п...                141   78440  \n",
       "Педагогика и психология девиантного поведения                     156   78440  \n",
       "Лингвистика                                                       123   73940  \n",
       "Физическая культура                                               160  128100  "
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# сбор информации\n",
    "url = 'https://education.yandex.ru/universities/university/'\n",
    "university_id = 2211 # id МГУ\n",
    "university = requests.get(url + str(university_id))\n",
    "#university.ok\n",
    "\n",
    "soup = BeautifulSoup(university.text, 'html.parser')\n",
    "\n",
    "uni = soup.find('h1', attrs={'class': ['university-title__title']})\n",
    "print(uni.text)\n",
    "\n",
    "table = soup.find('table', attrs={'class': ['year-stats__table']})\n",
    "tr_list = table.findAll('tr')\n",
    "\n",
    "data = []\n",
    "\n",
    "flag_no_department = False # нет информации о кафедре\n",
    "flag_general = False # указаны общие данные\n",
    "\n",
    "for tr in tr_list:\n",
    "    td_list = tr.findAll('td')\n",
    "    \n",
    "    if tr.attrs['class'] == ['year-stats-table-row', 'year-stats-table-row_bold', 'year-stats__data-row']:\n",
    "        flag_no_department = td_list[1].text == 'Специальности, факультет для которых уточните в приемной комиссии'\n",
    "        \n",
    "        if not flag_no_department:\n",
    "            level = get_level(td_list)\n",
    "            specialty = get_specialty(td_list)\n",
    "            \n",
    "            flag_general = len(td_list) > 2\n",
    "            \n",
    "            if flag_general:\n",
    "                subjects = get_subjects(td_list)\n",
    "                budget_plan = get_budget_plan(td_list)\n",
    "                budget = get_budget(td_list)\n",
    "                budget_passing_score = get_budget_passing_score(td_list)\n",
    "                paid_plan = get_paid_plan(td_list)\n",
    "                paid = get_paid(td_list)\n",
    "                paid_passing_score = get_paid_passing_score(td_list)\n",
    "                cost = get_cost(td_list)\n",
    "    \n",
    "    elif tr.attrs['class'] == ['year-stats-table-row', 'year-stats__data-row']:\n",
    "        if flag_no_department:\n",
    "            level = get_level(td_list)\n",
    "            specialty = get_specialty(td_list)\n",
    "            \n",
    "            department = None\n",
    "        else:\n",
    "            department = get_department(td_list)\n",
    "         \n",
    "        if not flag_general:\n",
    "            subjects = get_subjects(td_list)\n",
    "            budget_plan = get_budget_plan(td_list)\n",
    "            budget = get_budget(td_list)\n",
    "            budget_passing_score = get_budget_passing_score(td_list)\n",
    "            paid_plan = get_paid_plan(td_list)\n",
    "            paid = get_paid(td_list)\n",
    "            paid_passing_score = get_paid_passing_score(td_list)\n",
    "            cost = get_cost(td_list)\n",
    "    \n",
    "        specialty_info = {'level': level,\n",
    "                          'specialty': specialty,\n",
    "                          'department': department,\n",
    "                          'subjects': subjects,\n",
    "                          'budget_plan': budget_plan,\n",
    "                          'budget': budget,\n",
    "                          'budget_passing_score': budget_passing_score,\n",
    "                          'paid_plan': paid_plan,\n",
    "                          'paid': paid,\n",
    "                          'paid_passing_score': paid_passing_score,\n",
    "                          'cost': cost}\n",
    "        \n",
    "        data.append(specialty_info)\n",
    "    \n",
    "    else:\n",
    "        #throw exception\n",
    "        break\n",
    "\n",
    "table = pd.DataFrame(data)\n",
    "table = table[['specialty', 'department', 'level', 'subjects', 'budget_plan', 'budget', 'budget_passing_score', 'paid_plan', 'paid', 'paid_passing_score', 'cost']]\n",
    "#table = table.drop(columns=['budget', 'paid'])\n",
    "table = table.set_index('specialty')\n",
    "table\n",
    "#writer = pd.ExcelWriter('output.xlsx', engine='xlsxwriter')\n",
    "#table.to_excel(writer,'Sheet1')\n",
    "#writer.save()\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[2485, 2415, 2476, 2410, 2489, 2280, 2380, 2486, 2389, 2575, 2391, 2482, 2401, 2398, 2399, 2381, 2416, 2364, 2278, 2492, 2414, 2265, 2384, 2393, 2394, 2395, 2377, 2371, 2480, 2383, 2379, 2479, 2658, 2457, 2390, 2274, 2493, 2400, 2388, 2387, 2281, 2611, 2397, 2385, 2487, 2273, 2382, 2411, 2477, 2376, 2266, 2378, 2488, 2392, 2494, 2490, 2478, 2386, 2396, 2418, 2403, 2275]\n"
     ]
    }
   ],
   "source": [
    "# формирование запроса для получения списка университетов в регионе\n",
    "#region = {438: {'name': 'Алтайский край', 'universities': []}}\n",
    "#region = {439: {'name': 'Амурская область', 'universities': []}}\n",
    "region_id = 467\n",
    "\n",
    "url = 'https://education.yandex.ru/universities/graphql'\n",
    "\n",
    "payload = {\n",
    "    \"query\": \"query SearchQuery($year: Int!, $subjectsStats: [SubjectScoreInput!]!, $possibleEducationTypes: [EDUCATION_TYPE!]!, $specialtyIds: [Int!], $regionsIds: [Int!], $requireMilitaryReserve: Boolean, $requireMilitaryContract: Boolean, $requireDormitory: Boolean) {\\n  search(input: {year: $year, subjectsStats: $subjectsStats, possibleEducationTypes: $possibleEducationTypes, specialtyIds: $specialtyIds, regionsIds: $regionsIds, requireMilitaryReserve: $requireMilitaryReserve, requireMilitaryContract: $requireMilitaryContract, requireDormitory: $requireDormitory}) {\\n    id\\n    title\\n    abbreviation\\n    city\\n    showCity\\n    parent {\\n      id\\n      title\\n      abbreviation\\n      __typename\\n    }\\n    admissions {\\n      id\\n      srcYear\\n      subjectIds\\n      budgetMinPointsSum\\n      paidMinPointsSum\\n      tuition\\n      creativeCompetitions\\n      faculties {\\n        id\\n        title\\n        abbreviation\\n        __typename\\n      }\\n      specialtyIds\\n      __typename\\n    }\\n    __typename\\n  }\\n}\\n\",\n",
    "    \"variables\": {\"year\": \"2017\", \"subjectsStats\": [],\n",
    "                  \"specialtyIds\": [1478,1479,1480,1481,1482,1483,1484,1485,1486,1487,\n",
    "                                   1488,1489,1490,1491,1492,1493,1494,1495,1496,1497,\n",
    "                                   1498,1499,1500,1501,1502,1503,1504,1505,1506,1507,\n",
    "                                   1508,1509,1510,1511,1512,1513,1514,1515,1516,1517,\n",
    "                                   1518,1519,1520,1521,1522,1523,1524,1525,1526,1527,\n",
    "                                   1528,1529,1530,1531,1532,1533,1534,1535,1536,1537,\n",
    "                                   1538,1539,1540,1541,1542,1543,1544,1545,1546,1547,\n",
    "                                   1548,1549,1550,1551,1552,1553,1554,1555,1556,1557,\n",
    "                                   1558,1559,1560,1561,1562,1563,1564,1565,1566,1567,\n",
    "                                   1568,1569,1570,1571,1572,1573,1574,1575,1576,1577,\n",
    "                                   1578,1579,1580,1581,1582,1583,1584,1585,1586,1587,\n",
    "                                   1588,1589,1590,1591,1592,1593,1594,1595,1596,1597,\n",
    "                                   1598,1599,1600,1601,1602,1603,1604,1605,1606,1607,\n",
    "                                   1608,1609,1610,1611,1612,1613,1614,1615,1616,1617,\n",
    "                                   1618,1619,1620,1621,1622,1623,1624,1625,1633,1634,\n",
    "                                   1635,1626,1627,1628,1629,1630,1631,1632,1636,1637,\n",
    "                                   1638,1639,1640,1644,1645,1646,1641,1642,1643,1647,\n",
    "                                   1648,1649,1650,1651,1652,1653,1654,1655,1656,1657,\n",
    "                                   1658,1659,1660,1661,1662,1663,1664,1665,1666,1667,\n",
    "                                   1668,1669,1670,1671,1672,1673,1674,1675,1676,1677,\n",
    "                                   1678,1679,1680,1681,1682,1683,1684,1685,1686,1687,\n",
    "                                   1688,1689,1690,1691,1692,1693,1694,1698,1699,1700,\n",
    "                                   1701,1702,1703,1695,1696,1697,1704,1705,1706,1707,\n",
    "                                   1708,1709,1710,1711,1712,1713,1714,1716,1717,1718,\n",
    "                                   1715,1719,1720,1721,1722,1723,1724,1725,1726,1727,\n",
    "                                   1728,1729,1730,1731,1732,1733,1734,1735,1736,1737,\n",
    "                                   1738,1739,1740,1741,1742,1743,1744,1745,1746,1747,\n",
    "                                   1748,1749,1750,1751,1752,1753,1754,1755,1756,1757,\n",
    "                                   1758,1759,1760,1761,1762,1763,1764,1765,1767,1769,\n",
    "                                   1770,1771,1766,1768,1772],\n",
    "                  \"possibleEducationTypes\": [\"APPLIED_BACHELOR\", \"ACADEMIC_BACHELOR\", \"SPECIALTY\"],\n",
    "                  \"regionsIds\": [],\n",
    "                  \"requireMilitaryReserve\": False, \"requireMilitaryContract\": False, \"requireDormitory\": False},\n",
    "    \"operationName\": \"SearchQuery\"}\n",
    "\n",
    "headers = {\n",
    "    'Content-Type': 'application/json',\n",
    "}\n",
    "\n",
    "#for region_id in regions.keys():\n",
    "payload['variables']['regionsIds'] = [region_id]\n",
    "response = requests.post(url, headers=headers,\n",
    "                         data=json.dumps(payload))\n",
    "#regions[region_id]['universities'].append(list(map(lambda x: x['id'], response.json()['data']['search'])))\n",
    "universitys_id = list(map(lambda x: x['id'], response.json()['data']['search']))\n",
    "\n",
    "print(universitys_id)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Российский государственный социальный университет \n",
      " 86\n",
      "Национальный исследовательский университет «Московский государственный институт электронной техники» \n",
      " None\n",
      "Российская академия народного хозяйства и государственной службы при Президенте РФ \n",
      " None\n",
      "Национальный исследовательский Московский государственный строительный университет \n",
      " 36\n",
      "Российский государственный университет туризма и сервиса \n",
      " 146\n",
      "Государственный университет по землеустройству \n",
      " 156\n",
      "Московский архитектурный институт (государственная академия) \n",
      " 235\n",
      "Российский государственный университет им. А. Н. Косыгина (Технологии. Дизайн. Искусство) \n",
      " 2006\n",
      "Московский государственный областной университет \n",
      " 67\n",
      "Технологический университет \n",
      " None\n",
      "Московский государственный технический университет им. Н. Э. Баумана \n",
      " 5\n",
      "Российский государственный гуманитарный университет \n",
      " 65\n",
      "Московский технологический университет \n",
      " 83\n",
      "Московский педагогический государственный университет \n",
      " 52\n",
      "Московский политехнический университет \n",
      " 51\n",
      "Московский городской педагогический университет \n",
      " 38\n",
      "Национальный исследовательский университет «Московский энергетический институт» \n",
      " None\n",
      "Литературный институт им. А. М. Горького \n",
      " 393\n",
      "Государственный социально-гуманитарный университет \n",
      " 296\n",
      "Российский университет дружбы народов \n",
      " 16\n",
      "Национальный исследовательский университет «Высшая школа экономики» \n",
      " None\n",
      "Всероссийская академия внешней торговли \n",
      " 212\n",
      "Московский государственный гуманитарный экономический университет \n",
      " 1026\n",
      "Московский государственный университет геодезии и картографии \n",
      " 200\n",
      "Московский государственный университет им. М. В. Ломоносова \n",
      " 1\n",
      "Московский государственный университет путей сообщения \n",
      " 60\n",
      "Московская государственная академия водного транспортафилиалГУМРФ им. С. О. Макарова \n",
      " 489\n",
      "Международный университет природы, общества и человека «Дубна» \n",
      " 369\n",
      "Российский государственный геологоразведочный университет им. Серго Орджоникидзе \n",
      " 293\n",
      "Московский городской университет управления Правительства Москвы \n",
      " 356\n",
      "Московский автомобильно-дорожный государственный технический университет \n",
      " None\n",
      "Российский государственный аграрный университет — МСХА им. К. А. Тимирязева \n",
      " 179\n",
      "Мытищинский филиал МГТУ им. Н. Э. Баумана (МГУЛ)филиалМГТУ им. Баумана \n",
      " 685\n",
      "Первый Московский государственный медицинский университет им. И. М. Сеченова \n",
      " 13\n",
      "Московский государственный технический университет гражданской авиации \n",
      " 151\n",
      "Государственный гуманитарно-технологический университет \n",
      " 657\n",
      "Российский химико-технологический университет им. Д. И. Менделеева \n",
      " 76\n",
      "Московский технический университет связи и информатики \n",
      " 147\n",
      "Московский государственный медико-стоматологический университет им. А. И. Евдокимова \n",
      " 44\n",
      "Московский государственный лингвистический университет \n",
      " 39\n",
      "Государственный университет управления \n",
      " 141\n",
      "Финансовый университет при Правительстве РФ \n",
      " 12\n",
      "Московский государственный юридический университет им. О. Е. Кутафина \n",
      " 22\n",
      "Московский государственный институт индустрии туризма им. Ю. А. Сенкевича \n",
      " 339\n",
      "Российский государственный университет нефти и газа им. И. М. Губкина \n",
      " 17\n",
      "Государственный академический университет гуманитарных наук \n",
      " 501\n",
      "Московский городской психолого-педагогический университет \n",
      " 107\n",
      "Национальный исследовательский технологический университет «Московский институт стали и сплавов» \n",
      " None\n",
      "Российская государственная академия интеллектуальной собственности \n",
      " 311\n",
      "Московская государственная академия ветеринарной медицины и биотехнологии им. К. И. Скрябина \n",
      " 309\n",
      "Всероссийский государственный университет юстиции (РПА Минюста России) \n",
      " 365\n",
      "Московский авиационный институт (национальный исследовательский университет) \n",
      " 34\n",
      "Российский государственный университет правосудия \n",
      " 272\n",
      "Московский государственный технологический университет «Станкин» \n",
      " 41\n",
      "Российский экономический университет им. Г. В. Плеханова \n",
      " 43\n",
      "Российский национальный исследовательский медицинский университет им. Н. И. Пирогова \n",
      " 36\n",
      "Российская таможенная академия \n",
      " 189\n",
      "Московский государственный институт международных отношений \n",
      " 20\n",
      "Московский государственный университет технологий и управления им. К. Г. Разумовского \n",
      " 45\n",
      "Национальный исследовательский ядерный университет «Московский инженерно-физический институт» \n",
      " 6\n",
      "Московский физико-технический институт (государственный университет) \n",
      " 3\n",
      "Государственный институт русского языка им. А. С. Пушкина \n",
      " 96\n"
     ]
    }
   ],
   "source": [
    "url_yandex = 'https://education.yandex.ru/universities/university/'\n",
    "\n",
    "url_vuzoteka = 'http://vuzoteka.ru/%D0%B2%D1%83%D0%B7%D1%8B/vuzi-form'\n",
    "headers = {'Content-Type': 'application/x-www-form-urlencoded'}\n",
    "\n",
    "universities_id = [2485, 2415, 2476, 2410, 2489, 2280, 2380, 2486, 2389, 2575, 2391, 2482, 2401, 2398, 2399, 2381, 2416, 2364, 2278, 2492, 2414, 2265, 2384, 2393, 2394, 2395, 2377, 2371, 2480, 2383, 2379, 2479, 2658, 2457, 2390, 2274, 2493, 2400, 2388, 2387, 2281, 2611, 2397, 2385, 2487, 2273, 2382, 2411, 2477, 2376, 2266, 2378, 2488, 2392, 2494, 2490, 2478, 2386, 2396, 2418, 2403, 2275]\n",
    "\n",
    "for university_id in universities_id:\n",
    "    university_page = requests.get(url_yandex + str(university_id))\n",
    "    \n",
    "    soup = BeautifulSoup(university_page.text, 'html.parser')\n",
    "    \n",
    "    university_name = soup.find('h1', attrs={'class': ['university-title__title']}).text\n",
    "    count = 3\n",
    "    response = requests.post(url_vuzoteka, headers=headers, data={'q': university_name[:count]})\n",
    "    size = response.json()['foundCount']\n",
    "    stop_counter = 0\n",
    "    while size == -1 or (size > 1 and stop_counter < 40):\n",
    "        count += 1\n",
    "        response = requests.post(url_vuzoteka, headers=headers, data={'q': university_name[:count]})\n",
    "        size_new = response.json()['foundCount']\n",
    "        if size_new != -1 and size_new == size:\n",
    "            stop_counter += 1\n",
    "        size = size_new\n",
    "    \n",
    "    if size == 1:\n",
    "        print(university_name, '\\n', response.json()['data'][0]['place'])\n",
    "    else:\n",
    "        print(university_name, '\\n', None)\n",
    "        \n",
    "    sleep(np.random.random() % 3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['a', 'b', 'c']"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "a = {'a': 2, 'b': 4, 'c': 3}\n",
    "list(a.keys())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "True\n"
     ]
    }
   ],
   "source": [
    "a = ['a', 'b', 'c']\n",
    "b = 'b'\n",
    "print(b in a)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}