PySpark_Tudos_Sobre_Joins_Parte_I.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "PySpark - Tudos Sobre Joins Parte I.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "authorship_tag": "ABX9TyNH+A+vs7228lAQ9+g9j0EV",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/saurater/ciencia_de_dados_pyspark/blob/main/PySpark_Tudos_Sobre_Joins_Parte_I.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# PySpark - Tudo sobre Joins - Parte I\n",
        "\n",
        "## Adaptação do IGTI por Sam Faraday\n",
        "\n",
        "June 2022"
      ],
      "metadata": {
        "application/vnd.databricks.v1+cell": {
          "title": "",
          "showTitle": false,
          "inputWidgets": {},
          "nuid": "c233a29b-65a1-4708-b383-3e6398c2688d"
        },
        "id": "V7rpmWN2CMje"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Instala o Pyspark"
      ],
      "metadata": {
        "id": "FGrhPD2kjG1A"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "pip install pyspark"
      ],
      "metadata": {
        "id": "p-Lyy7XEC7VF",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "3831da9f-33a6-4190-97cc-858da2b51dd6"
      },
      "execution_count": 70,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/\n",
            "Requirement already satisfied: pyspark in /usr/local/lib/python3.7/dist-packages (3.2.1)\n",
            "Requirement already satisfied: py4j==0.10.9.3 in /usr/local/lib/python3.7/dist-packages (from pyspark) (0.10.9.3)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Importa o SparkSession e Cria a Sessão"
      ],
      "metadata": {
        "id": "-ojGe1jMjF7a"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from pyspark.sql import SparkSession\n",
        "spark  =  SparkSession.builder.appName(\"Minhas_Joins\").getOrCreate()"
      ],
      "metadata": {
        "application/vnd.databricks.v1+cell": {
          "title": "Importa e Inicia uma Sessão",
          "showTitle": true,
          "inputWidgets": {},
          "nuid": "e3cbe37e-eb71-4154-9e36-b0da7be52ed5"
        },
        "id": "emDOhokjCMji"
      },
      "outputs": [],
      "execution_count": 71
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Crio as Listas\n",
        "\n",
        "Notas: \n",
        "\n",
        "Anderson só existe na Lista 1\n",
        "\n",
        "Fernanda só existe na Lista 2"
      ],
      "metadata": {
        "id": "I9TofM31jiap"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "minha_lista_1 = [(\"Sam\", 49), (\"Leticia\", 28), (\"Gabriel\",25), (\"Anderson\", 22)]\n",
        "\n",
        "minha_lista_2 = [(\"Sam\", \"CE\"), (\"Leticia\", \"RG\"), (\"Gabriel\", \"PR\"),(\"Fernanda\", 27)]"
      ],
      "metadata": {
        "id": "raFE-AOvf0UV"
      },
      "execution_count": 72,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Transforme essas listas em um RDD com o parallelize"
      ],
      "metadata": {
        "id": "0RXPyNUpjlto"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "minha_rdd_1 = spark.sparkContext.parallelize(minha_lista_1)\n",
        "\n",
        "minha_rdd_2 = spark.sparkContext.parallelize(minha_lista_2)"
      ],
      "metadata": {
        "id": "9jqnPzobf9kd"
      },
      "execution_count": 73,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Join \n",
        "junta o que for comum nas duas listas\n",
        "## leftOuterJoin \n",
        "pega tudo que existir na primeira lista\n",
        "mesmo que não exista na segunda, e junta com a segunda\n",
        "\n",
        "##rightOuterJoin \n",
        "pega tudo que existir na segunda lista,\n",
        "mesmo que não exista na primeirae junta com a primeira\n",
        "\n",
        "## fulltOuterJoin \n",
        "pega tudo, tanto da primeira como da segunda lista"
      ],
      "metadata": {
        "id": "PRucNyXkp1iO"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "minhas_rdds_join = minha_rdd_1.join(minha_rdd_2) \n",
        "print(\"#join junta o que for comum nas duas listas \\n\" , \\\n",
        "      minhas_rdds_join.collect(), \"\\n \\n \") \n",
        "#cuidado: o Collect traz tudo de todos os workers para o master\n",
        "# se for realmente Big Data e você não tiver RAM o suficente, vai dar pau\n",
        "\n",
        "minhas_rdds_join = minha_rdd_1.leftOuterJoin(minha_rdd_2) \n",
        "print(\"#leftOuterJoin pega tudo que existir na primeira lista \\n \\\n",
        "mesmo que não exista na segunda, \\n e junta com a segunda \\n\" , \\\n",
        "minhas_rdds_join.collect(), \"\\n \\n\") \n",
        "\n",
        "minhas_rdds_join = minha_rdd_1.rightOuterJoin(minha_rdd_2) \n",
        "print(\"#rightOuterJoin pega tudo que existir na segunda lista \\n \\\n",
        "mesmo que não exista na primeira, \\n e junta com a primeira \\n\" , \\\n",
        "minhas_rdds_join.collect(), \"\\n \\n\")\n",
        "\n",
        "minhas_rdds_join = minha_rdd_1.fullOuterJoin(minha_rdd_2) \n",
        "print(\"#fulltOuterJoin pega tudo tanto da primeira como da segunda \\n\", \\\n",
        "minhas_rdds_join.collect(), \"\\n \\n\")\n"
      ],
      "metadata": {
        "id": "OmpkJ_yEzMc8",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "2b9a4a07-412b-42f4-ea3b-bf6609afad1a"
      },
      "execution_count": 93,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "#join junta o que for comum nas duas listas \n",
            " [('Leticia', (28, 'RG')), ('Gabriel', (25, 'PR')), ('Sam', (49, 'CE'))] \n",
            " \n",
            " \n",
            "#leftOuterJoin pega tudo que existir na primeira lista \n",
            " mesmo que não exista na segunda, \n",
            " e junta com a segunda \n",
            " [('Anderson', (22, None)), ('Leticia', (28, 'RG')), ('Gabriel', (25, 'PR')), ('Sam', (49, 'CE'))] \n",
            " \n",
            "\n",
            "#rightOuterJoin pega tudo que existir na segunda lista \n",
            " mesmo que não exista na primeira, \n",
            " e junta com a primeira \n",
            " [('Leticia', (28, 'RG')), ('Gabriel', (25, 'PR')), ('Sam', (49, 'CE')), ('Fernanda', (None, 27))] \n",
            " \n",
            "\n",
            "#fulltOuterJoin pega tudo tanto da primeira como da segunda \n",
            " [('Anderson', (22, None)), ('Leticia', (28, 'RG')), ('Gabriel', (25, 'PR')), ('Sam', (49, 'CE')), ('Fernanda', (None, 27))] \n",
            " \n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Salvando os RDD's"
      ],
      "metadata": {
        "id": "WAsUkKEVADSk"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "minhas_rdds_join.saveAsTextFile(\"RDDs_salvas\")\n"
      ],
      "metadata": {
        "id": "LkEvZPN_ADZ3"
      },
      "execution_count": 94,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        ""
      ],
      "metadata": {
        "id": "rsiRFA9PAq5E"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "minhas_rdds_join.repartition(1).saveAsTextFile(\"RDDs_salvas_uma_particao\")"
      ],
      "metadata": {
        "id": "VJrAO_bDArDs"
      },
      "execution_count": 96,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        ""
      ],
      "metadata": {
        "id": "cgDlUu7NA5qg"
      },
      "execution_count": null,
      "outputs": []
    }
  ]
}