tokenizer.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Tokenizer/preprocesser"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "import gensim\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "dutch_stopwords = ['aan',\n",
    " 'aangaande',\n",
    " 'aangezien',\n",
    " 'achte',\n",
    " 'achter',\n",
    " 'achterna',\n",
    " 'af',\n",
    " 'afgelopen',\n",
    " 'al',\n",
    " 'aldaar',\n",
    " 'aldus',\n",
    " 'alhoewel',\n",
    " 'alias',\n",
    " 'alle',\n",
    " 'allebei',\n",
    " 'alleen',\n",
    " 'alles',\n",
    " 'als',\n",
    " 'alsnog',\n",
    " 'altijd',\n",
    " 'altoos',\n",
    " 'ander',\n",
    " 'andere',\n",
    " 'anders',\n",
    " 'anderszins',\n",
    " 'beetje',\n",
    " 'behalve',\n",
    " 'behoudens',\n",
    " 'beide',\n",
    " 'beiden',\n",
    " 'ben',\n",
    " 'beneden',\n",
    " 'bent',\n",
    " 'bepaald',\n",
    " 'betreffende',\n",
    " 'bij',\n",
    " 'bijna',\n",
    " 'bijv',\n",
    " 'binnen',\n",
    " 'binnenin',\n",
    " 'blijkbaar',\n",
    " 'blijken',\n",
    " 'boven',\n",
    " 'bovenal',\n",
    " 'bovendien',\n",
    " 'bovengenoemd',\n",
    " 'bovenstaand',\n",
    " 'bovenvermeld',\n",
    " 'buiten',\n",
    " 'bv',\n",
    " 'daar',\n",
    " 'daardoor',\n",
    " 'daarheen',\n",
    " 'daarin',\n",
    " 'daarna',\n",
    " 'daarnet',\n",
    " 'daarom',\n",
    " 'daarop',\n",
    " 'daaruit',\n",
    " 'daarvanlangs',\n",
    " 'dan',\n",
    " 'dat',\n",
    " 'de',\n",
    " 'deden',\n",
    " 'deed',\n",
    " 'der',\n",
    " 'derde',\n",
    " 'derhalve',\n",
    " 'dertig',\n",
    " 'deze',\n",
    " 'dhr',\n",
    " 'die',\n",
    " 'dikwijls',\n",
    " 'dit',\n",
    " 'doch',\n",
    " 'doe',\n",
    " 'doen',\n",
    " 'doet',\n",
    " 'door',\n",
    " 'doorgaand',\n",
    " 'drie',\n",
    " 'duizend',\n",
    " 'dus',\n",
    " 'echter',\n",
    " 'een',\n",
    " 'eens',\n",
    " 'eer',\n",
    " 'eerdat',\n",
    " 'eerder',\n",
    " 'eerlang',\n",
    " 'eerst',\n",
    " 'eerste',\n",
    " 'eigen',\n",
    " 'eigenlijk',\n",
    " 'elk',\n",
    " 'elke',\n",
    " 'en',\n",
    " 'enig',\n",
    " 'enige',\n",
    " 'enigszins',\n",
    " 'enkel',\n",
    " 'er',\n",
    " 'erdoor',\n",
    " 'erg',\n",
    " 'ergens',\n",
    " 'etc',\n",
    " 'etcetera',\n",
    " 'even',\n",
    " 'eveneens',\n",
    " 'evenwel',\n",
    " 'gauw',\n",
    " 'ge',\n",
    " 'gedurende',\n",
    " 'geen',\n",
    " 'gehad',\n",
    " 'gekund',\n",
    " 'geleden',\n",
    " 'gelijk',\n",
    " 'gemoeten',\n",
    " 'gemogen',\n",
    " 'genoeg',\n",
    " 'geweest',\n",
    " 'gewoon',\n",
    " 'gewoonweg',\n",
    " 'haar',\n",
    " 'haarzelf',\n",
    " 'had',\n",
    " 'hadden',\n",
    " 'hare',\n",
    " 'heb',\n",
    " 'hebben',\n",
    " 'hebt',\n",
    " 'hedden',\n",
    " 'heeft',\n",
    " 'heel',\n",
    " 'hem',\n",
    " 'hemzelf',\n",
    " 'hen',\n",
    " 'het',\n",
    " 'hetzelfde',\n",
    " 'hier',\n",
    " 'hierbeneden',\n",
    " 'hierboven',\n",
    " 'hierin',\n",
    " 'hierna',\n",
    " 'hierom',\n",
    " 'hij',\n",
    " 'hijzelf',\n",
    " 'hoe',\n",
    " 'hoewel',\n",
    " 'honderd',\n",
    " 'hun',\n",
    " 'hunne',\n",
    " 'ieder',\n",
    " 'iedere',\n",
    " 'iedereen',\n",
    " 'iemand',\n",
    " 'iets',\n",
    " 'ik',\n",
    " 'ikzelf',\n",
    " 'in',\n",
    " 'inderdaad',\n",
    " 'inmiddels',\n",
    " 'intussen',\n",
    " 'inzake',\n",
    " 'is',\n",
    " 'ja',\n",
    " 'je',\n",
    " 'jezelf',\n",
    " 'jij',\n",
    " 'jijzelf',\n",
    " 'jou',\n",
    " 'jouw',\n",
    " 'jouwe',\n",
    " 'juist',\n",
    " 'jullie',\n",
    " 'kan',\n",
    " 'klaar',\n",
    " 'kon',\n",
    " 'konden',\n",
    " 'krachtens',\n",
    " 'kun',\n",
    " 'kunnen',\n",
    " 'kunt',\n",
    " 'laatst',\n",
    " 'later',\n",
    " 'liever',\n",
    " 'lijken',\n",
    " 'lijkt',\n",
    " 'maak',\n",
    " 'maakt',\n",
    " 'maakte',\n",
    " 'maakten',\n",
    " 'maar',\n",
    " 'mag',\n",
    " 'maken',\n",
    " 'me',\n",
    " 'meer',\n",
    " 'meest',\n",
    " 'meestal',\n",
    " 'men',\n",
    " 'met',\n",
    " 'mevr',\n",
    " 'mezelf',\n",
    " 'mij',\n",
    " 'mijn',\n",
    " 'mijnent',\n",
    " 'mijner',\n",
    " 'mijzelf',\n",
    " 'minder',\n",
    " 'miss',\n",
    " 'misschien',\n",
    " 'missen',\n",
    " 'mits',\n",
    " 'mocht',\n",
    " 'mochten',\n",
    " 'moest',\n",
    " 'moesten',\n",
    " 'moet',\n",
    " 'moeten',\n",
    " 'mogen',\n",
    " 'mr',\n",
    " 'mrs',\n",
    " 'mw',\n",
    " 'na',\n",
    " 'naar',\n",
    " 'nadat',\n",
    " 'nam',\n",
    " 'namelijk',\n",
    " 'nee',\n",
    " 'neem',\n",
    " 'negen',\n",
    " 'nemen',\n",
    " 'nergens',\n",
    " 'net',\n",
    " 'niemand',\n",
    " 'niet',\n",
    " 'niets',\n",
    " 'niks',\n",
    " 'noch',\n",
    " 'nochtans',\n",
    " 'nog',\n",
    " 'nogal',\n",
    " 'nooit',\n",
    " 'nu',\n",
    " 'nv',\n",
    " 'of',\n",
    " 'ofschoon',\n",
    " 'om',\n",
    " 'omdat',\n",
    " 'omhoog',\n",
    " 'omlaag',\n",
    " 'omstreeks',\n",
    " 'omtrent',\n",
    " 'omver',\n",
    " 'ondanks',\n",
    " 'onder',\n",
    " 'ondertussen',\n",
    " 'ongeveer',\n",
    " 'ons',\n",
    " 'onszelf',\n",
    " 'onze',\n",
    " 'onzeker',\n",
    " 'ooit',\n",
    " 'ook',\n",
    " 'op',\n",
    " 'opnieuw',\n",
    " 'opzij',\n",
    " 'over',\n",
    " 'overal',\n",
    " 'overeind',\n",
    " 'overige',\n",
    " 'overigens',\n",
    " 'paar',\n",
    " 'pas',\n",
    " 'per',\n",
    " 'precies',\n",
    " 'recent',\n",
    " 'redelijk',\n",
    " 'reeds',\n",
    " 'rond',\n",
    " 'rondom',\n",
    " 'samen',\n",
    " 'sedert',\n",
    " 'sinds',\n",
    " 'sindsdien',\n",
    " 'slechts',\n",
    " 'sommige',\n",
    " 'spoedig',\n",
    " 'steeds',\n",
    " 'tamelijk',\n",
    " 'te',\n",
    " 'tegen',\n",
    " 'tegenover',\n",
    " 'tenzij',\n",
    " 'terwijl',\n",
    " 'thans',\n",
    " 'tien',\n",
    " 'tiende',\n",
    " 'tijdens',\n",
    " 'tja',\n",
    " 'toch',\n",
    " 'toe',\n",
    " 'toen',\n",
    " 'toenmaals',\n",
    " 'toenmalig',\n",
    " 'tot',\n",
    " 'totdat',\n",
    " 'tussen',\n",
    " 'twee',\n",
    " 'tweede',\n",
    " 'u',\n",
    " 'uit',\n",
    " 'uitgezonderd',\n",
    " 'uw',\n",
    " 'vaak',\n",
    " 'vaakwat',\n",
    " 'van',\n",
    " 'vanaf',\n",
    " 'vandaan',\n",
    " 'vanuit',\n",
    " 'vanwege',\n",
    " 'veel',\n",
    " 'veeleer',\n",
    " 'veertig',\n",
    " 'verder',\n",
    " 'verscheidene',\n",
    " 'verschillende',\n",
    " 'vervolgens',\n",
    " 'via',\n",
    " 'vier',\n",
    " 'vierde',\n",
    " 'vijf',\n",
    " 'vijfde',\n",
    " 'vijftig',\n",
    " 'vol',\n",
    " 'volgend',\n",
    " 'volgens',\n",
    " 'voor',\n",
    " 'vooraf',\n",
    " 'vooral',\n",
    " 'vooralsnog',\n",
    " 'voorbij',\n",
    " 'voordat',\n",
    " 'voordezen',\n",
    " 'voordien',\n",
    " 'voorheen',\n",
    " 'voorop',\n",
    " 'voorts',\n",
    " 'vooruit',\n",
    " 'vrij',\n",
    " 'vroeg',\n",
    " 'waar',\n",
    " 'waarom',\n",
    " 'waarschijnlijk',\n",
    " 'wanneer',\n",
    " 'want',\n",
    " 'waren',\n",
    " 'was',\n",
    " 'wat',\n",
    " 'we',\n",
    " 'wederom',\n",
    " 'weer',\n",
    " 'weg',\n",
    " 'wegens',\n",
    " 'weinig',\n",
    " 'wel',\n",
    " 'weldra',\n",
    " 'welk',\n",
    " 'welke',\n",
    " 'werd',\n",
    " 'werden',\n",
    " 'werder',\n",
    " 'wezen',\n",
    " 'whatever',\n",
    " 'wie',\n",
    " 'wiens',\n",
    " 'wier',\n",
    " 'wij',\n",
    " 'wijzelf',\n",
    " 'wil',\n",
    " 'wilden',\n",
    " 'willen',\n",
    " 'word',\n",
    " 'worden',\n",
    " 'wordt',\n",
    " 'zal',\n",
    " 'ze',\n",
    " 'zei',\n",
    " 'zeker',\n",
    " 'zelf',\n",
    " 'zelfde',\n",
    " 'zelfs',\n",
    " 'zes',\n",
    " 'zeven',\n",
    " 'zich',\n",
    " 'zichzelf',\n",
    " 'zij',\n",
    " 'zijn',\n",
    " 'zijne',\n",
    " 'zijzelf',\n",
    " 'zo',\n",
    " 'zoals',\n",
    " 'zodat',\n",
    " 'zodra',\n",
    " 'zonder',\n",
    " 'zou',\n",
    " 'zouden',\n",
    " 'zowat',\n",
    " 'zulk',\n",
    " 'zulke',\n",
    " 'zullen',\n",
    " 'zult',\n",
    " 'a',\n",
    " 'aan',\n",
    " 'aangaande',\n",
    " 'aangezien',\n",
    " 'achter',\n",
    " 'achterna',\n",
    " 'aen',\n",
    " 'af',\n",
    " 'afd',\n",
    " 'afgelopen',\n",
    " 'agter',\n",
    " 'al',\n",
    " 'aldaar',\n",
    " 'aldus',\n",
    " 'alhoewel',\n",
    " 'alias',\n",
    " 'alle',\n",
    " 'allebei',\n",
    " 'alleen',\n",
    " 'alleenlyk',\n",
    " 'allen',\n",
    " 'alles',\n",
    " 'als',\n",
    " 'alsnog',\n",
    " 'altijd',\n",
    " 'altoos',\n",
    " 'altyd',\n",
    " 'ander',\n",
    " 'andere',\n",
    " 'anderen',\n",
    " 'anders',\n",
    " 'anderszins',\n",
    " 'anm',\n",
    " 'b',\n",
    " 'behalve',\n",
    " 'behoudens',\n",
    " 'beide',\n",
    " 'beiden',\n",
    " 'ben',\n",
    " 'beneden',\n",
    " 'bent',\n",
    " 'bepaald',\n",
    " 'beter',\n",
    " 'betere',\n",
    " 'betreffende',\n",
    " 'bij',\n",
    " 'bijna',\n",
    " 'bijvoorbeeld',\n",
    " 'bijv',\n",
    " 'binnen',\n",
    " 'binnenin',\n",
    " 'bizonder',\n",
    " 'bizondere',\n",
    " 'bl',\n",
    " 'blz',\n",
    " 'boven',\n",
    " 'bovenal',\n",
    " 'bovendien',\n",
    " 'bovengenoemd',\n",
    " 'bovenstaand',\n",
    " 'bovenvermeld',\n",
    " 'buiten',\n",
    " 'by',\n",
    " 'daar',\n",
    " 'daarheen',\n",
    " 'daarin',\n",
    " 'daarna',\n",
    " 'daarnet',\n",
    " 'daarom',\n",
    " 'daarop',\n",
    " 'daarvanlangs',\n",
    " 'daer',\n",
    " 'dan',\n",
    " 'dat',\n",
    " 'de',\n",
    " 'deeze',\n",
    " 'den',\n",
    " 'der',\n",
    " 'ders',\n",
    " 'derzelver',\n",
    " 'des',\n",
    " 'deszelfs',\n",
    " 'deszelvs',\n",
    " 'deze',\n",
    " 'dezelfde',\n",
    " 'dezelve',\n",
    " 'dezelven',\n",
    " 'dezen',\n",
    " 'dezer',\n",
    " 'dezulke',\n",
    " 'die',\n",
    " 'dien',\n",
    " 'dikwijls',\n",
    " 'dikwyls',\n",
    " 'dit',\n",
    " 'dl',\n",
    " 'doch',\n",
    " 'doen',\n",
    " 'doet',\n",
    " 'dog',\n",
    " 'door',\n",
    " 'doorgaand',\n",
    " 'doorgaans',\n",
    " 'dr',\n",
    " 'dra',\n",
    " 'ds',\n",
    " 'dus',\n",
    " 'echter',\n",
    " 'ed',\n",
    " 'een',\n",
    " 'eene',\n",
    " 'eenen',\n",
    " 'eener',\n",
    " 'eenig',\n",
    " 'eenige',\n",
    " 'eens',\n",
    " 'eer',\n",
    " 'eerdat',\n",
    " 'eerder',\n",
    " 'eerlang',\n",
    " 'eerst',\n",
    " 'eerste',\n",
    " 'eersten',\n",
    " 'effe',\n",
    " 'egter',\n",
    " 'eigen',\n",
    " 'eigene',\n",
    " 'elk',\n",
    " 'elkanderen',\n",
    " 'elkanderens',\n",
    " 'elke',\n",
    " 'en',\n",
    " 'enig',\n",
    " 'enige',\n",
    " 'enigerlei',\n",
    " 'enigszins',\n",
    " 'enkel',\n",
    " 'enkele',\n",
    " 'enz',\n",
    " 'er',\n",
    " 'erdoor',\n",
    " 'et',\n",
    " 'etc',\n",
    " 'even',\n",
    " 'eveneens',\n",
    " 'evenwel',\n",
    " 'ff',\n",
    " 'gauw',\n",
    " 'ge',\n",
    " 'gebragt',\n",
    " 'gedurende',\n",
    " 'geen',\n",
    " 'geene',\n",
    " 'geenen',\n",
    " 'gegeven',\n",
    " 'gehad',\n",
    " 'geheel',\n",
    " 'geheele',\n",
    " 'gekund',\n",
    " 'geleden',\n",
    " 'gelijk',\n",
    " 'gelyk',\n",
    " 'gemoeten',\n",
    " 'gemogen',\n",
    " 'geven',\n",
    " 'geweest',\n",
    " 'gewoon',\n",
    " 'gewoonweg',\n",
    " 'geworden',\n",
    " 'gezegt',\n",
    " 'gij',\n",
    " 'gt',\n",
    " 'gy',\n",
    " 'haar',\n",
    " 'had',\n",
    " 'hadden',\n",
    " 'hadt',\n",
    " 'haer',\n",
    " 'haere',\n",
    " 'haeren',\n",
    " 'haerer',\n",
    " 'hans',\n",
    " 'hare',\n",
    " 'heb',\n",
    " 'hebben',\n",
    " 'hebt',\n",
    " 'heeft',\n",
    " 'hele',\n",
    " 'hem',\n",
    " 'hen',\n",
    " 'het',\n",
    " 'hier',\n",
    " 'hierbeneden',\n",
    " 'hierboven',\n",
    " 'hierin',\n",
    " 'hij',\n",
    " 'hoe',\n",
    " 'hoewel',\n",
    " 'hun',\n",
    " 'hunne',\n",
    " 'hunner',\n",
    " 'hy',\n",
    " 'ibid',\n",
    " 'idd',\n",
    " 'ieder',\n",
    " 'iemand',\n",
    " 'iet',\n",
    " 'iets',\n",
    " 'ii',\n",
    " 'iig',\n",
    " 'ik',\n",
    " 'ikke',\n",
    " 'ikzelf',\n",
    " 'in',\n",
    " 'indien',\n",
    " 'inmiddels',\n",
    " 'inz',\n",
    " 'inzake',\n",
    " 'is',\n",
    " 'ja',\n",
    " 'je',\n",
    " 'jezelf',\n",
    " 'jij',\n",
    " 'jijzelf',\n",
    " 'jou',\n",
    " 'jouw',\n",
    " 'jouwe',\n",
    " 'juist',\n",
    " 'jullie',\n",
    " 'kan',\n",
    " 'klaar',\n",
    " 'kon',\n",
    " 'konden',\n",
    " 'krachtens',\n",
    " 'kunnen',\n",
    " 'kunt',\n",
    " 'laetste',\n",
    " 'lang',\n",
    " 'later',\n",
    " 'liet',\n",
    " 'liever',\n",
    " 'like',\n",
    " 'm',\n",
    " 'maar',\n",
    " 'maeken',\n",
    " 'maer',\n",
    " 'mag',\n",
    " 'martin',\n",
    " 'me',\n",
    " 'mede',\n",
    " 'meer',\n",
    " 'meesten',\n",
    " 'men',\n",
    " 'menigwerf',\n",
    " 'met',\n",
    " 'mezelf',\n",
    " 'mij',\n",
    " 'mijn',\n",
    " 'mijnent',\n",
    " 'mijner',\n",
    " 'mijzelf',\n",
    " 'min',\n",
    " 'minder',\n",
    " 'misschien',\n",
    " 'mocht',\n",
    " 'mochten',\n",
    " 'moest',\n",
    " 'moesten',\n",
    " 'moet',\n",
    " 'moeten',\n",
    " 'mogelijk',\n",
    " 'mogelyk',\n",
    " 'mogen',\n",
    " 'my',\n",
    " 'myn',\n",
    " 'myne',\n",
    " 'mynen',\n",
    " 'myner',\n",
    " 'myzelf',\n",
    " 'na',\n",
    " 'naar',\n",
    " 'nabij',\n",
    " 'nadat',\n",
    " 'naer',\n",
    " 'net',\n",
    " 'niet',\n",
    " 'niets',\n",
    " 'nimmer',\n",
    " 'nit',\n",
    " 'no',\n",
    " 'noch',\n",
    " 'nog',\n",
    " 'nogal',\n",
    " 'nooit',\n",
    " 'nr',\n",
    " 'nu',\n",
    " 'o',\n",
    " 'of',\n",
    " 'ofschoon',\n",
    " 'om',\n",
    " 'omdat',\n",
    " 'omhoog',\n",
    " 'omlaag',\n",
    " 'omstreeks',\n",
    " 'omtrent',\n",
    " 'omver',\n",
    " 'onder',\n",
    " 'ondertussen',\n",
    " 'ongeveer',\n",
    " 'ons',\n",
    " 'onszelf',\n",
    " 'onze',\n",
    " 'onzen',\n",
    " 'onzer',\n",
    " 'ooit',\n",
    " 'ook',\n",
    " 'oorspr',\n",
    " 'op',\n",
    " 'opdat ',\n",
    " 'opnieuw',\n",
    " 'opzij',\n",
    " 'opzy',\n",
    " 'over',\n",
    " 'overeind',\n",
    " 'overigens',\n",
    " 'p',\n",
    " 'pas',\n",
    " 'pp',\n",
    " 'precies',\n",
    " 'pres',\n",
    " 'prof',\n",
    " 'publ',\n",
    " 'reeds',\n",
    " 'rond',\n",
    " 'rondom',\n",
    " 'rug',\n",
    " 's',\n",
    " 'sedert',\n",
    " 'sinds',\n",
    " 'sindsdien',\n",
    " 'sl',\n",
    " 'slechts',\n",
    " 'sommige',\n",
    " 'spoedig',\n",
    " 'st',\n",
    " 'steeds',\n",
    " 'sy',\n",
    " 't',\n",
    " 'tamelijk',\n",
    " 'tamelyk',\n",
    " 'te',\n",
    " 'tegen',\n",
    " 'tegens',\n",
    " 'ten',\n",
    " 'tenzij',\n",
    " 'ter',\n",
    " 'terwijl',\n",
    " 'terwyl',\n",
    " 'thans',\n",
    " 'tijdens',\n",
    " 'toch',\n",
    " 'toe',\n",
    " 'toen',\n",
    " 'toenmaals',\n",
    " 'toenmalig',\n",
    " 'tot',\n",
    " 'totdat',\n",
    " 'tusschen',\n",
    " 'tussen',\n",
    " 'tydens',\n",
    " 'u',\n",
    " 'uit',\n",
    " 'uitg',\n",
    " 'uitgezonderd',\n",
    " 'uw',\n",
    " 'uwe',\n",
    " 'uwen',\n",
    " 'uwer',\n",
    " 'vaak',\n",
    " 'vaakwat',\n",
    " 'vakgr',\n",
    " 'van',\n",
    " 'vanaf',\n",
    " 'vandaan',\n",
    " 'vanuit',\n",
    " 'vanwege',\n",
    " 'veel',\n",
    " 'veeleer',\n",
    " 'veelen',\n",
    " 'verder',\n",
    " 'verre',\n",
    " 'vert',\n",
    " 'vervolgens',\n",
    " 'vgl',\n",
    " 'vol',\n",
    " 'volgens',\n",
    " 'voor',\n",
    " 'vooraf',\n",
    " 'vooral',\n",
    " 'vooralsnog',\n",
    " 'voorbij',\n",
    " 'voorby',\n",
    " 'voordat',\n",
    " 'voordezen',\n",
    " 'voordien',\n",
    " 'voorheen',\n",
    " 'voorop',\n",
    " 'voort',\n",
    " 'voortgez',\n",
    " 'voorts',\n",
    " 'voortz',\n",
    " 'vooruit',\n",
    " 'vrij',\n",
    " 'vroeg',\n",
    " 'vry',\n",
    " 'waar',\n",
    " 'waarom',\n",
    " 'wanneer',\n",
    " 'want',\n",
    " 'waren',\n",
    " 'was',\n",
    " 'wat',\n",
    " 'we',\n",
    " 'weer',\n",
    " 'weg',\n",
    " 'wege',\n",
    " 'wegens',\n",
    " 'weinig',\n",
    " 'weinige',\n",
    " 'wel',\n",
    " 'weldra',\n",
    " 'welk',\n",
    " 'welke',\n",
    " 'welken',\n",
    " 'welker',\n",
    " 'werd',\n",
    " 'werden',\n",
    " 'werdt',\n",
    " 'wezen',\n",
    " 'wie',\n",
    " 'wiens',\n",
    " 'wier',\n",
    " 'wierd',\n",
    " 'wierden',\n",
    " 'wij',\n",
    " 'wijzelf',\n",
    " 'wil',\n",
    " 'wilde',\n",
    " 'worden',\n",
    " 'wordt',\n",
    " 'wy',\n",
    " 'wyze',\n",
    " 'wyzelf',\n",
    " 'zal',\n",
    " 'ze',\n",
    " 'zeer',\n",
    " 'zei',\n",
    " 'zeker',\n",
    " 'zekere',\n",
    " 'zelf',\n",
    " 'zelfde',\n",
    " 'zelfs',\n",
    " 'zelve',\n",
    " 'zelven',\n",
    " 'zelvs',\n",
    " 'zich',\n",
    " 'zichzelf',\n",
    " 'zichzelve',\n",
    " 'zichzelven',\n",
    " 'zie',\n",
    " 'zig',\n",
    " 'zij',\n",
    " 'zijn',\n",
    " 'zijnde',\n",
    " 'zijne',\n",
    " 'zijner',\n",
    " 'zo',\n",
    " \"zo'n\",\n",
    " 'zoals',\n",
    " 'zodra',\n",
    " 'zommige',\n",
    " 'zommigen',\n",
    " 'zonder',\n",
    " 'zoo',\n",
    " 'zou',\n",
    " 'zoude',\n",
    " 'zouden',\n",
    " 'zoveel',\n",
    " 'zowat',\n",
    " 'zulk',\n",
    " 'zulke',\n",
    " 'zulks',\n",
    " 'zullen',\n",
    " 'zult',\n",
    " 'zy',\n",
    " 'zyn',\n",
    " 'zynde',\n",
    " 'zyne',\n",
    " 'zynen',\n",
    " 'zyner',\n",
    " 'zyns',\n",
    " 'eh',\n",
    " 'eeh',\n",
    " 'uhm',\n",
    " 'uhhum',\n",
    " 'hum',\n",
    " 'humum',\n",
    " 'ehhh',\n",
    " 'he',\n",
    " 'nou']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "dutch_stopwords_processed = gensim.utils.simple_preprocess(' '.join(dutch_stopwords),deacc=True)\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "def preprocess_fragment(fragment,stopwords=dutch_stopwords_processed):\n",
    "    preprocessed_fragment = [token for token in gensim.utils.simple_preprocess(fragment,deacc=True) if token not in stopwords]\n",
    "    return ' '.join(preprocessed_fragment)\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python [conda env:EviDENce]",
   "language": "python",
   "name": "conda-env-EviDENce-py"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}