wiki:Odkazy/Postup

Postup

Ziskat pocatecni seed

WaC

Z jiz existujiciho korpusu vybrat slova se stredni frekvenci a ta zadat do vyhledavace.

Wikipedia

Obsahuje  276 ruznych jazykovych verzi z toho 256 (100+ clanku) je pouzitelnych. Vyhodou je, ze se z ni da natrenovat model pro rozpoznani jazyku.

Vyhledavac

O celosvetove znamych lidech se bude psat ve vsech jazycich. Jmena lidi se nemeni (jmena mest/rek/udalosti se mohou menit).

Preklady

Nabozenske texty

Stahnout relevantni stranky

Pouzit spravne nakonfigurovany crawler?.

Ziskat text stranky

Rozpoznat stranky v danem jazyce

Vyhazet duplicitni stranky

Vyhodnotit kvalitu korpusu

  • Pouzit krizovou validaci (rozdeleni korpusu na nekolik casti, z nichz se vzdy jedna pouzije jako GS (gold standard)).
  • Pouzit wikipedii jako GS a pouzit na vyhodnoceni zbytku. A na konec tam wikipedii pridat.

Metriky

  • pocet unikatnich slov v porovnani s GS
  • pocet bigramu v porovnani s GS

Obecne tipy

Odkazy

POS tagging