wiki:Tool/wikiCorpora

wikiCorpora

Pozadavky

  • perl

Poznamky

  • Tento nastroj je dobry jen pro stazeni vsech stranek z wikipedie
  • Pro stazeni par stranek z wikipedie je lepsi pouzit nastroj wikiMiniCorpora.

Jak to funguje

  • stahne si RSS s informacemi o datu posledniho dumpu
  • pokud existuje novejsi dump, nez je aktualne stazeny, tak ho stahne
  • z dumpu vyextrahuje texty stranek

Pouziti

  • ./wikiCorporaCopora.sh -q cs
    • stahne celou ceskou wikipedii a na konci vypise nazev souboru, ve kterem jsou texty ulozeny