Exemplos de WikiDumpReader em Python

Exemplo n.º 1

def setUp():
    global dump_db, dump_db_file

    dump_file = pkg_resources.resource_filename(
        __name__, 'test_data/enwiki-pages-articles-sample.xml.bz2')
    dump_reader = WikiDumpReader(dump_file)
    dump_db_file = NamedTemporaryFile()

    DumpDB.build(dump_reader, dump_db_file.name, 1, 1)
    dump_db = DumpDB(dump_db_file.name)

Exemplo n.º 2

Arquivo: test_wiki_page.py Projeto: zisding/wikipedia2vec

 def setUp(self):
     sample_dump_file = pkg_resources.resource_filename(
         __name__, '../test_data/enwiki-pages-articles-sample.xml.bz2')
     self.dump_reader = WikiDumpReader(sample_dump_file)
     self.pages = list(self.dump_reader)

Exemplo n.º 3

def build_dump_db(dump_file, out_file, **kwargs):
    dump_reader = WikiDumpReader(dump_file)
    DumpDB.build(dump_reader,
                 out_file,
                 preprocess_func=normalize_text,
                 **kwargs)

Exemplo n.º 4

Arquivo: cli.py Projeto: patelrajnath/K-BERT

def build_dump_db(dump_file: str, out_file: str, **kwargs):
    dump_reader = WikiDumpReader(dump_file)
    DumpDB.build(dump_reader, out_file, **kwargs)