Ejemplos de SimpleTokenizer.__init__ en Python

Ejemplo n.º 1

Archivo: tokenizer.py Proyecto: Cheshire-Grampa/cheshire3

 def __init__(self, session, config, parent):
     SimpleTokenizer.__init__(self, session, config, parent)
     tknr = self.get_setting(session, 'tokenizer')
     if tknr[-9:] == 'Tokenizer' and hasattr(lucene, tknr):            
         self.tokenizer = getattr(lucene, tknr)
     else:
         raise ConfigFileException("Unknown Lucene Tokenizer")

Ejemplo n.º 2

Archivo: tokenizer.py Proyecto: bloomonkey/cheshire3

 def __init__(self, session, config, parent):
     SimpleTokenizer.__init__(self, session, config, parent)
     tknr = self.get_setting(session, "tokenizer")
     if tknr[-9:] == "Tokenizer" and hasattr(lucene, tknr):
         self.tokenizer = getattr(lucene, tknr)
     else:
         raise ConfigFileException("Unknown Lucene Tokenizer")

Ejemplo n.º 3

Archivo: tokenizer.py Proyecto: chienyi/cheshire3

 def __init__(self, session, config, parent):
     SimpleTokenizer.__init__(self, session, config, parent)
     self.structure = self.get_setting(session, 'structuredOutput', 0)
     self.stem = self.get_setting(session, 'useStem', 0)
     self.pos = self.get_setting(session, 'pos', 0)
     self.justPos = self.get_setting(session, 'justPos', 0)

Ejemplo n.º 4

Archivo: tokenizer.py Proyecto: chienyi/cheshire3

 def __init__(self, session, config, parent):
     SimpleTokenizer.__init__(self, session, config, parent)
     self.punkt = nltk.data.load('tokenizers/punkt/english.pickle')

Ejemplo n.º 5

Archivo: tokenizer.py Proyecto: chienyi/cheshire3

 def __init__(self, session, config, parent):
     SimpleTokenizer.__init__(self, session, config, parent)
     self.punkt = nltk.tokenize.PunktWordTokenizer()

Ejemplo n.º 6

Archivo: tokenizer.py Proyecto: Cheshire-Grampa/cheshire3

 def __init__(self, session, config, parent):
     SimpleTokenizer.__init__(self, session, config, parent)
     self.structure = self.get_setting(session, 'structuredOutput', 0)
     self.stem = self.get_setting(session, 'useStem', 0)
     self.pos = self.get_setting(session, 'pos', 0)
     self.justPos = self.get_setting(session, 'justPos', 0)

Ejemplo n.º 7

Archivo: tokenizer.py Proyecto: bloomonkey/cheshire3

 def __init__(self, session, config, parent):
     SimpleTokenizer.__init__(self, session, config, parent)
     raise MissingDependencyException(self.objectType, "lucene")

Ejemplo n.º 8

Archivo: tokenizer.py Proyecto: bloomonkey/cheshire3

 def __init__(self, session, config, parent):
     SimpleTokenizer.__init__(self, session, config, parent)
     if nltk is None:
         raise MissingDependencyException(self.objectType, 'nltk')
     self.punkt = nltk.data.load('tokenizers/punkt/english.pickle')

Ejemplo n.º 9

Archivo: tokenizer.py Proyecto: bloomonkey/cheshire3

 def __init__(self, session, config, parent):
     SimpleTokenizer.__init__(self, session, config, parent)
     if nltk is None:
         raise MissingDependencyException(self.objectType, 'nltk')
     self.punkt = nltk.tokenize.PunktWordTokenizer()

Ejemplo n.º 10

Archivo: tokenizer.py Proyecto: ReinSi/cheshire3

 def __init__(self, session, config, parent):
     SimpleTokenizer.__init__(self, session, config, parent)
     self.punkt = nltk.data.load('tokenizers/punkt/english.pickle')

Ejemplo n.º 11

Archivo: tokenizer.py Proyecto: ReinSi/cheshire3

 def __init__(self, session, config, parent):
     SimpleTokenizer.__init__(self, session, config, parent)
     self.punkt = nltk.tokenize.PunktWordTokenizer()

Ejemplo n.º 12

 def __init__(self, session, config, parent):
     SimpleTokenizer.__init__(self, session, config, parent)
     raise MissingDependencyException(self.objectType, "lucene")