Пример #1
0
 def __init__(self):
     pattern = ur'|'.join(
         TwitterTokenizer.REGEX_STRINGS.values()).format(**REGEX_CONSTANTS)
     RegexpTokenizer.__init__(self,
                              pattern=pattern,
                              flags=re.UNICODE | re.MULTILINE | re.VERBOSE
                              | re.IGNORECASE)
Пример #2
0
 def __init__(self):
     RegexpTokenizer.__init__(self, '\S+|\n')
Пример #3
0
 def __init__(self):
     RegexpTokenizer.__init__(self,
                              tb_pattern,
                              flags=re.UNICODE | re.MULTILINE | re.DOTALL
                              | re.VERBOSE)
Пример #4
0
 def __init__(self):
     pattern = ur'|'.join(TwitterTokenizer.REGEX_STRINGS.values()).format(**REGEX_CONSTANTS)
     RegexpTokenizer.__init__(self, pattern=pattern, flags=re.UNICODE | re.MULTILINE | re.VERBOSE | re.IGNORECASE)