Ejemplo n.º 1
0
 def __init__(self):
     RegexpTokenizer.__init__(self, r'\w+|\s+|\[,.]+|\,+|[\{\}\-\<\>\=]+|(?!\')[^\w\s]')
Ejemplo n.º 2
0
 def __init__(self):
     RegexpTokenizer.__init__(
         self, r'\w+|\s+|\[,.]+|\,+|[\{\}\-\<\>\=]+|(?!\')[^\w\s]')
Ejemplo n.º 3
0
 def __init__(self):
     RegexpTokenizer.__init__(self, r'\w+\[.,]+|[\[\]\(\)\{\}"\-\<\>\=]+|[^\w\s]')
Ejemplo n.º 4
0
 def __init__(self):
     RegexpTokenizer.__init__(
         self, r'\w+\[.,]+|[\[\]\(\)\{\}"\-\<\>\=]+|[^\w\s]')