Ejemplo n.º 1
0
 def note_unknown_tokens(self, pair, text):
     global missing_freqs_db
     if missing_freqs_db is not None:
         for token in re.findall(self.unknown_mark_re, text):
             missing_freqs_db.note_unknown(token, pair)
Ejemplo n.º 2
0
 def note_unknown_tokens(self, pair, text):
     global missing_freqs_db
     if missing_freqs_db is not None:
         for token in re.findall(self.unknown_mark_re, text):
             missing_freqs_db.note_unknown(token, pair)