Ejemplos de get_lang_tok en Python

Ejemplo n.º 1

Archivo: multilingual_data_manager.py Proyecto: zentim/fairseq

 def get_decoder_langtok(self, tgt_lang, spec=None):
     if spec is None:
         return None
     langtok = get_lang_tok(
         lang=tgt_lang, lang_tok_style=self.args.lang_tok_style, spec=spec
     )
     return self.get_langtok_index(langtok, self.dicts[tgt_lang])

Ejemplo n.º 2

 def get_encoder_langtok(self, src_lang, tgt_lang, spec=None):
     if spec is None:
         return None
     if spec and spec.startswith("src"):
         if src_lang is None:
             return None
         langtok = get_lang_tok(lang=src_lang,
                                lang_tok_style=self.args.lang_tok_style,
                                spec=spec)
     else:
         if tgt_lang is None:
             return None
         langtok = get_lang_tok(lang=tgt_lang,
                                lang_tok_style=self.args.lang_tok_style,
                                spec=spec)
     return self.get_langtok_index(
         langtok, self.dicts[src_lang if src_lang else tgt_lang])

Ejemplo n.º 3

 def get_encoder_langtok(self, src_lang, tgt_lang, spec=None):
     if spec is None:
         return None
     if spec and spec.startswith("src"):
         if src_lang is None:
             return None
         langtok = get_lang_tok(lang=src_lang,
                                lang_tok_style=self.args.lang_tok_style,
                                spec=spec)
     else:
         if tgt_lang is None:
             return None
         langtok = get_lang_tok(lang=tgt_lang,
                                lang_tok_style=self.args.lang_tok_style,
                                spec=spec)
     return self.get_langtok_index(
         langtok,
         self.get_source_dictionary(src_lang)
         if src_lang else self.get_target_dictionary(tgt_lang))