Ejemplos de SingleIdTokenIndexer.pad_token_sequence en Python

Ejemplo n.º 1

Archivo: single_id_token_indexer_test.py Proyecto: apmoore1/allennlp

 def test_as_array_produces_token_sequence(self):
     indexer = SingleIdTokenIndexer("words")
     padded_tokens = indexer.pad_token_sequence({'key': [1, 2, 3, 4, 5]}, {'key': 10}, {})
     assert padded_tokens == {'key': [1, 2, 3, 4, 5, 0, 0, 0, 0, 0]}

Ejemplo n.º 2

Archivo: single_id_token_indexer_test.py Proyecto: ryan-leung/ml_monorepo

 def test_as_array_produces_token_sequence(self):
     indexer = SingleIdTokenIndexer(u"words")
     padded_tokens = indexer.pad_token_sequence({u'key': [1, 2, 3, 4, 5]}, {u'key': 10}, {})
     assert padded_tokens == {u'key': [1, 2, 3, 4, 5, 0, 0, 0, 0, 0]}

Ejemplo n.º 3

Archivo: single_id_token_indexer_test.py Proyecto: wangzhiwei-ai/allennlp

 def test_as_array_produces_token_sequence(self):
     indexer = SingleIdTokenIndexer("*words")
     padded_tokens = indexer.pad_token_sequence([1, 2, 3, 4, 5], 10, {})
     assert padded_tokens == [1, 2, 3, 4, 5, 0, 0, 0, 0, 0]