def test__get_sentence_vector(self): morpheme_loader = MorphemesLoader() test_string = """0 1 " _ yyQUOT yyQUOT _ 1 1 2 תהיה היה COP COP gen=F|num=S|per=3 2 2 3 נקמה נקמה NN NN gen=F|num=S 3 3 4 ו ו CONJ CONJ _ 4 4 5 בגדול בגדול RB RB _ 4 5 6 . _ yyDOT yyDOT _ 5""" test_tensor = morpheme_loader._get_sentence_vector(test_string) number_of_morphemes_in_sentence = 6 self.assertEqual(test_tensor.shape,(self.max_word_length,number_of_morphemes_in_sentence+1))
def test__get_sentence_vector_power_set(self): morpheme_loader = MorphemesLoader() morpheme_loader.use_power_set = True test_string = """0 1 " _ yyQUOT yyQUOT _ 1 1 2 תהיה היה COP COP gen=F|num=S|per=3 2 2 3 נקמה נקמה NN NN gen=F|num=S 3 3 4 ו ו CONJ CONJ _ 4 4 5 בגדול בגדול RB RB _ 4 5 6 . _ yyDOT yyDOT _ 5""" test_tensor = morpheme_loader._get_sentence_vector(test_string) self.assertEqual(test_tensor.shape,(self.max_word_length,))