def test_get_lemmas_no_tagging(tokenization):
tokenization.tokenTaggingList = filter(
lambda ttl: ttl.taggingType != 'LEMMA',
tokenization.tokenTaggingList
)
with raises(Exception):
get_lemmas(tokenization)
def test_get_lemmas_non_unique_tagging(self):
self.tokenization.tokenTaggingList.append(
TokenTagging(
taggingType='LEMMA',
taggedTokenList=[
TaggedToken(tokenIndex=0, tag='mambo'),
TaggedToken(tokenIndex=1, tag='number'),
TaggedToken(tokenIndex=2, tag='four'),
],
), )
with self.assertRaises(Exception):
get_lemmas(self.tokenization)
def test_get_lemmas_non_unique_tagging(tokenization):
tokenization.tokenTaggingList.append(
TokenTagging(
taggingType='LEMMA',
taggedTokenList=[
TaggedToken(tokenIndex=0, tag='mambo'),
TaggedToken(tokenIndex=1, tag='number'),
TaggedToken(tokenIndex=2, tag='four'),
],
),
)
with raises(Exception):
get_lemmas(tokenization)
def test_get_lemmas_no_tagging(self):
self.tokenization.tokenTaggingList = filter(
lambda ttl: ttl.taggingType != 'LEMMA',
self.tokenization.tokenTaggingList)
with self.assertRaises(Exception):
get_lemmas(self.tokenization)
def test_get_lemmas(self):
self.assertEqual(['mambo', 'number', '4'],
map(lambda t: t.tag, get_lemmas(self.tokenization)))
self.assertEqual([0, 1, 2],
map(lambda t: t.tokenIndex,
get_lemmas(self.tokenization)))
def test_get_lemmas(tokenization):
assert ['mambo', 'number', '4'] == map(
lambda t: t.tag,
get_lemmas(tokenization))
assert [0, 1, 2] == map(lambda t: t.tokenIndex, get_lemmas(tokenization))
