Python word_based_ngramsの例

コード例 #1

ファイル: test_utils.py プロジェクト: ymichael/cs3245-hw

def test_word_based_ngrams():
    text = 'Hello this is a sentence'
    assert [('Hello',), ('this',), ('is',), ('a',), ('sentence',)] == \
        utils.word_based_ngrams(text, 1)
    assert [('Hello', 'this'), ('this', 'is'), ('is', 'a'),
            ('a', 'sentence')] == \
        utils.word_based_ngrams(text, 2)

コード例 #2

ファイル: test_utils.py プロジェクト: kaiserahmed/cs3245-hw

def test_word_based_ngrams():
    text = 'Hello this is a sentence'
    assert [('Hello',), ('this',), ('is',), ('a',), ('sentence',)] == \
        utils.word_based_ngrams(text, 1)
    assert [('Hello', 'this'), ('this', 'is'), ('is', 'a'),
            ('a', 'sentence')] == \
        utils.word_based_ngrams(text, 2)

コード例 #3

 def word_based_4gram(text):
     return utils.word_based_ngrams(text,
                                    n,
                                    padding_left=padding,
                                    padding_right=padding)

コード例 #4

ファイル: build_test_analyse_LM.py プロジェクト: kaiserahmed/cs3245-hw

 def word_based_4gram(text):
     return utils.word_based_ngrams(
         text, n, padding_left=padding, padding_right=padding)