def test_get_token_lines_lst_inserted_verb_like_suffix_into0(self): token_lines = """ 忘れる わすれる 忘れる 動詞 2 * 0 母音動詞 1 基本形 2 "代表表記:忘れる/わすれる 付属動詞候補(基本) 反義:動詞:覚える/おぼえる" <代表表記:忘れる/わすれる><付属動詞候補(基本)><反義:動詞:覚える/おぼえる><正規化代表表記:忘れる/わすれる><文頭><かな漢字><活用語><自立><内容語><タグ単位始><文節始><文節主辞> な な な 助詞 9 終助詞 4 * 0 * 0 NIL <文末><表現文末><かな漢字><ひらがな><付属> """.split( "\n" )[ 1:-1 ] teiru_lines = """ 忘れて わすれて 忘れる 動詞 * * * 母音動詞 * タ系連用テ形 * "代表表記:忘れる/わすれる 付属動詞候補(基本) 反義:動詞:覚える/おぼえる" <代表表記:忘れる/わすれる><付属動詞候補(基本)><反義:動詞:覚える/おぼえる><正規化代表表記:忘れる/わすれる><文頭><かな漢字><活用語><自立><内容語><タグ単位始><文節始><文節主辞> いる いる いる 接尾辞 * 動詞性接尾辞 * 母音動詞 * 基本形 * "代表表記:いる/いる" な な な 助詞 9 終助詞 4 * 0 * 0 NIL <文末><表現文末><かな漢字><ひらがな><付属> """.split( "\n" )[ 1:-1 ] teoku_lines = """ 忘れて わすれて 忘れる 動詞 * * * 母音動詞 * タ系連用テ形 * "代表表記:忘れる/わすれる 付属動詞候補(基本) 反義:動詞:覚える/おぼえる" <代表表記:忘れる/わすれる><付属動詞候補(基本)><反義:動詞:覚える/おぼえる><正規化代表表記:忘れる/わすれる><文頭><かな漢字><活用語><自立><内容語><タグ単位始><文節始><文節主辞> おく おく おく 接尾辞 * 動詞性接尾辞 * 子音動詞カ行 * 基本形 * "代表表記:おく/おく" な な な 助詞 9 終助詞 4 * 0 * 0 NIL <文末><表現文末><かな漢字><ひらがな><付属> """.split( "\n" )[ 1:-1 ] actual = replace_lib.get_token_lines_lst_inserted_verb_like_suffix_into(token_lines) expected = [] expected.append(teiru_lines) expected.append(teoku_lines) self.assertEquals(actual, expected)
def test_get_token_lines_lst_inserted_verb_like_suffix_into2(self): token_lines = """ 心配 しんぱい 心配 名詞 6 サ変名詞 2 * 0 * 0 "代表表記:心配/しんぱい 補文ト カテゴリ:抽象物 反義:名詞-サ変名詞:安心/あんしん 形容詞派生:心配だ/しんぱいだ" <代表表記:心配/しんぱい><補文ト><カテゴリ:抽象物><反義:名詞-サ変名詞:安心/あんしん><形容詞派生:心配だ/しんぱいだ><正規化代表表記:心配/しんぱい><文頭><漢字><かな漢字><名詞相当語><サ変><サ変動詞><自立><内容語><タグ単位始><文節始><文節主辞> して して する 動詞 2 * 0 サ変動詞 16 タ系連用テ形 14 "代表表記:する/する 付属動詞候補(基本) 自他動詞:自:成る/なる" <代表表記:する/する><付属動詞候補(基本)><自他動詞:自:成る/なる><正規化代表表記:する/する><とタ系連用テ形複合辞><かな漢字><ひらがな><活用語><付属> は は は 助詞 9 副助詞 2 * 0 * 0 NIL <かな漢字><ひらがな><付属> いけ いけ いける 動詞 2 * 0 母音動詞 1 基本連用形 8 "代表表記:生ける/いける ドメイン:文化・芸術" <代表表記:生ける/いける><ドメイン:文化・芸術><正規化代表表記:生ける/いける?行ける/いける><品曖><ALT-いけ-いけ-いける-2-0-1-8-"代表表記:行ける/いける 可能動詞:行く/いく 付属動詞候補(タ系)"><付属動詞候補(タ系)><品曖-動詞><原形曖昧><かな漢字><ひらがな><活用語><付属> ませ ませ ます 接尾辞 14 動詞性接尾辞 7 動詞性接尾辞ます型 31 未然形 3 "代表表記:ます/ます" <代表表記:ます/ます><正規化代表表記:ます/ます><かな漢字><ひらがな><活用語><付属> ん ん ぬ 助動詞 5 * 0 助動詞ぬ型 27 音便基本形 12 NIL <文末><表現文末><かな漢字><ひらがな><活用語><否定><付属> """.split( "\n" )[ 1:-1 ] actual = replace_lib.get_token_lines_lst_inserted_verb_like_suffix_into(token_lines) teiru_lines = """ 心配 しんぱい 心配 名詞 6 サ変名詞 2 * 0 * 0 "代表表記:心配/しんぱい 補文ト カテゴリ:抽象物 反義:名詞-サ変名詞:安心/あんしん 形容詞派生:心配だ/しんぱいだ" <代表表記:心配/しんぱい><補文ト><カテゴリ:抽象物><反義:名詞-サ変名詞:安心/あんしん><形容詞派生:心配だ/しんぱいだ><正規化代表表記:心配/しんぱい><文頭><漢字><かな漢字><名詞相当語><サ変><サ変動詞><自立><内容語><タグ単位始><文節始><文節主辞> して して する 動詞 * * * サ変動詞 * タ系連用テ形 * "代表表記:する/する 付属動詞候補(基本) 自他動詞:自:成る/なる" <代表表記:する/する><付属動詞候補(基本)><自他動詞:自:成る/なる><正規化代表表記:する/する><とタ系連用テ形複合辞><かな漢字><ひらがな><活用語><付属> いて いて いる 接尾辞 * 動詞性接尾辞 * 母音動詞 * タ系連用テ形 * "代表表記:いる/いる" は は は 助詞 9 副助詞 2 * 0 * 0 NIL <かな漢字><ひらがな><付属> いけ いけ いける 動詞 2 * 0 母音動詞 1 基本連用形 8 "代表表記:生ける/いける ドメイン:文化・芸術" <代表表記:生ける/いける><ドメイン:文化・芸術><正規化代表表記:生ける/いける?行ける/いける><品曖><ALT-いけ-いけ-いける-2-0-1-8-"代表表記:行ける/いける 可能動詞:行く/いく 付属動詞候補(タ系)"><付属動詞候補(タ系)><品曖-動詞><原形曖昧><かな漢字><ひらがな><活用語><付属> ませ ませ ます 接尾辞 14 動詞性接尾辞 7 動詞性接尾辞ます型 31 未然形 3 "代表表記:ます/ます" <代表表記:ます/ます><正規化代表表記:ます/ます><かな漢字><ひらがな><活用語><付属> ん ん ぬ 助動詞 5 * 0 助動詞ぬ型 27 音便基本形 12 NIL <文末><表現文末><かな漢字><ひらがな><活用語><否定><付属> """.split( "\n" )[ 1:-1 ] teoku_lines = """ 心配 しんぱい 心配 名詞 6 サ変名詞 2 * 0 * 0 "代表表記:心配/しんぱい 補文ト カテゴリ:抽象物 反義:名詞-サ変名詞:安心/あんしん 形容詞派生:心配だ/しんぱいだ" <代表表記:心配/しんぱい><補文ト><カテゴリ:抽象物><反義:名詞-サ変名詞:安心/あんしん><形容詞派生:心配だ/しんぱいだ><正規化代表表記:心配/しんぱい><文頭><漢字><かな漢字><名詞相当語><サ変><サ変動詞><自立><内容語><タグ単位始><文節始><文節主辞> して して する 動詞 * * * サ変動詞 * タ系連用テ形 * "代表表記:する/する 付属動詞候補(基本) 自他動詞:自:成る/なる" <代表表記:する/する><付属動詞候補(基本)><自他動詞:自:成る/なる><正規化代表表記:する/する><とタ系連用テ形複合辞><かな漢字><ひらがな><活用語><付属> おいて おいて おく 接尾辞 * 動詞性接尾辞 * 子音動詞カ行 * タ系連用テ形 * "代表表記:おく/おく" は は は 助詞 9 副助詞 2 * 0 * 0 NIL <かな漢字><ひらがな><付属> いけ いけ いける 動詞 2 * 0 母音動詞 1 基本連用形 8 "代表表記:生ける/いける ドメイン:文化・芸術" <代表表記:生ける/いける><ドメイン:文化・芸術><正規化代表表記:生ける/いける?行ける/いける><品曖><ALT-いけ-いけ-いける-2-0-1-8-"代表表記:行ける/いける 可能動詞:行く/いく 付属動詞候補(タ系)"><付属動詞候補(タ系)><品曖-動詞><原形曖昧><かな漢字><ひらがな><活用語><付属> ませ ませ ます 接尾辞 14 動詞性接尾辞 7 動詞性接尾辞ます型 31 未然形 3 "代表表記:ます/ます" <代表表記:ます/ます><正規化代表表記:ます/ます><かな漢字><ひらがな><活用語><付属> ん ん ぬ 助動詞 5 * 0 助動詞ぬ型 27 音便基本形 12 NIL <文末><表現文末><かな漢字><ひらがな><活用語><否定><付属> """.split( "\n" )[ 1:-1 ] expected = [] expected.append(teiru_lines) expected.append(teoku_lines) self.assertEquals(actual, expected)
def test_get_token_lines_lst_inserted_verb_like_suffix_into1(self): token_lines = """ 心配 しんぱい 心配 名詞 6 サ変名詞 2 * 0 * 0 "代表表記:心配/しんぱい 補文ト カテゴリ:抽象物 反義:名詞-サ変名詞:安心/あんしん 形容詞派生:心配だ/しんぱいだ" <代表表記:心配/しんぱい><補文ト><カテゴリ:抽象物><反義:名詞-サ変名詞:安心/あんしん><形容詞派生:心配だ/しんぱいだ><正規化代表表記:心配/しんぱい><文頭><漢字><かな漢字><名詞相当語><サ変><サ変動詞><自立><内容語><タグ単位始><文節始><文節主辞> する する する 動詞 2 * 0 サ変動詞 16 基本形 2 "代表表記:する/する 付属動詞候補(基本) 自他動詞:自:成る/なる" <代表表記:する/する><付属動詞候補(基本)><自他動詞:自:成る/なる><正規化代表表記:する/する><とタ系連用テ形複合辞><かな漢字><ひらがな><活用語><付属> な な な 助詞 9 終助詞 4 * 0 * 0 NIL <文末><表現文末><かな漢字><ひらがな><付属> """.split( "\n" )[ 1:-1 ] actual = replace_lib.get_token_lines_lst_inserted_verb_like_suffix_into(token_lines) teiru_lines = """ 心配 しんぱい 心配 名詞 6 サ変名詞 2 * 0 * 0 "代表表記:心配/しんぱい 補文ト カテゴリ:抽象物 反義:名詞-サ変名詞:安心/あんしん 形容詞派生:心配だ/しんぱいだ" <代表表記:心配/しんぱい><補文ト><カテゴリ:抽象物><反義:名詞-サ変名詞:安心/あんしん><形容詞派生:心配だ/しんぱいだ><正規化代表表記:心配/しんぱい><文頭><漢字><かな漢字><名詞相当語><サ変><サ変動詞><自立><内容語><タグ単位始><文節始><文節主辞> して して する 動詞 * * * サ変動詞 * タ系連用テ形 * "代表表記:する/する 付属動詞候補(基本) 自他動詞:自:成る/なる" <代表表記:する/する><付属動詞候補(基本)><自他動詞:自:成る/なる><正規化代表表記:する/する><とタ系連用テ形複合辞><かな漢字><ひらがな><活用語><付属> いる いる いる 接尾辞 * 動詞性接尾辞 * 母音動詞 * 基本形 * "代表表記:いる/いる" な な な 助詞 9 終助詞 4 * 0 * 0 NIL <文末><表現文末><かな漢字><ひらがな><付属> """.split( "\n" )[ 1:-1 ] teoku_lines = """ 心配 しんぱい 心配 名詞 6 サ変名詞 2 * 0 * 0 "代表表記:心配/しんぱい 補文ト カテゴリ:抽象物 反義:名詞-サ変名詞:安心/あんしん 形容詞派生:心配だ/しんぱいだ" <代表表記:心配/しんぱい><補文ト><カテゴリ:抽象物><反義:名詞-サ変名詞:安心/あんしん><形容詞派生:心配だ/しんぱいだ><正規化代表表記:心配/しんぱい><文頭><漢字><かな漢字><名詞相当語><サ変><サ変動詞><自立><内容語><タグ単位始><文節始><文節主辞> して して する 動詞 * * * サ変動詞 * タ系連用テ形 * "代表表記:する/する 付属動詞候補(基本) 自他動詞:自:成る/なる" <代表表記:する/する><付属動詞候補(基本)><自他動詞:自:成る/なる><正規化代表表記:する/する><とタ系連用テ形複合辞><かな漢字><ひらがな><活用語><付属> おく おく おく 接尾辞 * 動詞性接尾辞 * 子音動詞カ行 * 基本形 * "代表表記:おく/おく" な な な 助詞 9 終助詞 4 * 0 * 0 NIL <文末><表現文末><かな漢字><ひらがな><付属> """.split( "\n" )[ 1:-1 ] expected = [] expected.append(teiru_lines) expected.append(teoku_lines) self.assertEquals(actual, expected)