Ejemplo n.º 1
0
def test_isomorphic_2():
    # FST 1
    fst1 = VectorFst()

    s1 = fst1.add_state()
    s2 = fst1.add_state()

    fst1.set_start(s1)
    fst1.set_final(s2)

    tr1_1 = Tr(12, 25, None, s2)
    fst1.add_tr(s1, tr1_1)

    # FST 2
    fst2 = VectorFst()
    s1 = fst2.add_state()
    s2 = fst2.add_state()

    fst2.set_start(s2)
    fst2.set_final(s1)

    tr1_1 = Tr(12, 25, None, s1)
    fst2.add_tr(s2, tr1_1)

    assert fst1.isomorphic(fst2)
Ejemplo n.º 2
0
def test_concat_fst():
    # FST 1
    fst1 = VectorFst()

    s1 = fst1.add_state()
    s2 = fst1.add_state()

    fst1.set_start(s1)
    fst1.set_final(s2, 0.2)

    tr1_1 = Tr(1, 2, 1.0, s2)
    fst1.add_tr(s1, tr1_1)

    tr1_2 = Tr(3, 4, 2.5, s2)
    fst1.add_tr(s2, tr1_2)

    # FST 2
    fst2 = VectorFst()

    s1 = fst2.add_state()
    s2 = fst2.add_state()

    fst2.set_start(s1)
    fst2.set_final(s2, 1.5)

    tr2_1 = Tr(1, 2, 3.0, s1)
    fst2.add_tr(s1, tr2_1)

    tr2_2 = Tr(4, 5, 2.0, s2)
    fst2.add_tr(s1, tr2_2)

    # Expected FST
    expected_fst = VectorFst()
    s1 = expected_fst.add_state()
    s2 = expected_fst.add_state()
    s3 = expected_fst.add_state()
    s4 = expected_fst.add_state()

    expected_fst.set_start(s1)
    expected_fst.set_final(s4, 1.5)

    tr3_1 = Tr(1, 2, 1.0, s2)
    expected_fst.add_tr(s1, tr3_1)

    tr3_2 = Tr(3, 4, 2.5, s2)
    expected_fst.add_tr(s2, tr3_2)

    tr3_3 = Tr(0, 0, 0.2, s3)
    expected_fst.add_tr(s2, tr3_3)

    tr3_4 = Tr(1, 2, 3.0, s3)
    expected_fst.add_tr(s3, tr3_4)

    tr3_5 = Tr(4, 5, 2.0, s4)
    expected_fst.add_tr(s3, tr3_5)

    fst3 = fst1.concat(fst2)

    assert fst3 == expected_fst
Ejemplo n.º 3
0
def test_determinize_fst():
    # FST 1
    fst1 = VectorFst()

    s1 = fst1.add_state()
    s2 = fst1.add_state()
    s3 = fst1.add_state()
    s4 = fst1.add_state()

    fst1.set_start(s1)
    fst1.set_final(s4, 0.0)

    tr1_1 = Tr(1, 2, 1.0, s2)
    fst1.add_tr(s1, tr1_1)

    tr1_2 = Tr(1, 3, 2.0, s3)
    fst1.add_tr(s1, tr1_2)

    tr1_3 = Tr(4, 5, 3.0, s4)
    fst1.add_tr(s2, tr1_3)

    tr1_4 = Tr(4, 6, 4.0, s4)
    fst1.add_tr(s2, tr1_4)

    tr1_5 = Tr(7, 8, 5.0, s4)
    fst1.add_tr(s3, tr1_5)

    # Expected FST
    expected_fst = VectorFst()

    s1 = expected_fst.add_state()
    s2 = expected_fst.add_state()
    s3 = expected_fst.add_state()
    s4 = expected_fst.add_state()
    s5 = expected_fst.add_state()

    expected_fst.set_start(s1)
    expected_fst.set_final(s5)

    tr1_1 = Tr(1, 0, 1.0, s2)
    expected_fst.add_tr(s1, tr1_1)

    tr1_2 = Tr(4, 2, 3.0, s3)
    expected_fst.add_tr(s2, tr1_2)

    tr1_3 = Tr(7, 3, 6.0, s4)
    expected_fst.add_tr(s2, tr1_3)

    tr1_4 = Tr(0, 5, None, s5)
    expected_fst.add_tr(s3, tr1_4)

    tr1_5 = Tr(0, 8, None, s5)
    expected_fst.add_tr(s4, tr1_5)

    config = DeterminizeConfig(DeterminizeType.DETERMINIZE_DISAMBIGUATE)
    det_fst = fst1.determinize(config)

    assert det_fst == expected_fst
Ejemplo n.º 4
0
def test_fst_relabel_tables():
    fst = VectorFst()
    s1 = fst.add_state()
    s2 = fst.add_state()
    fst.add_tr(s1, Tr(1, 2, weight_one(), s2))
    fst.set_start(s1)
    fst.set_final(s2)

    old_isymt = SymbolTable.from_symbols(["a", "b"])
    new_isymt = SymbolTable.from_symbols(["b", "a"])

    old_osymt = SymbolTable.from_symbols(["aa", "bb"])
    new_osymt = SymbolTable.from_symbols(["bb", "aa"])

    fst_ref = VectorFst()
    s1 = fst_ref.add_state()
    s2 = fst_ref.add_state()
    fst_ref.add_tr(s1, Tr(2, 1, weight_one(), s2))
    fst_ref.set_start(s1)
    fst_ref.set_final(s2)

    fst_1 = fst.copy()
    fst_1.relabel_tables(
        old_isymbols=old_isymt,
        new_isymbols=new_isymt,
        attach_new_isymbols=True,
        old_osymbols=old_osymt,
        new_osymbols=new_osymt,
        attach_new_osymbols=True,
    )
    assert fst_1 == fst_ref
    assert fst_1.input_symbols() == new_isymt
    assert fst_1.output_symbols() == new_osymt

    fst_2 = fst.copy()
    fst_2.relabel_tables(
        old_isymbols=old_isymt,
        new_isymbols=new_isymt,
        attach_new_isymbols=False,
        old_osymbols=old_osymt,
        new_osymbols=new_osymt,
        attach_new_osymbols=False,
    )
    assert fst_2 == fst_ref
    assert fst_2.input_symbols() is None
    assert fst_2.output_symbols() is None

    fst_3 = fst.copy()
    fst_3.set_input_symbols(old_isymt)
    fst_3.set_output_symbols(old_osymt)
    fst_3.relabel_tables(
        new_isymbols=new_isymt,
        new_osymbols=new_osymt,
    )
    assert fst_3 == fst_ref
    assert fst_3.input_symbols() == new_isymt
    assert fst_3.output_symbols() == new_osymt
Ejemplo n.º 5
0
def test_fst_del_states():
    fst = VectorFst()

    # States
    fst.add_state()
    fst.add_state()

    fst.delete_states()

    assert fst.num_states() == 0
Ejemplo n.º 6
0
def test_optimize_fst():
    # FST 1
    fst1 = VectorFst()

    s1 = fst1.add_state()
    s2 = fst1.add_state()
    s3 = fst1.add_state()
    s4 = fst1.add_state()

    fst1.set_start(s1)
    fst1.set_final(s4, 0.0)

    tr1_1 = Tr(1, 2, 1.0, s2)
    fst1.add_tr(s1, tr1_1)

    tr1_2 = Tr(1, 3, 2.0, s3)
    fst1.add_tr(s1, tr1_2)

    tr1_3 = Tr(0, 0, 3.0, s4)
    fst1.add_tr(s2, tr1_3)

    tr1_4 = Tr(4, 6, 4.0, s4)
    fst1.add_tr(s2, tr1_4)

    tr1_5 = Tr(7, 8, 5.0, s4)
    fst1.add_tr(s3, tr1_5)

    # Expected FST
    expected_fst = VectorFst()

    s1 = expected_fst.add_state()
    s2 = expected_fst.add_state()
    s3 = expected_fst.add_state()
    s4 = expected_fst.add_state()

    expected_fst.set_start(s1)
    expected_fst.set_final(s2, 0.0)
    expected_fst.set_final(s4, 0.0)

    tr_1 = Tr(1, 2, 4.0, s2)
    expected_fst.add_tr(s1, tr_1)

    tr_2 = Tr(1, 3, 7.0, s3)
    expected_fst.add_tr(s1, tr_2)

    tr_4 = Tr(4, 6, 1.0, s4)
    expected_fst.add_tr(s2, tr_4)

    tr_5 = Tr(7, 8, None, s4)
    expected_fst.add_tr(s3, tr_5)

    fst1.optimize()

    assert fst1 == expected_fst
Ejemplo n.º 7
0
def test_reverse():
    # FST 1
    fst1 = VectorFst()

    s1 = fst1.add_state()
    s2 = fst1.add_state()
    s3 = fst1.add_state()

    fst1.set_start(s1)
    fst1.set_final(s3, 1.0)

    tr1_1 = Tr(1, 2, 1.0, s2)
    fst1.add_tr(s1, tr1_1)

    tr1_2 = Tr(3, 4, 2.0, s2)
    fst1.add_tr(s1, tr1_2)

    tr1_3 = Tr(5, 6, 1.5, s2)
    fst1.add_tr(s2, tr1_3)

    tr1_4 = Tr(3, 5, 1.0, s3)
    fst1.add_tr(s2, tr1_4)

    # Expected FST
    expected_fst = VectorFst()

    s1 = expected_fst.add_state()
    s2 = expected_fst.add_state()
    s3 = expected_fst.add_state()
    s4 = expected_fst.add_state()

    expected_fst.set_start(s1)
    expected_fst.set_final(s2)

    tr1_1 = Tr(0, 0, 1.0, s4)
    expected_fst.add_tr(s1, tr1_1)

    tr1_2 = Tr(3, 5, 1.0, s3)
    expected_fst.add_tr(s4, tr1_2)

    tr1_3 = Tr(1, 2, 1.0, s2)
    expected_fst.add_tr(s3, tr1_3)

    tr1_4 = Tr(3, 4, 2.0, s2)
    expected_fst.add_tr(s3, tr1_4)

    tr1_5 = Tr(5, 6, 1.5, s3)
    expected_fst.add_tr(s3, tr1_5)

    reversed_fst = fst1.reverse()

    assert expected_fst == reversed_fst
Ejemplo n.º 8
0
def test_connect():
    # FST 1
    fst1 = VectorFst()

    s1 = fst1.add_state()
    s2 = fst1.add_state()
    s3 = fst1.add_state()
    s4 = fst1.add_state()
    s5 = fst1.add_state()

    fst1.set_start(s1)
    fst1.set_final(s2, 0.0)

    tr1_1 = Tr(1, 2, 1.0, s1)
    fst1.add_tr(s5, tr1_1)

    tr1_2 = Tr(3, 4, 2.0, s2)
    fst1.add_tr(s1, tr1_2)

    tr1_3 = Tr(4, 5, 3.0, s3)
    fst1.add_tr(s2, tr1_3)

    tr1_4 = Tr(4, 6, 4.0, s4)
    fst1.add_tr(s3, tr1_4)

    tr1_5 = Tr(7, 8, 5.0, s1)
    fst1.add_tr(s3, tr1_5)

    # Expected FST
    expected_fst = VectorFst()

    s1 = expected_fst.add_state()
    s2 = expected_fst.add_state()
    s3 = expected_fst.add_state()

    expected_fst.set_start(s1)
    expected_fst.set_final(s2, 0.0)

    tr_1 = Tr(3, 4, 2.0, s2)
    expected_fst.add_tr(s1, tr_1)

    tr_2 = Tr(4, 5, 3.0, s3)
    expected_fst.add_tr(s2, tr_2)

    tr_3 = Tr(7, 8, 5.0, s1)
    expected_fst.add_tr(s3, tr_3)

    fst1.connect()

    assert expected_fst == fst1
Ejemplo n.º 9
0
def test_rm_epsilon():
    # FST 1
    fst1 = VectorFst()

    s1 = fst1.add_state()
    s2 = fst1.add_state()
    s3 = fst1.add_state()
    s4 = fst1.add_state()

    fst1.set_start(s1)
    fst1.set_final(s4, 1.0)

    tr1_1 = Tr(0, 0, 1.0, s2)
    fst1.add_tr(s1, tr1_1)

    tr1_2 = Tr(1, 0, 2.0, s3)
    fst1.add_tr(s2, tr1_2)

    tr1_3 = Tr(0, 2, 3.0, s3)
    fst1.add_tr(s2, tr1_3)

    tr1_4 = Tr(0, 0, 4.0, s3)
    fst1.add_tr(s2, tr1_4)

    tr1_5 = Tr(0, 0, 5.0, s3)
    fst1.add_tr(s3, tr1_5)

    tr1_6 = Tr(0, 0, 5.0, s4)
    fst1.add_tr(s3, tr1_6)

    # Expected FST
    expected_fst = VectorFst()

    s1 = expected_fst.add_state()
    s2 = expected_fst.add_state()

    expected_fst.set_start(s1)
    expected_fst.set_final(s1, 11.0)
    expected_fst.set_final(s2, 6.0)

    tr1_1 = Tr(0, 2, 4.0, s2)
    expected_fst.add_tr(s1, tr1_1)

    tr1_2 = Tr(1, 0, 3.0, s2)
    expected_fst.add_tr(s1, tr1_2)

    fst1.rm_epsilon()

    assert expected_fst == fst1
Ejemplo n.º 10
0
def test_small_fst():
    fst = VectorFst()

    # States
    s1 = fst.add_state()
    s2 = fst.add_state()

    assert s1 == 0
    assert s2 == 1

    fst.set_start(s1)
    fst.set_final(s2)
    assert fst.start() == s1
    assert fst.is_final(s2)
    assert pytest.approx(fst.final(s2)) == pytest.approx(0.0)

    # Trs
    tr_1 = Tr(3, 5, 10.0, s2)
    fst.add_tr(s1, tr_1)

    assert fst.num_trs(s1) == 1

    tr_2 = Tr(5, 7, 18.0, s2)
    fst.add_tr(s1, tr_2)
    assert fst.num_trs(s1) == 2
Ejemplo n.º 11
0
def test_string_paths_iterator():

    fst = VectorFst()
    s1 = fst.add_state()
    s2 = fst.add_state()
    fst.set_start(s1)
    fst.set_final(s2, 2.0)
    fst.add_tr(s1, Tr(1, 2, 2.0, s2))
    fst.add_tr(s1, Tr(2, 3, 3.0, s2))

    symt = SymbolTable()
    symt.add_symbol("a")
    symt.add_symbol("b")
    symt.add_symbol("c")
    fst.set_input_symbols(symt)
    fst.set_output_symbols(symt)

    string_paths_it = fst.string_paths()

    assert not string_paths_it.done()

    v1 = next(string_paths_it)
    assert v1.weight() == 4.0
    assert v1.istring() == "a"
    assert v1.ostring() == "b"
    assert not string_paths_it.done()

    v2 = next(string_paths_it)
    assert v2.weight() == 5.0
    assert v2.istring() == "b"
    assert v2.ostring() == "c"

    assert string_paths_it.done()
Ejemplo n.º 12
0
def test_mut_trs_iterator():

    fst = VectorFst()
    s1 = fst.add_state()
    s2 = fst.add_state()
    fst.set_start(s1)
    fst.set_final(s2, 0.54)
    tr1 = Tr(1, 18, 2.33, s2)
    fst.add_tr(s1, tr1)

    trs_it = MutableTrsIterator(fst, s1)
    tr = trs_it.value()

    assert tr.ilabel == 1
    assert tr.olabel == 18
    assert pytest.approx(tr.weight) == pytest.approx(2.33)
    assert tr.next_state == s2

    next(trs_it)
    assert trs_it.done()

    trs_it.reset()

    assert not trs_it.done()

    tr1 = Tr(10, 18, 2.33, s2)
    trs_it.set_value(tr1)

    trs_it = fst.trs(s1)
    assert next(trs_it).ilabel == 10
Ejemplo n.º 13
0
def test_trs_iterator():

    fst = VectorFst()
    s1 = fst.add_state()
    s2 = fst.add_state()
    fst.set_start(s1)
    fst.set_final(s2, 0.54)
    tr1 = Tr(1, 18, 2.33, s2)
    fst.add_tr(s1, tr1)

    trs_it = TrsIterator(fst, s1)
    tr = next(trs_it)

    assert tr.ilabel == 1
    assert tr.olabel == 18
    assert pytest.approx(tr.weight) == pytest.approx(2.33)
    assert tr.next_state == s2

    assert trs_it.done()

    trs_it.reset()

    assert not trs_it.done()

    for tr in trs_it:
        assert tr == tr1
Ejemplo n.º 14
0
def test_fst_with_symt_mut_fail():
    fst = VectorFst()

    # States
    s1 = fst.add_state()
    s2 = fst.add_state()

    fst.set_start(s1)
    fst.set_final(s2)

    input_symt = SymbolTable()
    input_symt.add_symbol("a")
    input_symt.add_symbol("b")
    input_symt.add_symbol("c")
    fst.set_input_symbols(input_symt)

    output_symt = SymbolTable()
    fst.set_output_symbols(output_symt)

    with pytest.raises(Exception) as err:
        fst.input_symbols().add_symbol("d")

    assert (
        str(err.value) ==
        '`add_symbol` failed: "Could not get a mutable reference to the symbol table"'
    )
Ejemplo n.º 15
0
def test_fst_symt():
    fst = VectorFst()
    s1 = fst.add_state()
    s2 = fst.add_state()
    fst.set_start(s1)
    fst.set_final(s2, 1.0)

    tr_1 = Tr(1, 0, 10.0, s2)
    tr_2 = Tr(2, 0, 1.0, s1)
    tr_3 = Tr(3, 0, 1.0, s2)
    fst.add_tr(s1, tr_1)
    fst.add_tr(s2, tr_2)
    fst.add_tr(s2, tr_3)

    input_symt = SymbolTable()
    input_symt.add_symbol("a")
    input_symt.add_symbol("b")
    input_symt.add_symbol("c")

    fst.set_input_symbols(input_symt)
    fst_in_symbols = fst.input_symbols()

    assert input_symt == fst_in_symbols
    assert fst_in_symbols.num_symbols() == 4
    assert fst_in_symbols.find("a") == 1
    assert fst_in_symbols.find("b") == 2
    assert fst_in_symbols.find("c") == 3

    output_symt = SymbolTable()
    fst.set_output_symbols(output_symt)
    fst_out_symbols = fst.output_symbols()

    assert output_symt == fst_out_symbols
    assert fst_out_symbols.num_symbols() == 1
Ejemplo n.º 16
0
def test_shortest_path():
    # FST 1
    fst1 = VectorFst()

    s1 = fst1.add_state()
    s2 = fst1.add_state()
    s3 = fst1.add_state()
    s4 = fst1.add_state()

    fst1.set_start(s1)
    fst1.set_final(s4, 2.0)

    tr1_1 = Tr(1, 1, 3.0, s2)
    fst1.add_tr(s1, tr1_1)

    tr1_2 = Tr(2, 2, 2.0, s2)
    fst1.add_tr(s2, tr1_2)

    tr1_3 = Tr(3, 3, 4.0, s4)
    fst1.add_tr(s2, tr1_3)

    tr1_4 = Tr(4, 4, 5.0, s3)
    fst1.add_tr(s1, tr1_4)

    tr1_5 = Tr(5, 5, 4.0, s4)
    fst1.add_tr(s3, tr1_5)

    # Expected FST
    expected_fst = VectorFst()

    s1 = expected_fst.add_state()
    s2 = expected_fst.add_state()
    s3 = expected_fst.add_state()

    expected_fst.set_start(s3)
    expected_fst.set_final(s1, 2.0)

    tr1_1 = Tr(1, 1, 3.0, s2)
    expected_fst.add_tr(s3, tr1_1)

    tr1_2 = Tr(3, 3, 4.0, s1)
    expected_fst.add_tr(s2, tr1_2)

    config = ShortestPathConfig(1, True)
    shortes_path = fst1.shortest_path(config)

    assert shortes_path == expected_fst
Ejemplo n.º 17
0
def test_tr_sort_olabel():
    # FST 1
    fst1 = VectorFst()

    s1 = fst1.add_state()
    s2 = fst1.add_state()

    fst1.set_start(s1)
    fst1.set_final(s2, 0.0)

    tr1_1 = Tr(1, 2, 1.0, s2)
    fst1.add_tr(s1, tr1_1)

    tr1_2 = Tr(3, 3, 2.0, s2)
    fst1.add_tr(s1, tr1_2)

    tr1_3 = Tr(1, 5, 3.0, s2)
    fst1.add_tr(s1, tr1_3)

    tr1_4 = Tr(2, 6, 4.0, s2)
    fst1.add_tr(s1, tr1_4)

    # Expected FST
    expected_fst = VectorFst()

    s1 = expected_fst.add_state()
    s2 = expected_fst.add_state()

    expected_fst.set_start(s1)
    expected_fst.set_final(s2, 0.0)

    tr_1 = Tr(1, 2, 1.0, s2)
    expected_fst.add_tr(s1, tr_1)

    tr_2 = Tr(3, 3, 2.0, s2)
    expected_fst.add_tr(s1, tr_2)

    tr_4 = Tr(1, 5, 3.0, s2)
    expected_fst.add_tr(s1, tr_4)

    tr_5 = Tr(2, 6, 4.0, s2)
    expected_fst.add_tr(s1, tr_5)

    fst1.tr_sort(ilabel_cmp=False)

    assert fst1 == expected_fst
Ejemplo n.º 18
0
def test_fst_unset_final():
    fst = VectorFst()

    s = fst.add_state()

    assert not fst.is_final(s)
    fst.set_final(s)
    assert fst.is_final(s)
    fst.unset_final(s)
    assert not fst.is_final(s)
Ejemplo n.º 19
0
def test_project_output():
    # FST 1
    fst1 = VectorFst()

    s1 = fst1.add_state()
    s2 = fst1.add_state()
    s3 = fst1.add_state()

    fst1.set_start(s1)
    fst1.set_final(s3)

    tr1_1 = Tr(1, 2, 1.0, s2)
    fst1.add_tr(s1, tr1_1)

    tr1_2 = Tr(3, 4, 2.0, s2)
    fst1.add_tr(s1, tr1_2)

    tr1_3 = Tr(4, 5, 3.0, s3)
    fst1.add_tr(s2, tr1_3)

    # Expected FST
    expected_fst = VectorFst()

    s1 = expected_fst.add_state()
    s2 = expected_fst.add_state()
    s3 = expected_fst.add_state()

    expected_fst.set_start(s1)
    expected_fst.set_final(s3)

    tr1_1 = Tr(2, 2, 1.0, s2)
    expected_fst.add_tr(s1, tr1_1)

    tr1_2 = Tr(4, 4, 2.0, s2)
    expected_fst.add_tr(s1, tr1_2)

    tr1_3 = Tr(5, 5, 3.0, s3)
    expected_fst.add_tr(s2, tr1_3)

    project_type = ProjectType.PROJECT_OUTPUT
    fst2 = fst1.project(project_type)

    assert expected_fst == fst2
Ejemplo n.º 20
0
def test_tr_unique_1():
    # FST 1
    fst1 = VectorFst()

    s1 = fst1.add_state()
    s2 = fst1.add_state()

    fst1.set_start(s1)
    fst1.set_final(s2, 0.0)

    tr1_1 = Tr(1, 2, 1.0, s2)
    fst1.add_tr(s1, tr1_1)

    tr1_2 = Tr(1, 2, 1.0, s2)
    fst1.add_tr(s1, tr1_2)

    tr1_3 = Tr(1, 2, 2.0, s2)
    fst1.add_tr(s1, tr1_3)

    tr1_4 = Tr(2, 2, 1.0, s2)
    fst1.add_tr(s1, tr1_4)

    # Expected FST
    expected_fst = VectorFst()

    s1 = expected_fst.add_state()
    s2 = expected_fst.add_state()

    expected_fst.set_start(s1)
    expected_fst.set_final(s2, 0.0)

    tr_1 = Tr(1, 2, 1.0, s2)
    expected_fst.add_tr(s1, tr_1)

    tr_2 = Tr(1, 2, 2.0, s2)
    expected_fst.add_tr(s1, tr_2)

    tr_4 = Tr(2, 2, 1.0, s2)
    expected_fst.add_tr(s1, tr_4)

    fst1.tr_unique()

    assert fst1 == expected_fst
Ejemplo n.º 21
0
def test_project_input():
    # FST 1
    fst1 = VectorFst()

    s1 = fst1.add_state()
    s2 = fst1.add_state()
    s3 = fst1.add_state()

    fst1.set_start(s1)
    fst1.set_final(s3)

    tr1_1 = Tr(1, 2, 1.0, s2)
    fst1.add_tr(s1, tr1_1)

    tr1_2 = Tr(3, 4, 2.0, s2)
    fst1.add_tr(s1, tr1_2)

    tr1_3 = Tr(4, 5, 3.0, s3)
    fst1.add_tr(s2, tr1_3)

    # Expected FST
    expected_fst = VectorFst()

    s1 = expected_fst.add_state()
    s2 = expected_fst.add_state()
    s3 = expected_fst.add_state()

    expected_fst.set_start(s1)
    expected_fst.set_final(s3)

    tr1_1 = Tr(1, 1, 1.0, s2)
    expected_fst.add_tr(s1, tr1_1)

    tr1_2 = Tr(3, 3, 2.0, s2)
    expected_fst.add_tr(s1, tr1_2)

    tr1_3 = Tr(4, 4, 3.0, s3)
    expected_fst.add_tr(s2, tr1_3)

    fst2 = fst1.project()

    assert expected_fst == fst2
Ejemplo n.º 22
0
def test_fst_print():
    fst = VectorFst()

    # States
    s1 = fst.add_state()
    s2 = fst.add_state()

    fst.set_start(s1)
    fst.set_final(s2)

    # Check print is not crashing
    print(fst)
Ejemplo n.º 23
0
def test_fst_states_iterator():
    fst = VectorFst()

    # States
    s1 = fst.add_state()
    s2 = fst.add_state()

    fst.set_start(s1)
    fst.set_final(s2)

    for idx, state in enumerate(fst.states()):
        assert state == idx
Ejemplo n.º 24
0
def test_fst_io_bytes():
    fst = VectorFst()

    # States
    s1 = fst.add_state()
    s2 = fst.add_state()

    fst.set_start(s1)
    fst.set_final(s2)

    fst_loaded = VectorFst.from_bytes(fst.to_bytes())

    assert fst_loaded == fst
Ejemplo n.º 25
0
def test_acceptor():
    symt = SymbolTable()
    symt.add_symbol("hello")
    symt.add_symbol("world")

    f = acceptor("hello world", symt)

    # Expected FST
    expected_fst = VectorFst()

    s1 = expected_fst.add_state()
    s2 = expected_fst.add_state()
    s3 = expected_fst.add_state()

    expected_fst.set_start(s1)
    expected_fst.set_final(s3)

    tr1 = Tr(1, 1, None, s2)
    expected_fst.add_tr(s1, tr1)

    tr2 = Tr(2, 2, None, s3)
    expected_fst.add_tr(s2, tr2)

    assert f == expected_fst
Ejemplo n.º 26
0
def test_fst_from_bytes():
    fst = VectorFst()

    # States
    s1 = fst.add_state()
    s2 = fst.add_state()

    fst.set_start(s1)
    fst.set_final(s2)

    with NamedTemporaryFile() as f:
        fst.write(f.name)
        bytes = Path(f.name).read_bytes()
        fst_loaded = VectorFst.from_bytes(bytes)

    assert fst == fst_loaded
Ejemplo n.º 27
0
def test_fst_to_bytes():
    fst = VectorFst()

    # States
    s1 = fst.add_state()
    s2 = fst.add_state()

    fst.set_start(s1)
    fst.set_final(s2)

    bytes = fst.to_bytes()

    with NamedTemporaryFile() as f:
        Path(f.name).write_bytes(bytes)
        fst_read = VectorFst.read(f.name)

    assert fst == fst_read
Ejemplo n.º 28
0
def test_randgen():
    fst = VectorFst()
    s0 = fst.add_state()
    s1 = fst.add_state()

    fst.set_start(s0)
    fst.set_final(s1)

    fst.add_tr(s0, Tr(2, 2, weight_one(), s1))
    fst.add_tr(s0, Tr(3, 3, weight_one(), s1))

    res = randgen(ifst=fst, seed=33)

    assert res.num_states() == 2
    for tr in fst.trs(fst.start()):
        assert tr.ilabel in {2, 3}
        assert tr.olabel in {2, 3}
Ejemplo n.º 29
0
def test_state_iterator():

    fst = VectorFst()
    s1 = fst.add_state()
    s2 = fst.add_state()
    fst.set_start(s1)
    fst.set_final(s2, 0.54)
    tr1 = Tr(1, 18, 2.33, s2)
    fst.add_tr(s1, tr1)

    states_it = StateIterator(fst)

    num_visited_states = 0
    for idx, state in enumerate(states_it):
        num_visited_states += 1
        assert idx == state

    assert num_visited_states == fst.num_states()
Ejemplo n.º 30
0
def test_fst_read_write():
    fst = VectorFst()

    # States
    s1 = fst.add_state()
    s2 = fst.add_state()

    fst.set_start(s1)
    fst.set_final(s2)

    tr_1 = Tr(3, 5, 10.0, s2)
    tr_2 = Tr(5, 7, 18.0, s2)
    fst.add_tr(s1, tr_1)
    fst.add_tr(s1, tr_2)

    fst.write("/tmp/test.fst")

    read_fst = VectorFst.read("/tmp/test.fst")

    assert fst == read_fst