def test_empty_token(self):
assert unshift_token('') == {
'text': '',
'separator': '',
'remainder': '',
}
def test_abc_newline_a_token(self):
assert unshift_token('ABC\nA') == {
'text': 'ABC',
'separator': '\n',
'remainder': 'A',
}
def test_abc_token(self):
assert unshift_token('ABC') == {
'text': 'ABC',
'separator': '',
'remainder': '',
}
def test_space_a_token(self):
assert unshift_token(' A') == {
'text': ' ',
'separator': '',
'remainder': 'A',
}
def test_newline_token(self):
assert unshift_token('\n') == {
'text': '',
'separator': '\n',
'remainder': '',
}