def remove_all(text): text = f.no_url(text) text = f.no_usernames(text) text = f.no_hash(text) text = f.no_emoticons(text) text = f.no_rt_tag(text) return text
def remove_noise(text): text = f.no_url(text) text = f.no_usernames(text) text = f.no_hash(text) text = f.no_rt_tag(text) text = f.reduce_letter_duplicates(text) return text
def remove_noise(text): text = f.no_url(text) text = f.no_usernames(text) text = f.hash_as_normal(text) text = f.no_rt_tag(text) text = f.reduce_letter_duplicates(text) # text = p.negation_attachment(text) return text
def filter(tweet): tweet = filt.no_url(tweet) tweet = filt.no_rt_tag(tweet) tweet = filt.no_emoticons(tweet) tweet = filt.no_usernames(tweet) tweet = filt.no_hash(tweet) logging.debug("--- FINISHED FILTERING: %s" % tweet) return tweet
def all(text): text = text.lower() text = f.no_url(text) text = f.no_usernames(text) text = f.no_emoticons(text) text = f.no_hash(text) text = f.no_rt_tag(text) text = f.reduce_letter_duplicates(text) text = p.negation_attachment(text) return text
def test_no_rt_tag(self): text = "RT " + self.text tmp = f.no_rt_tag(text) self.assertEqual(tmp, self.text.lower())