Python normalize_textの例

コード例 #1

ファイル: sakai_ldig.py プロジェクト: matthijsbos/SWE_2013_Groep2

    def parse_answer(self, answer):
        _, text, _ = ldig.normalize_text(answer)
        events = self.trie.extract_features(u"\u0001" + answer + u"\0001")
        sum = numpy.zeros(len(self.labels))

        data = []
        for id in sorted(events, key=lambda id:self.features[id][0]):
            phi = self.param[id,]
            sum += phi * events[id]
        exp_w = numpy.exp(sum - sum.max())
        prob = exp_w / exp_w.sum()
        return [x for x in prob]

コード例 #2

ファイル: server.py プロジェクト: Tooa/BTWitter

    def detect(self, st):
        label, text, org_text = ldig.normalize_text(st)
        events = self.trie.extract_features(u"\u0001" + text + u"\u0001")
        sum = numpy.zeros(len(self.labels))

        data = []
        for id in sorted(events, key=lambda id:self.features[id][0]):
            phi = self.param[id,]
            sum += phi * events[id]
            data.append({"id":int(id), "feature":self.features[id][0], "phi":["%0.3f" % x for x in phi]})
        exp_w = numpy.exp(sum - sum.max())
        prob = exp_w / exp_w.sum()
        return {"labels":self.labels, "data":data, "prob":["%0.3f" % x for x in prob]}

コード例 #3

ファイル: server.py プロジェクト: rikkuporta/ldig

    def detect(self, st):
        label, text, org_text = ldig.normalize_text(st)
        events = self.trie.extract_features(u"\u0001" + text + u"\u0001")
        sum = numpy.zeros(len(self.labels))

        data = []
        for id in sorted(events, key=lambda id:self.features[id][0]):
            phi = self.param[id,]
            sum += phi * events[id]
            data.append({"id":int(id), "feature":self.features[id][0], "phi":["%0.3f" % x for x in phi]})
        exp_w = numpy.exp(sum - sum.max())
        prob = exp_w / exp_w.sum()
        return {"labels":self.labels, "data":data, "prob":["%0.3f" % x for x in prob]}

コード例 #4

ファイル: ldig_standalone.py プロジェクト: Zintinio/ldig

 def _detect_normalize(self, text):
     _, text, _ = ldig.normalize_text(text)
     return self._detect(text)

コード例 #5

ファイル: testcase.py プロジェクト: Tooa/BTWitter

 def assertNormalize(self, org, norm):
     self.assertEqual(ldig.normalize_text(org), ("", norm, org))

コード例 #6

ファイル: testcase.py プロジェクト: vohoaiviet/ldig-language-detection

 def assertNormalize(self, org, norm):
     self.assertEqual(ldig.normalize_text(org), ("", norm, org))