def test_tf_idf(self):
pipeline = Pipeline(
DataLoader(text_processor=self.text_processor, n_grams=3),
TextEncoder(encode_type=SGDTestCase.EncodingAliases.TF_IDF),
SGDClassifier(num_labels=3))
pipeline(train=SGDTestCase.INPUT_FILE, test=SGDTestCase.OUTPUT_FILE)
pipeline.save(SGDTestCase.SAVED_PATH)
_pipeline = Pipeline.load(SGDTestCase.SAVED_PATH)
self.assertIsInstance(_pipeline, Pipeline)
predict_results = _pipeline.predict([
'hàng ok đầu tuýp có một số không vừa ốc siết. chỉ được một số đầu thôi '
'.cần nhất đầu tuýp 14 mà không có. không đạt yêu cầu của mình sử dụng',
'Son đẹpppp, mùi hương vali thơm nhưng hơi nồng, chất son mịn, màu lên '
'chuẩn, đẹppppp'
])
self.assertIsInstance(predict_results, np.ndarray)
def test_one_hot_ft(self):
pipeline = Pipeline(
DataLoader(text_processor=self.text_processor, n_grams=1),
TextEncoder(encode_type=LSTMTestCase.EncodingAliases.ONE_HOT),
LSTMClassifier(num_labels=3,
num_epochs=3,
bidirectional=False,
attention=True))
pipeline(train=LSTMTestCase.INPUT_FILE, test=LSTMTestCase.OUTPUT_FILE)
pipeline.save(LSTMTestCase.SAVED_PATH)
_pipeline = Pipeline.load(LSTMTestCase.SAVED_PATH)
self.assertIsInstance(_pipeline, Pipeline)
predict_results = _pipeline.predict([
'hàng ok đầu tuýp có một số không vừa ốc siết. chỉ được một số đầu thôi '
'.cần nhất đầu tuýp 14 mà không có. không đạt yêu cầu của mình sử dụng',
'Son đẹpppp, mùi hương vali thơm nhưng hơi nồng, chất son mịn, màu lên '
'chuẩn, đẹppppp'
])
self.assertIsInstance(predict_results, np.ndarray)
def test_one_hot(self):
pipeline = Pipeline(
DataLoader(text_processor=self.text_processor, n_grams=3),
TextEncoder(
encode_type=TransformerTestCase.EncodingAliases.ONE_HOT),
TransformerClassifier(
num_labels=3,
language_model_shortcut=TransformerTestCase.LM_SHORTCUT))
pipeline(train=TransformerTestCase.INPUT_FILE,
test=TransformerTestCase.OUTPUT_FILE)
pipeline.save(TransformerTestCase.SAVED_PATH)
_pipeline = Pipeline.load(TransformerTestCase.SAVED_PATH)
self.assertIsInstance(_pipeline, Pipeline)
predict_results = _pipeline.predict([
'hàng ok đầu tuýp có một số không vừa ốc siết. chỉ được một số đầu thôi '
'.cần nhất đầu tuýp 14 mà không có. không đạt yêu cầu của mình sử dụng',
'Son đẹpppp, mùi hương vali thơm nhưng hơi nồng, chất son mịn, màu lên '
'chuẩn, đẹppppp'
])
self.assertIsInstance(predict_results, np.ndarray)
from sentivi import Pipeline, RESTServiceGateway
pipeline = Pipeline.load('./weights/pipeline.sentivi')
server = RESTServiceGateway(pipeline).get_server()
# docker run -d --name sentivi_serving_02 -p 8000:80 --env APP_MODULE=test.serving:server --env WORKERS_PER_CORE=0.75
# --env MAX_WORKERS=6 --env HOST=0.0.0.0 --env PORT=80 --env PYTHONPATH=/app -v `pwd`:/app
# tiangolo/uvicorn-gunicorn-fastapi:python3.7 pip install -r requirements.txt