def test_modules(self):
summarization = Pororo(
task="summarization",
lang="ko",
model="extractive",
)
summarization_res = summarization(
"올해 8월 17일이 임시공휴일로 지정된다. 정세균 국무총리가 지난 19일 코로나19 장기화로 지친 의료진과 국민들의 휴식 및 내수 활성화를 위해 검토를 지시한지 이틀만이다. 정부는 21일 문재인 대통령 주재로 국무회의를 열어 '8월 17일 임시공휴일 지정안'을 의결했다고 밝혔다. 이에 따라 인사혁신처는 대통령 재가, 관보 공고 등 임시공휴일 확정을 위한 후속 조치에 착수하는 한편, 공휴일 지정으로 인해 관공서 민원실, 어린이집 운영 등에 있어 국민 불편이 없도록 관계 부처가 사전 대책을 마련하도 록 요청할 예정이다. 이번 임시공휴일은 관공서 뿐 아니라 근로기준법상 상시 300명 이상 근로자를 둔 사업장에 적용된다. 임시공휴일은 국가적인 행사를 기념하거나 내수 진작 등의 필요에 따라 정부에서 지정하는 공휴일이다. 올해 8월 17일 임시공휴일 지정은 코로나19 장기화로 인한 국민들의 높은 피로감 및 어려운 경제상황을 고려한 내 수 진작 등을 감안해 추진됐다. 올해 3.1절, 현충일, 광복절, 개천절 등 법정공휴일이 주말과 겹쳐 국민들의 휴식 기회가 적은 점도 지정 결정에 영향을 미쳤다. 최근에는 2017년 10월 2일(추석 연휴 전날), 2017년 5월 9일(제19대 대통령선거일), 2016년 5월 6일(어린이날 다음날), 2015년 8월 14일(광복절 전날)이 임시공휴일로 지정됐다."
)
self.assertIsInstance(summarization_res, str)
summarization = Pororo(
task="summarization",
lang="ko",
model="abstractive",
)
summarization_res = summarization(
"올해 8월 17일이 임시공휴일로 지정된다. 정세균 국무총리가 지난 19일 코로나19 장기화로 지친 의료진과 국민들의 휴식 및 내수 활성화를 위해 검토를 지시한지 이틀만이다. 정부는 21일 문재인 대통령 주재로 국무회의를 열어 '8월 17일 임시공휴일 지정안'을 의결했다고 밝혔다. 이에 따라 인사혁신처는 대통령 재가, 관보 공고 등 임시공휴일 확정을 위한 후속 조치에 착수하는 한편, 공휴일 지정으로 인해 관공서 민원실, 어린이집 운영 등에 있어 국민 불편이 없도록 관계 부처가 사전 대책을 마련하도 록 요청할 예정이다. 이번 임시공휴일은 관공서 뿐 아니라 근로기준법상 상시 300명 이상 근로자를 둔 사업장에 적용된다. 임시공휴일은 국가적인 행사를 기념하거나 내수 진작 등의 필요에 따라 정부에서 지정하는 공휴일이다. 올해 8월 17일 임시공휴일 지정은 코로나19 장기화로 인한 국민들의 높은 피로감 및 어려운 경제상황을 고려한 내 수 진작 등을 감안해 추진됐다. 올해 3.1절, 현충일, 광복절, 개천절 등 법정공휴일이 주말과 겹쳐 국민들의 휴식 기회가 적은 점도 지정 결정에 영향을 미쳤다. 최근에는 2017년 10월 2일(추석 연휴 전날), 2017년 5월 9일(제19대 대통령선거일), 2016년 5월 6일(어린이날 다음날), 2015년 8월 14일(광복절 전날)이 임시공휴일로 지정됐다."
)
self.assertIsInstance(summarization_res, str)
summarization = Pororo(
task="summarization",
lang="ko",
model="bullet",
)
summarization_res = summarization(
"올해 8월 17일이 임시공휴일로 지정된다. 정세균 국무총리가 지난 19일 코로나19 장기화로 지친 의료진과 국민들의 휴식 및 내수 활성화를 위해 검토를 지시한지 이틀만이다. 정부는 21일 문재인 대통령 주재로 국무회의를 열어 '8월 17일 임시공휴일 지정안'을 의결했다고 밝혔다. 이에 따라 인사혁신처는 대통령 재가, 관보 공고 등 임시공휴일 확정을 위한 후속 조치에 착수하는 한편, 공휴일 지정으로 인해 관공서 민원실, 어린이집 운영 등에 있어 국민 불편이 없도록 관계 부처가 사전 대책을 마련하도 록 요청할 예정이다. 이번 임시공휴일은 관공서 뿐 아니라 근로기준법상 상시 300명 이상 근로자를 둔 사업장에 적용된다. 임시공휴일은 국가적인 행사를 기념하거나 내수 진작 등의 필요에 따라 정부에서 지정하는 공휴일이다. 올해 8월 17일 임시공휴일 지정은 코로나19 장기화로 인한 국민들의 높은 피로감 및 어려운 경제상황을 고려한 내 수 진작 등을 감안해 추진됐다. 올해 3.1절, 현충일, 광복절, 개천절 등 법정공휴일이 주말과 겹쳐 국민들의 휴식 기회가 적은 점도 지정 결정에 영향을 미쳤다. 최근에는 2017년 10월 2일(추석 연휴 전날), 2017년 5월 9일(제19대 대통령선거일), 2016년 5월 6일(어린이날 다음날), 2015년 8월 14일(광복절 전날)이 임시공휴일로 지정됐다."
)
self.assertIsInstance(summarization_res, list)
def test_modules(self):
p2g_zh = Pororo(task="p2g", lang="zh")
p2g_zh_res = p2g_zh([
"ran2",
"er2",
"，",
"ta1",
"hong2",
"le5",
"20",
"nian2",
"yi3",
"hou4",
"，",
"ta1",
"jing4",
"tui4",
"chu1",
"le5",
"da4",
"jia1",
"de5",
"shi4",
"xian4",
"。",
])
self.assertIsInstance(p2g_zh_res, list)
p2g_ja = Pororo(task="p2g", lang="ja")
p2g_ja_res = p2g_ja("python ga daisuki desu。")
self.assertIsInstance(p2g_ja_res, str)
def test_modules(self):
gec_en = Pororo(task="gec", lang="en")
gec_res = gec_en("Myna me are kevi n")
self.assertIsInstance(gec_res, str)
gec_ko = Pororo(task="gec", lang="ko")
gec_res = gec_ko("이걸이 렇게 한다 고?")
self.assertIsInstance(gec_res, str)
def sentence_embedding():
data = request.get_json()
cands = data.get("cands", "")
query = data.get("query", "")
lang = data.get("lang", "")
sentence_embedding = Pororo(task="sentence_embedding", lang=lang)
result = sentence_embedding.find_similar_sentences(query, cands)
return jsonify({"kakao": {"sentence_embedding": result}})
def test_modules(self):
tts = Pororo(task="tts", lang="multi")
wave = tts("how are you?", lang="en", speaker="en")
self.assertIsInstance(wave, np.ndarray)
tts = Pororo(task="tts", lang="multi")
wave = tts("저는 미국 사람이에요.", lang="ko", speaker="en")
self.assertIsInstance(wave, np.ndarray)
def test_modules(self):
tagger = Pororo(task="pos", lang="ko")
tagger_res = tagger("나는 여기에 산다.")
self.assertIsInstance(tagger_res, list)
nltk_tagger = Pororo(task="pos", lang="en")
nltk_res = nltk_tagger(
"The striped bats are hanging, on their feet for best.")
self.assertIsInstance(nltk_res, list)
def sementic_textual_similarity():
data = request.get_json()
sentenceOne = data.get("sentenceOne", "")
sentenceTwo = data.get("sentenceTwo", "")
lang = data.get("lang", "")
sementic_textual_similarity = Pororo(task="similarity", lang=lang)
sts = Pororo(task="similarity", lang="ko")
result = sementic_textual_similarity(sentenceOne, sentenceTwo)
return jsonify({"kakao": {"sementic_textual_similarity": result}})
def __init__(self, pdf_dir):
self.mt = Pororo(task="translation", lang="multi")
self.summarizer = Pororo(task='summary', model='extractive', lang='ko')
self.txt = self.pdf2text(pdf_dir)
self.trans = self.text_translation(self.txt, source='en', target='ko')
self.sum = self.summarize(self.trans, gap=30)
return self.sum
def test_modules(self):
img_path = "https://kixxman.com/files/attach/images/140/554/007/1e57a1b02405d5d955030ced868375c2.jpg"
ocr = Pororo(task="ocr", lang="ko")
ocr = ocr(img_path)
self.assertIsInstance(ocr, list)
ocr = Pororo(task="ocr", lang="ko")
ocr = ocr(img_path, detail=True)
self.assertIsInstance(ocr, dict)
def test_modules(self):
cse = Pororo(task="cse", lang="ko")
cse_res = cse("나는 동물을 좋아하는 사람이야")
self.assertIsInstance(cse_res, np.ndarray)
cse = Pororo(task="cse", lang="zh")
cse_res = cse("一群人抬头看着建筑物屋顶边缘的3人。")
self.assertIsInstance(cse_res, np.ndarray)
cse = Pororo(task="cse", lang="ja")
cse_res = cse("おはようございます")
self.assertIsInstance(cse_res, np.ndarray)
def test_modules(self):
fill = Pororo(task="fib", lang="ko")
fill_res = fill("아 그거 __으로 보내줘 ㅋㅋ")
self.assertIsInstance(fill_res, list)
fill = Pororo(task="fib", lang="zh")
fill_res = fill("三__男子在街上做同样的舞蹈。")
self.assertIsInstance(fill_res, list)
fill = Pororo(task="fib", lang="ja")
fill_res = fill("文在寅は__の大統領だ。")
self.assertIsInstance(fill_res, list)
def test_modules(self):
g2pk = Pororo(task="g2p", lang="ko")
g2pk_res = g2pk("어제는 날씨가 맑았는데, 오늘은 흐리다.")
self.assertIsInstance(g2pk_res, str)
g2pen = Pororo(task="g2p", lang="en")
g2pen_res = g2pen("I have $250 in my pocket.")
self.assertIsInstance(g2pen_res, list)
g2pzh = Pororo(task="g2p", lang="zh")
g2pzh_res = g2pzh("然而，他红了20年以后，他竟退出了大家的视线。")
self.assertIsInstance(g2pzh_res, str)
def test_modules(self):
const = Pororo(task="const", lang="ko")
const_res = const(
"지금까지 최원호 한화 이글스 감독대행, 이동욱 NC 다이노스 감독, 이강철 KT 감독에 이어 4번째 선물이었다.")
self.assertIsInstance(const_res, str)
const = Pororo(task="const", lang="zh")
const_res = const("我喜欢饼干")
self.assertIsInstance(const_res, str)
const = Pororo(task="const", lang="en")
const_res = const("I love this place")
self.assertIsInstance(const_res, str)
def test_modules(self):
qg = Pororo(task="qg", lang="ko")
qg_res = qg(
"포즈(pose·자세분석) API",
"""카카오 인공지능(AI) 연구개발 자회사 카카오브레인이 AI 솔루션을 첫 상품화했다. 카카오는 카카오브레인 '포즈(pose·자세분석) API'를 유료 공개한다고 24일 밝혔다. 카카오브레인이 AI 기술을 유료 API를 공개하는 것은 처음이다. 공개하자마자 외부 문의가 쇄도한다. 포즈는 AI 비전(VISION, 영상·화면분석) 분야 중 하나다. 카카오브레인 포즈 API는 이미지나 영상을 분석해 사람 자세를 추출하는 기능을 제공한다.""",
)
self.assertIsInstance(qg_res, str)
def get_relevant_doc_bulk_ES(self, queries, k=10):
ner = Pororo(task="ner", lang="ko")
doc = []
for question in queries:
query = {
'query': {
'bool': {
'must': [{
'match': {
'text': question
}
}],
'should': [{
'match': {
'text':
' '.join([
i[0] for i in ner(question) if i[1] != 'O'
])
}
}]
}
}
}
documents = self.es.search(index='document', body=query,
size=k)['hits']['hits']
doc.append(documents)
return doc
def named_entity_recognition():
data = request.get_json()
text = data.get("text", "")
lang = data.get("lang", "")
named_entity_recognition = Pororo(task="mrc", lang=lang)
result = named_entity_recognition(text)
return jsonify({"kakao": {"named_entity_recognition": result.tolist()}})
def sentiment_analysis():
data = request.get_json()
text = data.get("text", "")
lang = data.get("lang", "")
sentiment_analysis = Pororo(task="sentiment", lang=lang)
result = sentiment_analysis(text)
return jsonify({"kakao": {"sentiment_analysis": result}})
def test_modules(self):
para_ko = Pororo(task="pg", lang="ko")
para_ko_res = para_ko("나는 여기에 산다.")
self.assertIsInstance(para_ko_res, str)
para_en = Pororo(task="pg", lang="en")
para_en_res = para_en("I'm good, but thanks for the offer.")
self.assertIsInstance(para_en_res, str)
para_ja = Pororo(task="pg", lang="ja")
para_ja_res = para_ja("雨の日を聞く良い音楽をお勧めしてくれ。")
self.assertIsInstance(para_ja_res, str)
para_zh = Pororo(task="pg", lang="zh")
para_zh_res = para_zh("我喜欢足球")
self.assertIsInstance(para_zh_res, str)
def main(args):
global logger
logger = init_logger(args.log_file, log_file_level=logging.DEBUG)
logger.info(f'args: {args}')
asr = Pororo(task='asr', lang=args.lang) # do args.lang to get info from ash file # args: Namespace(audio_path='korean_sample3.wav', lang='kor', log_file='./logs/asr.log')
logger.info(f'ASR Result!\n{asr(args.audio_path)}') # asr(args.audio_path) == asr('korean_sample3.wav') ->
def word_sense_disambiguation():
data = request.get_json()
text = data.get("text", "")
lang = data.get("lang", "")
word_sense_disambiguation = Pororo(task="wsd", lang=lang)
result = word_sense_disambiguation(text)
return jsonify({"kakao": {"word_sense_disambiguation": result}})
def ocr():
data = request.get_json()
file = data.get("file", "")
lang = data.get("lang", "")
ocr = Pororo(task="ocr", lang=lang)
result = ocr(file)
return jsonify({"kakao": {"ocr": result}})
def translation():
data = request.get_json()
text = data.get("text", "")
lang = data.get("lang", "")
translation = Pororo(task="translation", lang="multi")
result = translation(text, src="ko", tgt="en")
return jsonify({"kakao": {"translation": result}})
def review():
data = request.get_json()
text = data.get("text", "")
lang = data.get("lang", "")
review = Pororo(task="review", lang=lang)
result = review(text)
return jsonify({"kakao": {"review": result}})
def test_modules(self):
# yapf: disable
asr = Pororo(task="asr", lang="ko")
with control_temp("https://twg.kakaocdn.net/pororo/ko/example/korean_speech.wav") as f_src:
asr_res = asr(f_src)
self.assertIsInstance(asr_res, dict)
asr = Pororo(task="asr", lang="en")
with control_temp("https://twg.kakaocdn.net/pororo/en/example/english_speech.flac") as f_src:
asr_res = asr(f_src)
self.assertIsInstance(asr_res, dict)
asr = Pororo(task="asr", lang="zh")
with control_temp("https://twg.kakaocdn.net/pororo/zh/example/chinese_speech.wav") as f_src:
asr_res = asr(f_src)
self.assertIsInstance(asr_res, dict)
def contextualized_embedding():
data = request.get_json()
text = data.get("text", "")
lang = data.get("lang", "")
contextualized_embedding = Pororo(task="cse", lang=lang)
result = contextualized_embedding(text)
return jsonify({"kakao": {"contextualized_embedding": result.tolist()}})
def test_modules(self):
nli = Pororo(task="nli", lang="ko")
nli_res = nli(
"BrainBert는 한국어 코퍼스에 학습된 언어모델이다.",
"BrainBert는 한국어 모델이다.",
)
self.assertIsInstance(nli_res, str)
def fill_in_the_blank():
data = request.get_json()
text = data.get("text", "")
lang = data.get("lang", "")
fill_in_the_blank = Pororo(task="fib", lang=lang)
result = fill_in_the_blank(text)
return jsonify({"kakao": {"fill_in_the_blank": result.tolist()}})
def test_modules(self):
sim = Pororo(
task="similarity",
lang="ko",
model="brainsbert.base.ko.kornli.korsts",
)
sim_res = sim("야 너 몇 살이야?", "당신의 나이는 어떻게 되십니까?")
self.assertIsInstance(sim_res, float)
sim = Pororo(
task="similarity",
lang="ko",
model="brainbert.base.ko.korsts",
)
sim_res = sim("야 너 몇 살이야?", "당신의 나이는 어떻게 되십니까?")
self.assertIsInstance(sim_res, float)
def natural_language_inference():
data = request.get_json()
sentenceOne = data.get("sentenceOne", "")
sentenceTwo = data.get("sentenceTwo", "")
lang = data.get("lang", "")
natural_language_inference = Pororo(task="nli", lang=lang)
result = natural_language_inference(sentenceOne, sentenceTwo)
return jsonify({"kakao": {"natural_language_inference": result}})
def zero_shot_topic_classification():
data = request.get_json()
text = data.get("text", "")
categories = data.get("categories", "")
lang = data.get("lang", "")
zero_shot_topic_classification = Pororo(task="zero-topic", lang=lang)
result = zero_shot_topic_classification(text, categories)
return jsonify({"kakao": {"zero_shot_topic_classification": result}})