- Check the requirements.txt
- torch 버전을 못 찾는 경우 CPU or GPU버전을 https://pytorch.org/get-started/locally/ 에서 받아주시면 됩니다.
- PyTorch == 1.0.1
- torchtext == 0.4.0
pip install -r requirements.txt- config/config.yaml 파일을 수정
useoption값을 새로 정의하시거나 기존 정의된값을 쓰시면 1개모듈 or 전체모듈 사용가능
use : 1후 access_key 기입후, 데이터셋 준비후
python data_preprocess.py use : 2후 형태소분석된 파일 준비후
python data_preprocess.py use : 3후model : W(W: whoosh, ME: maximumentropy) 하여서 사용- 본인의 유사발화찾기 모듈로 대체가능 결과물만
질문 index:유사발화 index식으로만 저장하면 됨
python data_preprocess.py use : 4후 vocab파일과 유사발화 찾은 결과물로 생성
python data_preprocess.py use : 5후 train-valid ratio설정하고
python data_preprocess.py use : 6후 test셋은q-'q의 비슷함을 측정하여서query | | retrieved query | retrieved response생성
python data_preprocess.py - skeleton generator:
template폴더의 config 설정 후,./train.sh - response generator:
pretrain폴더의 config 설정 후,./train.sh - 대화 생성 :
soft폴더의 config 설정 후,./train.sh결과물 보려면translate.sh
template폴더의.test.sh을 설정 맞추고 실행하면 0이 마스킹된 결과
wise_reporter안의 readme, requirement.txt 확인- 사용법 예제는
test.py확인 - https://github.com/KNU-NLPlab/wise_reporter/ 에 계속 업데이트중
ME_search폴더 안의module.py를 import하여 사용module.py의 전역 변수 수정을 통해 데이터 변경 가능- 동작 흐름
- sentence_parse : 입력 문장의 형태소 분석
- domain_calssify : 입력 문장의 도메인 분류
- extract_similar_sentence : 입력 문장과 비슷한 문장 추출
- 사용법 예제는
example.py를 참고