논문리뷰 (9) 썸네일형 리스트형 [Auto-Completion] Evaluation Metric Task Auto completion은 기본적으로 코드 컨텍스트가 주어졌을때 다음으로 나올 코드 Sequence를 예측한다. 이때 max probability를 갖는 코드 Sequence 뿐만 아니라 다른 sequence들도 추천을 하게된다. Recommendation Evaluation Top-k Accuracy [1, 2] (* 는 Metric이 제안된 논문) Top-k accuracy는 아래와 같이 정의되며 한개의 테스트 샘플에 대해서 추천한 예측들 중 정확히 동일한 추천이 있다면 카운팅한다. Q는 전체 테스트 샘플 수를 의미하며 N은 한개의 샘플에 대한 K개의 예측 중에 정답이 있던 샘플의 수이다. Mean Reciprocal Rank (MRR) [1, 3, 4, 5, 6] MRR은 모델의 예측중.. [Question Answering] Compositional Semantic Parsing on Semi-Structured Tables, ACL'15 Abstract Question Answering (QA) on tables 문제를 다루는 논문이다. Question은 Natural Language Query (NQL)로 입력되며 이에 대해 table에서 올바른 answer을 도출하는 Semantic Parsing으로 접근한다. semantic parsing에서는 2가지의 중요한 측면있는데 하나는 knowledge source의 다양성과 logical compositionality의 깊이이다. 복잡성이 큰 qeury를 처리하는 모델을 설계하면 다양한 source의 질문에는 답하기 힘들고 둘 사이는 일반적으로 trade-off관계로 여겨진다. 논문에서는 이 두가지 측면을 모두 향상시키는 방법을 제안한다. Method overview 위 그림은 일련의 N.. [Question Answering] Introduction to Neural Network based Approaches for Question Answering over Knowledge Graphs, arxiv'19 1. Abstract Knowledge graph에서 QA task를 다루는 survey 논문이다. 관련하여 어려운점, 현재 패러다임, 데이터셋 등에 대해 전반적으로 소개한다. 2. Background Knowledge Graphs (KG) A KG is a formal representation of facts pertaining to a particular domain 이라고 정의하고 있으며 즉, 어떤 분야에 대한 사실들의 정규적인 표현이다. KG는 3가지의 구성요소를 갖는다. Entity: denoting the subjects of interest in the domain, $\mathcal{E} = \{e_1,...,e_{n_e}\} $ Relation: denoting the interacti.. [Question Answering] emrQA: A Large Corpus for Question Answering on Electronic Medical Records, 18'EMNLP Abstract 이 논문에서는 특정 도메인의 많은 데이터를 생성하는 방법론을 제안한다. 도메인지식이 있는 전문가의 노력이 많이 필요한 Electronic Medical Records (EMR)에서 전문가의 적은 개입으로만으로도 Question Answering (QA) 데이터를 만들수 있음을 보였다. 기존의 다른 Natural Language Processing task를 위해 만들었던 데이터셋에서 전문가가 주석을 달은 clinical notes를 이용하여 QA 데이터로 만들었다. 결과적으로 100만개의 questions-logical form과 40만개 이상의 question-answering evidence pair를 제안했다. Motivation Automatic Question Answering .. [Program Synthesis] Neural Programmer: Inducing Latent Programs with Gradient Descent, ICLR'16 Motivation & Contribution 이 논문의 기존의 RNN 및 attention을 이용한 방법론들이 QA에서는 잘 동작하지 않는것이 간단한 로직이나 수치연산 오퍼레이션 조차 배우지 못했기 때문이라 말한다. 따라서, 간단한 연산 오퍼레이터 셋을 제공하여 자연어 쿼리를 주었을 때 결과값과 오퍼레이터들로 이루어진 프로그램을 배우는 Neural Programmer를 제안한다. Neural Programmer 거의 100%에 가까운 정확도 성능을 보인다. 기존에는 모델에게 입출력 데이터만을 제공하고 그것이 온전히 모델의 파라미터에 의해 학습되도록하였다면 여기서는 명시적으로 해당 결과값을 얻을 수 있는 중간 연산자들을 제공하는것이다. Task 여기서 다루는 문제는 Table과 자연어 쿼리가 주어졌을때 .. [Program Synthesis] Making Neural Programming Architectures Generalize via Recursion, ICLR'17 Motivation & Contribution 기존의 프로그램을 배우려는 Neural networks은 두 가지의 문제를 보인다. 첫번째 Generalization성능이 좋지 못하다는 것과 두번째로 입력의 complexity가 커지면 어떻게 동작할지 해석이 가능하지 않다는 것이다. 예를 들어, Complexity는 학습때 보지 못했던 입력크기를 말한다. Multi-digit addition경우에 10자리에서 100자리로 입력의 크기가 변한경우를 input complexity가 증가했다고 말한다. 이때에도 Neural network가 잘 프로그램을 학습하였다면 기본적인 Addition 프로그램의 semantic은 변하지 않았기 때문에 정상적으로 동작해야한다. 하지만, 기존의 모델들은 입력크기가 커짐에 따라.. [Program Synthesis] Neural Programmer-Interpreters, ICLR'16 Abstract 이 논문에서는 Neural Programmer-Interpreter (NPI)라는 Program을 생성하고 실행하는 법을 배우는 모델을 제안한다. row-level 프로그램들을 이용하여 high-level한 프로그램을 표현하는 법을 배움으로써 complexity를 낮추고 generalization 능력을 갖는다. 또한, NPI는 중간 연산결과를 저장하는 프로그램 환경을 통하여 RNN에 hidden unit이 중간결과를 저장해야할 부담을 줄일수 있다. 논문에서는 단 하나의 NPI로 addition, sorting, and canonicalizing 3D models 프로그램들을 생성하는 것과 21개의 sub program들을 포함하여 위 3개의 복잡한 프로그램을 실행하는 것을 학습하였다. .. [Program Synthesis] Learning a Natural Language Interface with Neural Programming, ICLR'17 Abstract 이 논문은 Neural Programmer: Inducing Latent Programs with Gradient Descent, ICLR'16의 후속 연구이다. 이전 연구에서는 synthetic하게 생성했던 데이터셋을 이용하여 QA on tables 문제를 natural language query를 입력으로 받아 연속적으로 execution unit을 테이블 데이터에 적용함으로써 원하는 결과값을 얻는 program synthesis 방법론을 제안했었다. 이 논문에서는 real-world data인 WikiTableQuetions dataset에 대하여 학습을 하였다. 또한, 기존의 Neural Programmer의 objective function과 built-in discrete op.. 이전 1 2 다음
