욤미의 개발일지

Baolin Peng∗ , Chunyuan Li∗ , Pengcheng He∗ , Michel Galley, Jianfeng Gao Microsoft Research {bapeng,chunyl,penhe,mgalley,jfgao}@microsoft.com 2023.4 66회 인용 Paper GPT-4 모델을 활용하여 Self-Instruct로 데이터셋을 생성 생성한 데이터셋을 활용하여 LLaMA를 Instruction Tuning Background GPT model Training 본 논문에서는 Fine-tuning에 해당하는 Instruction Tuning을 핵심으로 다루고 있으며 RLHF 에 해당하는 Reward모델도 사용하고 있다. Instruction Tuning pre-train된 모델에 p..

Zhangyin Feng1∗,Daya Guo2∗,Duyu Tang3, Nan Duan3, Xiaocheng Feng1 Ming Gong4, Linjun Shou4, Bing Qin1, Ting Liu1, Daxin Jiang4, Ming Zhou3 1 Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology, China 2 The School of Data and Computer Science, Sun Yat-sen University, China 3 Microsoft Research Asia, Beijing, China 4 Microsoft Search Technology Center Asi..

Yujia Li*, David Choi*, Junyoung Chung*, Nate Kushman*, Julian Schrittwieser*, Rémi Leblond*, Tom Eccles*, James Keeling*, Felix Gimeno*, Agustin Dal Lago*, Thomas Hubert*, Peter Choy*, Cyprien de Masson d’Autume*, Igor Babuschkin, Xinyun Chen, Po-Sen Huang, Johannes Welbl, Sven Gowal, Alexey Cherepanov, James Molloy, Daniel J. Mankowitz, Esme Sutherland Robson, Pushmeet Kohli, Nando de Freitas,..

Qiao Pan, Ke Ding, Ke Ding School of Computer Science Donghua University Shanghai, China ICDM 2021 [paper] Background 알츠하이머 병(Alzheimer’s disease; AD)은 노년층에서 흔히 발생하는 비가역적인 신경퇴행성 질환 최근 노화가 가속화되면서 조기에 알츠하이머를 정확히 진단하는 것이 치료와 질병 지연에 필수적 임상연구에서 AD의 발달은 일반적으로 세 단계로 구분 CN(cognitively normal): 인지 정상 상태 MCI(Mild Cognitive Impairment): 환자의 인지 능력이 약간 저하된 상태 AD(Alzheimer’s Disease): 알츠하이머에 걸린 상태 알츠하이머 진단 방법..

NIPS 2020 Workshop GitHub Paper Background 전이 학습(Transfer Learning) 대규모 데이터셋으로 사전 학습된(pre-trained) 모델의 가중치를 초기 가중치로 사용 Task가 달라도 데이터가 유사한 특징을 가진다면 학습 속도 개선 및 정확도 향상 가능 새로 학습하는 데이터셋이 작은 경우에도 높은 정확도 달성 가능 Pre-trained Model Transfer Model Freezing: 앞부분의 레이어는 얼려서 학습하지 않고 마지막에 내 task에 맞게 교체한 레이어만 학습하는 방법 Fine-tuning: 모든 레이어를 다 미세하게 조정해서 학습하는 방법 GAN(2014) 인위적인 샘플을 진짜처럼 합성하는 것을 목표로 하는 모델 Generator(G): ..

A spelling correction model for end-to-end speech recognition Attention-based sequence-to-sequence models for speech recognition jointly train an acoustic model, language model (LM), and alignment mechanism using a single neural network and require only parallel audio-text pairs. Thus, the language model component of arxiv.org