욤미의 개발일지

Language Model Scaling Laws for LMs(OpenAI, 2022)에서 LM의 performance는 model size, dataset size, amount of compute가 커짐에 따라 향상됨을 증명했다. 대규모 말뭉치에서 사전학습된 언어 모델은 성능이 좋아지고 그 크기도 커졌다. → GPT 시리즈의 등장 Overview GPT-1 (Generative Pre-trained Transformer, 2018.06.11) Transformer의 디코더 부분만 사용하여 언어 생성 모델을 구성하며, 입력에 대한 출력의 확률을 계산한다. 비지도 사전학습을 통해 문맥을 이해하고, 지도 학습으로 미세조정(fine-tuning)하는 모델 GPT-2 (2019.02.14) GPT-1 보다 ..

[Lecture 15] 선형 독립과 선형 변환 Linear Combinations(선형 결합) $\mathbb{R}^n$ 에서 $c_1\textbf{v}_1 + \cdots + c_p\textbf{v}_p$ matrix equation $Ax=\textbf{b}$ $$\begin{bmatrix} 60 & 5.5 & 1\\ 65 & 5.0 & 0 \\ 55 & 6.0 & 1 \end{bmatrix} \begin{bmatrix} x_1\\ x_2 \\ x_3 \end{bmatrix} =\begin{bmatrix} 66\\ 74 \\ 78 \end{bmatrix}$$ vector equation $\textbf{a}_1x_1 + \textbf{a}_2x_2 + \textbf{a}_3x_3 = \textbf{b..

[Lecture 14] 선형대수 기초와 선형 시스템 Scalar: 숫자 하나 Vector: 숫자 리스트, 크기와 방향을 가지고 있다. $\mathbb{R}$ : 실수 전체집합 $x=\begin{bmatrix} 1\\ 0 \\ 2 \end{bmatrix} \in \mathbb{R}^3$ : 3차원 벡터, 3차원 전체 실수 집합 중 하나 $A=\begin{bmatrix} 1 & 6\\ 0 & 4 \\ 5 & 2 \end{bmatrix} \in \mathbb{R}^{3 \times 2}$ , 3rows and 2 columns, 3 by 2 column vector: 수직(vertical) 벡터 → 수직형태가 default vector $x=\begin{bmatrix} x_1\\ x_2 \\ \vdots \\..

[Lecture 13] Web Web Page 서버에 요청을 보내면 서버는 리소스를 사용자에게 보여줌 웹 브라우저를 통해 포맷팅 되어 화면에 나타난다. html은 xml 구조를 가진다. → F12키로 Development Tool 확인 가능 html을 가져와서 beautiful soup 등 xml parser로 해석 가능 Requests 웹페이지를 읽기 위한 라이브러리 conda install requests import requests url = '' response = requests.get(url) # GET으로 접근 print(response.status_code) # 결과 코드, 200 정상 제대로 데이터를 가져옴/ 404 웹페이지를 찾을 수 없다. / 500 웹 서버에 문제가 있다. print..

[Lecture 12] Setting & Exception & Logging Programming Setting 실행할 때 마다 필요한 설정 값 딥러닝 학습 횟수(epoch), 학습 계수(language rate), gpu 개수 → Command Line Argument(명령행 인자)로 입력하면 편리함 한번 설정하면 수정을 잘 안하는 설정 값 폴더 위치, 포트 → 설정 파일에서 불러들이기(YAML, ConfigParser) Command Line Argument 콘솔 창에서 프로그램 실행 시 프로그램에 넘겨주는 인자 값 Command-line Interface(CLI)에서 흔히 쓰는 방식 공백 기준으로 분리되며 문자열 형태로 전달 import sys, sys.argv로 접근 가능 argparser Com..

[Lecture 11] IO Python의 Input/Output JSON, YAML, txt 파일 관련 파일 입출력은 OS 에서 관장한다. Standard Input&Ouput 따로 Redirection 없으면 콘솔 입/출력 # 표준 출력(stdout) print("This", "Sentence") # This Sentence 기본적으로 띄어쓰기로 연결 print("This", "Sentence", sep=", ") # This, Sentence 구분자 변경가능 # 표준 입력(stdin) var = input() > 로 redirection 가능 pyhton test.py > output.txt python test.py < input.txt | pipeline 한 표준 출력값을 다른 입력의 표준 입력..