Solbi Lee님의 블로그

1 . 목적과 역할 목적 : 4개 토큰으로 구성된 짧은 문장에 대해 Scaled Dot-Product Self-Attention을 계산각 토큰이 어떤 토큰을 얼마나 참조하는지 (어텐션 가중치)와 문맥 반영 벡터(output)를 확인 해결 문제 : RNN 처럼 순차 처리 없이 모든 토큰 쌍의 상호작용을 병렬 계산해 장거리 의존성/문맥을 효율적으로 포착 4단어짜리 문장에 self-attention 한 번을 적용해, 각 단어가 서로를 얼마나 참고해서 문맥이 섞인 새 표현을 만드는 미니 트랜스포머 데모 2. 주요 기능 / 이론 요점 - 임베딩 : 정수토큰 -> 실수 벡터 (d_model=8). 학습되면 의미를 품게 됨. - Q/K/V 투영(Dense): 입력 임베딩에서 질문(Q)/열쇠(K)/내용(V) 역할로 ..

1. 이 코드의 목적과 역할 목적 : 한 문장 (토큰 시퀀스)에 대해 Self-Attention을 계산해, 각 단어가 문맥 속에서 어떤 단어를 더 주목하는지 어텐션 가중치 행렬과 문맥 반영 임베딩을 얻는 것 해결하는 문제 : RNN처럼 순차 처리 없이, 모든 토큰 쌍의 상호작용을 한 번에 계산해 장거리 의존성을 효율적으로 포착 2. 필수 라이브러리 분석 * tensorflow as tf - 텐서 연산, Keras 레이어 ( Embedding, Dense ) 와 커스텀 레이어 정의, 행렬 곱 (tf. matmul), 전치( transpose_b=True ) 등 - 토큰 사전/리스트 구성 등 파이썬 배열 처리 (여기서는 주로 사전/리스트 수준)- matplotlib.pyplot as plt, seaborn..

1. 코드 목적 및 역할 분석 - TensorFlow 버전 확인 - 상수(constant) - 변수(variable) 텐서 생성 - Numpy TensorFlow 간 변환 - 기본 수치 연산 (덧셈, 행렬곱)- 슬라이싱- 활성화 함수 (ReLu) 적용 - 모양 변경 (reshape)- 다양한 텐서 생성 함수 (zeros, ones, fill, random.normal)- 타입 변환 (cast) 2. 필수 라이브러리 import tensorflow as tf # 텐서 연산 및 머신러닝 프레임워크 import numpy as np # 수치 연산·배열 처리- TensorFlow(tf): 그래프 기반 계산과 자동 미분(autograd), GPU 가속을 지원하는 ML ..

1. 개요 정의 : 구글이 만든 오픈소스 머신러닝 프레임워크이자 라이브러리, 그래프 기반 계산 (연산을 그래프로 표현 -> 최적화)다양한 플랫폼 (CPU·GPU·TPU·모바일) 지원고수준 API (Keras 내장) 제공 핵심 가치 :1. 확장성 : 데스크탑에서 분산 환경, 모바일까지 동일 코드로 실행 2. 성능 : XLA 컴파일러, 그래프 최적화로 연산속도 높음 3. 생태계 : Keras, TensorBoard, TF Hub, TF Lite, TF Serving 등 2. 텐서의 본질 정의 : 다차원 배열 (Multi-Dimensional Array) 0-D 스칼라(차원이 아예 없는 숫자 한 개, 7,1.5,3) , 1-D 벡터(숫자가 일렬로 나열된 형태, 리스트 같은 것 [1, 2, 3]) , 2-D..