러닝머신 하는 K-공대생

Transformer 하면 “Attention is all you need”를 떠올리며 대충 Self-Attention과 MLP가 있고, 이를 반복해서 Encoder와 Decoder가 존재하며 예측한다고 겉핡기로 아는 경우가 많은데 작년에 나온, 3B1B Transformer 영상을 보면 self-attention과 MLP에 대해 더 깊은 의미를 생각해볼 수 있고 후속 연구들도 이런 해석을 지지하고 있어, 이런 내용을 포함해 Transformer의 작동 원리를 말로서 정리해보고자 한다. 1. Encoder-Only 구조로 큰 틀에서 이해하기먼저 핵심 원리를 파악하기 위해 Encoder-Only 구조에 대해 먼저 살펴보겠다. Transformer는 입력 문장 내 단어 임베딩들 간의 상호작용을 위해 self..

별 거 아닌 거에 마음에 안 들고 짜증 내고 툴툴대는 날이 있다.오늘은 그런 날이었다.  늦잠을 자 늦게 들어간 수업은 이해가 안돼서 수업 도중 인터넷을 찾아보다 또 다음 내용을 놓쳤다. 이걸 반복하다 보니 어느새 물음표만 머릿속에 남긴 채 수업이 끝났다. 수업 내용을 이해하지 못한 게 왜인지 분했다.강의실 밖에 나왔다. 쨍쨍한 햇빛이 마음에 들지 않아 투벅투벅 걸으며 이해못한 내용을 다시 쳐다보면서 식당에 갔다. 답답한 마음에 뜨거운 밥을 입 안 가득 채우며 괜히 화풀이를 했다. 입만 뜨거웠다.밥을 먹으며 비대면 수업을 듣기 위해 줌에 접속했다. 식당 소리에 잘 안들려 볼륨을 최대로 키웠다. 너무 쉬운 내용을 디테일하게 설명하는 게 맘에 안 들었다. 누군가는 이걸 아까의 나처럼 끙끙대고 있었겠지.기분도..

평소와 같이 영상을 보다 [왕초보 엄마의 수학공부]라는 것을 보게 되었다. 영상을 제대로 보지 않았음에도 나는 마음 속 깊이 울리는 어떤 깊은 감정을 느꼈다. 늦은 나이임에도 새로운 것에 도전하고 배워보려는 시도. 그것이 누구나 할 수 있든 아니든 어렵거나 그렇지 않던 본인에게 의미가 있고 가치가 있는 어떤 행동이면 멋있다고 느껴진다. 대학이라는 공간에서 자유로이 내가 원하는 지식을 얻어가고 경험할 수 있는 현재의 나는 행복하다. 내가 해보고자 하는 목표와 과정이 누군가에게 당연하고 어렵지 않은 것이든 나에게 의미가 있는 무언가를 계속 해낼 것이다. 좋은 깨달음의 순간을 공유하고 싶어 이 글을 올린다.

인터넷 속 이과생들은 이걸 보고 왜 발작할까. 본인의 직관이 통하지 않을 것 같다는 추측만으로 발작하는 것인가? 발작을 하기 위해선 본인에 생각에 대한 논리적인 근거와 확신이 있어야 한다. 나는 직관만으론 확신이 들지 않는 타입이라 오랫만에 나도 발작을 해보고 싶어서 이를 물리적으로 검증해보려고 한다. 누구나 이해할 수 있도록 자세히 기술할 것이고, 이 글을 통해 추상적으로 보이는 문제를 정의하고 분석하는 능력을 키우길 기대한다. 쨋든 위 상황이 가능한지 확인하려면 다음의 상황이 가능한지 확인해보면 된다. 1. 언덕 살짝 옆에서 공을 아래로 던짐 2. 언덕 살짝 옆에서 제자리 위로 점프를 함 3. 점프하고 어느 순간에 충돌함 4. 충돌 이후 다시 상황3 에 도달함 1~4 과정이 가능함을 보이면 3~4 과..