민프

LSTM이란?LSTM(Long Short-Term Memory)은 순환신경망(RNN)의 일종으로,기존 RNN이 갖고 있던 장기 의존성 문제를 해결하기 위해 제안된 구조입니다. 즉, 긴 문장이나 시퀀스에서도 기억을 잃지 않고 정보를 유지하면서 학습할 수 있도록 고안된 모델입니다. 왜 나왔을까?자 먼저 위 논문에서 등장하는 Vanishing Gradient, Exploding Gradient에 대해서 먼저 알아봅시다. - Gradient(그래디언트)란?딥러닝에서는 모델이 학습을 할 때,오차(= loss)를 줄이기 위해 가중치(weight)를 얼마나 바꿔야 할지 결정합니다. 이때 사용하는 수치가 바로 gradient (그래디언트) 입니다. 즉, 경사도 또는 기울기입니다. - 기존 RNN의 특징?RNN은 시퀀스..

1. RNN이란?RNN은 시계열 데이터를 다루기 위한 인공신경망 구조입니다.과거의 입력 정보를 “기억”해서 다음 출력을 만들 수 있는 구조로,자연어 처리, 음성 인식, 시계열 예측에 널리 사용됩니다.2. 왜 나왔을까?위 논문 내용을 보면 기존의 n-gram은 고정 길이의 문맥만을 보지만, 자연어는 훨씬 긴 의존성(long-term dependency)을 가지므로, 더 나은 모델이 필요합니다.RNN은 아래 논문 내용처럼 기존 "Feedforward Neural Networks"는 문맥 길이가 고정되어 있어 한계가 분명한 단점이 존재하였습니다. 그래서 RNN은 아래 논문 내용과 같이 "Simple RNN (Elman Network)"을 사용하여서 이전 상태(context)를 순환시켜 무제한 문맥을 반..

1. LightGBM이란?LightGBM은 마이크로소프트에서 개발한 Gradient Boosting Decision Tree(GBDT) 기반의 머신러닝 프레임워크입니다.기존 GBDT의 단점인 느린 학습 속도와 높은 메모리 사용량을 극복하기 위해 만들어졌고, 대표적인 GBDT 구현체 중 하나인 XGBoost보다도 훨씬 빠르고 효율적입니다. 아래는 LightGBM의 공식 깃헙입니다.https://github.com/microsoft/LightGBM GitHub - microsoft/LightGBM: A fast, distributed, high performance gradient boosting (GBT, GBDT, GBRT, GBM or MART) framework baA fast, distributed..

1. GBDT란? GBDT는 Gradient Boosting Decision Tree의 약자로, 여러 개의 결정 트리(Decision Tree)를 순차적으로 학습하여 예측 성능을 향상시키는 앙상블 기법입니다. 약한 학습기(weak learner)인 결정 트리를 하나씩 추가하면서, 이전 모델의 오차를 줄이기 위해 점점 더 나은 모델을 만드는 방식입니다. 2. GBDT는 언제 필요한가? 왜 필요한가?단일 Decision Tree의 한계는 아래와 같이 분명합니다.(Decision Tree 포스팅을 확인해주세요.)과적합 또는 과소적합일반화 성능 부족따라서 이 문제를 해결해주는 부스팅 Boosting 이라는 알고리즘을 사용합니다.여러 트리를 순차적으로 학습이전 모델이 틀린 부분을 다음 모델이 집중해서 학습최종적으..

이번 포스팅에서는 Attention is All you need논문을 기반으로 Transformer에 대해서 알아보겠습니다. 결론적으로 논문에서 말하는 Transformer는 이전에 포스팅했던 Attention을 기반으로 만들어서 기존의 언어 모델 RNN, LSTM 등...의 한계점을 극복할 수 있었습니다. 어떤 문제가 있었는지부터 차근차근 알아보도록 하겠습니다.1. 연구의 배경: 기존 모델의 한계기존의 RNN, LSTM 기반 Seq2Seq 모델은 텍스트를 시퀀스 단위로 처리했어요. 즉, 입력 문장을 처음부터 끝까지 순서대로 읽어야 했습니다. 하지만 이 구조에는 몇 가지 치명적인 단점이 있었죠순차적 처리로 병렬화가 불가능RNN은 하나의 단어를 처리한 후에야 다음 단어를 처리할 수 있어서 학습 속도가 느렸..

이번 포스팅에서는 LLM의 동작원리에 대해서 알아보도록 하겠습니다.LLM의 동작원리를 알아보기 전에 이전 포스팅에서 언급한 Seq2Seq, Transformer에 대해서 자세하게 알아보고 진행하도록 하겠습니다. 이 두 모델은 텍스트 번역, 요약, 질문 응답 같은 자연어 처리 작업에서 큰 역할을 했는데요, Transformer를 제대로 이해하려면 먼저 Seq2Seq가 무엇인지, 그리고 왜 Transformer가 필요한지 이해해야 합니다. 1. Transformer를 이해하려면 왜 Seq2Seq, Attention부터 공부해야 할까? Transformer는 Seq2Seq, Attention 모델의 개념을 기반으로 발전했기 때문에, Transformer를 이해하려면 Seq2Seq, Attention의 작동 원..

요즘 인공지능(AI) 기술에서 많이 등장하는 세 가지 용어가 있습니다: LLM(Large Language Model), LangChain, 그리고 RAG(Retrieval-Augmented Generation). 이 기술들은 각각의 역할을 하면서도 서로 연계되어 강력한 AI 애플리케이션을 만드는 데 기여하고 있습니다. 먼저 LLM부터 쉽게 이해할 수 있도록 설명해드리겠습니다 좀 길어질 수 있으니 요약을 보고싶으신 분들은Control + F를 누르시고 "*요약*" 만 보시면 될 것 같습니다.1. LLM 이란 무엇인가?먼저 AWS에서 정의한 LLM을 보면 아래와 같이 정의하고 있습니다.대규모 언어 모델(LLM)은 방대한 양의 데이터로 사전 학습된 초대형 딥 러닝 모델입니다. LLM은 대규모의 언어 데이터를 ..

이전 포스팅 1. 보팅편(Voting)에서 Random Forest에 대한 내용을 알려드리긴 했는데이번 포스팅에서는 더 자세한 내용을 말씀드리겠습니다. Deicision Tree ,1편, 2편을 보고 오시지 않으면 이해하시기 어렵습니다.선행 학습을 추천드립니다. (Leo Breiman Random Forests 논문을 참고하였습니다.)1. Random Forest의 역사Random Forest는 Leo Breiman이 2001년에 발표한 논문에서 제안한 기법으로, 여러 가지 결정 트리(decision tree)를 결합하여 예측 정확도를 높이기 위한 앙상블 방법입니다. 이 모델은 이전의 몇 가지 앙상블 및 트리 기반 학습 방법을 개선하는 과정에서 발전했습니다. 이 기법의 개발자인 레오 브레이먼(Leo Br..

이번 포스팅에서는 Bagging에 대해서 말씀드려보겠습니다.이전 포스팅 1.Voting편과 비교하며 설명해보겠습니다.(이전 포스팅을 보지 않으신 분들은 필히 보고 오셔야합니다.)(Leo Breiman Random Forests 논문을 참고하였습니다.) 1. Bagging의 등장 배경논문 및 위키백과에 따르면 이전 포스팅 에서의 등장 배경과 비슷한데 Bagging은 모델의 과적합과 불안정성을 줄이고자 개발되었습니다. 결정 트리(Decision Tree)와 같은 불안정한 모델은 학습 데이터의 작은 변화에도 민감하게 반응해 성능 변동성이 큽니다. Bagging은 각 모델이 다른 샘플을 통해 독립적으로 학습하고, 결과를 결합함으로써 이러한 문제를 해결하려는 목표로 등장했습니다.  2. Bagging 이란?먼저 ..

분류기와 관련해서 이전 포스팅에서는  SVM, KNN, Deicision Tree에 대해서 알아보았는데요이번 포스팅에서는 마지막으로 Random Forest에 대해서 알아보겠습니다. 영어를 직역해보자면무작위 숲? 무작위로 무엇을 만든다는 것 인가?..일단 알아보면서 이름이 기술과 어떤 연관이 있는지에 대해서 알아보았습니다.(Leo Breiman Random Forests 논문을 참고하였습니다.)Random Forest 의 역사Random Forest는 Leo Breiman이 2001년에 발표한 논문에서 제안한 기법으로, 여러 가지 결정 트리(decision tree)를 결합하여 예측 정확도를 높이기 위한 앙상블 방법입니다. 이 모델은 이전의 몇 가지 앙상블 및 트리 기반 학습 방법을 개선하는 과정에서 발..