민프

이번 포스팅에서는 Attention is All you need논문을 기반으로 Transformer에 대해서 알아보겠습니다. 결론적으로 논문에서 말하는 Transformer는 이전에 포스팅했던 Attention을 기반으로 만들어서 기존의 언어 모델 RNN, LSTM 등...의 한계점을 극복할 수 있었습니다. 어떤 문제가 있었는지부터 차근차근 알아보도록 하겠습니다.1. 연구의 배경: 기존 모델의 한계기존의 RNN, LSTM 기반 Seq2Seq 모델은 텍스트를 시퀀스 단위로 처리했어요. 즉, 입력 문장을 처음부터 끝까지 순서대로 읽어야 했습니다. 하지만 이 구조에는 몇 가지 치명적인 단점이 있었죠순차적 처리로 병렬화가 불가능RNN은 하나의 단어를 처리한 후에야 다음 단어를 처리할 수 있어서 학습 속도가 느렸..

이번 포스팅에서는 LLM의 동작원리에 대해서 알아보도록 하겠습니다.LLM의 동작원리를 알아보기 전에 이전 포스팅에서 언급한 Seq2Seq, Transformer에 대해서 자세하게 알아보고 진행하도록 하겠습니다. 이 두 모델은 텍스트 번역, 요약, 질문 응답 같은 자연어 처리 작업에서 큰 역할을 했는데요, Transformer를 제대로 이해하려면 먼저 Seq2Seq가 무엇인지, 그리고 왜 Transformer가 필요한지 이해해야 합니다. 1. Transformer를 이해하려면 왜 Seq2Seq, Attention부터 공부해야 할까? Transformer는 Seq2Seq, Attention 모델의 개념을 기반으로 발전했기 때문에, Transformer를 이해하려면 Seq2Seq, Attention의 작동 원..

요즘 인공지능(AI) 기술에서 많이 등장하는 세 가지 용어가 있습니다: LLM(Large Language Model), LangChain, 그리고 RAG(Retrieval-Augmented Generation). 이 기술들은 각각의 역할을 하면서도 서로 연계되어 강력한 AI 애플리케이션을 만드는 데 기여하고 있습니다. 먼저 LLM부터 쉽게 이해할 수 있도록 설명해드리겠습니다 좀 길어질 수 있으니 요약을 보고싶으신 분들은Control + F를 누르시고 "*요약*" 만 보시면 될 것 같습니다.1. LLM 이란 무엇인가?먼저 AWS에서 정의한 LLM을 보면 아래와 같이 정의하고 있습니다.대규모 언어 모델(LLM)은 방대한 양의 데이터로 사전 학습된 초대형 딥 러닝 모델입니다. LLM은 대규모의 언어 데이터를 ..

이전 포스팅 1. 보팅편(Voting)에서 Random Forest에 대한 내용을 알려드리긴 했는데이번 포스팅에서는 더 자세한 내용을 말씀드리겠습니다. Deicision Tree ,1편, 2편을 보고 오시지 않으면 이해하시기 어렵습니다.선행 학습을 추천드립니다. (Leo Breiman Random Forests 논문을 참고하였습니다.)1. Random Forest의 역사Random Forest는 Leo Breiman이 2001년에 발표한 논문에서 제안한 기법으로, 여러 가지 결정 트리(decision tree)를 결합하여 예측 정확도를 높이기 위한 앙상블 방법입니다. 이 모델은 이전의 몇 가지 앙상블 및 트리 기반 학습 방법을 개선하는 과정에서 발전했습니다. 이 기법의 개발자인 레오 브레이먼(Leo Br..

이번 포스팅에서는 Bagging에 대해서 말씀드려보겠습니다.이전 포스팅 1.Voting편과 비교하며 설명해보겠습니다.(이전 포스팅을 보지 않으신 분들은 필히 보고 오셔야합니다.)(Leo Breiman Random Forests 논문을 참고하였습니다.) 1. Bagging의 등장 배경논문 및 위키백과에 따르면 이전 포스팅 에서의 등장 배경과 비슷한데 Bagging은 모델의 과적합과 불안정성을 줄이고자 개발되었습니다. 결정 트리(Decision Tree)와 같은 불안정한 모델은 학습 데이터의 작은 변화에도 민감하게 반응해 성능 변동성이 큽니다. Bagging은 각 모델이 다른 샘플을 통해 독립적으로 학습하고, 결과를 결합함으로써 이러한 문제를 해결하려는 목표로 등장했습니다.  2. Bagging 이란?먼저 ..

분류기와 관련해서 이전 포스팅에서는  SVM, KNN, Deicision Tree에 대해서 알아보았는데요이번 포스팅에서는 마지막으로 Random Forest에 대해서 알아보겠습니다. 영어를 직역해보자면무작위 숲? 무작위로 무엇을 만든다는 것 인가?..일단 알아보면서 이름이 기술과 어떤 연관이 있는지에 대해서 알아보았습니다.(Leo Breiman Random Forests 논문을 참고하였습니다.)Random Forest 의 역사Random Forest는 Leo Breiman이 2001년에 발표한 논문에서 제안한 기법으로, 여러 가지 결정 트리(decision tree)를 결합하여 예측 정확도를 높이기 위한 앙상블 방법입니다. 이 모델은 이전의 몇 가지 앙상블 및 트리 기반 학습 방법을 개선하는 과정에서 발..

서론인공지능(AI)과 머신러닝(ML) 분야에서, HPE(Human Pose Estimation)는 컴퓨터 비전과 동작 분석에 있어 매우 중요한 역할을 합니다. 특히, 인간의 다양한 동작을 추적하고 분석하는 데 있어 Landmark 정보는 필수적입니다. HPE는 2D 또는 3D로 신체의 관절 위치 정보를 수집할 수 있는데, 이 두 방식은 성능과 적용 방식에서 큰 차이가 있습니다. 결론부터 말씀드리자면 2D보다는 3D데이터를 사용해서 분류를 하는게 더 정확도가 높습니다.이전에 연구했었던 2D, 3D 비교에서는 2D로도 괜찮은 결과가 나와줬는데, 이번 연구에는 3D 데이터가 월등히 괜찮은 연구결과가 나왔습니다. 이전 테스트와의 차이점은 Test데이터의 다양성과 개수가 부족했는데 좀 더 복잡한 운동과 형태의 다..

이번 포스팅에서는 분류기 중 Decision Tree(결정 트리)에 대해서 알아보겠습니다.  1. Decision Tree란? 결정 트리(decision tree)는 의사 결정 규칙과 그 결과들을 트리 구조로 도식화한 의사 결정 지원 도구의 일종이다. 결정 트리는 운용 과학, 그 중에서도 의사 결정 분석에서 목표에 가장 가까운 결과를 낼 수 있는 전략을 찾기 위해 주로 사용된다- 위키백과-https://ko.wikipedia.org/wiki/%EA%B2%B0%EC%A0%95_%ED%8A%B8%EB%A6%AC 위키백과에 따르면 의사 결정 규칙에 대한 결과들을 트리 구조로 도식화 한 의사 결정 지원의 도구라고 하는데요과연 이게 무슨 말 일까요?  이해를 돕기 위해 아래 시험 합격에 대한 합격/불합격에 대한 ..

저번 포스팅에서는 KNN에 대해서 알아보았는데요https://minf.tistory.com/search/KNN#google_vignette 민프 minf.tistory.com 이번 포스팅에서는 SVM에 대해서 알아보겠습니다SVM (Support Vector Machine)SVM(Support Vector Machine)은 패턴 인식, 분류, 그리고 회귀 분석 등의 머신러닝 알고리즘이다. 이는 고차원 또는 무한 차원에서 최적의 분리 초평면을 찾아내는 방식을 사용하며, 데이터를 분류하거나 예측하는데 사용된다. - wikidocsSVM(Support Vector Machine)은 기계 학습의 분야 중 하나의 패턴 인식, 자료 분석을 위한 지도 학습 모델이며, 주로 분류와 회귀 분석을 위해 사용한다. SVM에서..

1. 소개 Generative :  생산하는Adversarial : 두 당사자가 적대 관계에 있는 Networks : 연결망, 방송망GAN의 뜻은 위 와 같습니다.말 그대로 두 모델이 대립 or 경쟁하는 과정을 통해 추정하는 프레임워크를 설명해주고 있습니다.하나는 데이터 분포를 포착하는 생성 모델 G(Generator),다른 하나는 샘플이 훈련 데이터에서 온 것인지 생성 모델에서 온 것인지 확률을 추정하는 판별 모델 D(Discriminator) 입니다.G의 훈련 절차는 D가 실수를 범할 확률을 최대화 하는 것 이라고 합니다G는 D를 속이기 위해 최선을 다하고, D는 G가 만든 가짜 데이터를 식별하려고 합니다.2. 관련 연구여기에서는 GAN이 다른 기존 방법들(MCMC, DBN, NCE 등..)에 비해 ..