민프

이번 포스팅에서는 LLM의 동작원리에 대해서 알아보도록 하겠습니다.LLM의 동작원리를 알아보기 전에 이전 포스팅에서 언급한 Seq2Seq, Transformer에 대해서 자세하게 알아보고 진행하도록 하겠습니다. 이 두 모델은 텍스트 번역, 요약, 질문 응답 같은 자연어 처리 작업에서 큰 역할을 했는데요, Transformer를 제대로 이해하려면 먼저 Seq2Seq가 무엇인지, 그리고 왜 Transformer가 필요한지 이해해야 합니다. 1. Transformer를 이해하려면 왜 Seq2Seq, Attention부터 공부해야 할까? Transformer는 Seq2Seq, Attention 모델의 개념을 기반으로 발전했기 때문에, Transformer를 이해하려면 Seq2Seq, Attention의 작동 원..

요즘 인공지능(AI) 기술에서 많이 등장하는 세 가지 용어가 있습니다: LLM(Large Language Model), LangChain, 그리고 RAG(Retrieval-Augmented Generation). 이 기술들은 각각의 역할을 하면서도 서로 연계되어 강력한 AI 애플리케이션을 만드는 데 기여하고 있습니다. 먼저 LLM부터 쉽게 이해할 수 있도록 설명해드리겠습니다 좀 길어질 수 있으니 요약을 보고싶으신 분들은Control + F를 누르시고 "*요약*" 만 보시면 될 것 같습니다.1. LLM 이란 무엇인가?먼저 AWS에서 정의한 LLM을 보면 아래와 같이 정의하고 있습니다.대규모 언어 모델(LLM)은 방대한 양의 데이터로 사전 학습된 초대형 딥 러닝 모델입니다. LLM은 대규모의 언어 데이터를 ..

구글의 인공지능 스타트업, 딥마인드(DeepMind)가 수십 년 동안 해결되지 않았던 수학 문제인 '캡 세트 문제(cap set problem)'를 해결했습니다. 이 발견은 'FunSearch'라는 새로운 도구를 사용하여 이루어졌으며, 이는 함수를 찾아내는 대규모 언어 모델(Large-Language Model, LLM)입니다. FunSearch는 구글의 건강 관리 모델인 PaLM 2의 버전인 Codey와 거부 알고리즘을 결합하여 정확하고 새로운 해결책을 제시합니다. 이 도구의 성공은 대규모 언어 모델을 수학 문제 해결에 활용하는 새로운 길을 열었습니다. 이번 딥마인드의 성과는 AI 기술이 순수 수학과 같은 복잡한 분야에서도 중요한 역할을 할 수 있음을 보여줍니다. AI가 단순히 기존 지식을 검색하고 재..

최근 OpenAI의 ChatGPT 사용자들 사이에서 ChatGPT가 "GPT-4.5"로 구동되고 있다는 주장이 제기되었습니다. 이러한 주장은 ChatGPT가 "gpt-4.5-turbo"로 구동된다는 응답을 보여주는 스크린샷을 통해 확산되었습니다. 만약 사실이라면, 이는 상당한 발전이 될 것입니다. 그러나 OpenAI의 직원들은 이를 '환상'이라고 일축했습니다. OpenAI의 CEO Sam Altman은 GPT-4.5에 대한 질문을 간단히 "아니요"라고 답변했습니다. 이러한 상황은 AI 기술의 발전과 관련된 소문과 기대에 대한 사용자들의 반응을 보여주는 사례입니다. 이번 사건은 AI 기술에 대한 대중의 기대와 관심이 얼마나 높은지를 보여줍니다. 사용자들은 새로운 기술의 발표를 갈망하고 있으며, 때로는 소문..

최근 구글의 오랫동안 기다려온 AI 제품인 '제미니(Gemini)'가 실제로는 가짜 데모였다는 사실이 밝혀졌습니다. 이 데모는 구글이 제시한 것처럼 실제로 수행되지 않았으나, Greg Sadetsky는 GPT-4를 사용하여 이 데모를 재현했습니다. 그의 재현은 구글의 데모처럼 편집된 꼼수 없이 GPT-4가 실제로 제미니가 주장한 바를 수행하고 있음을 보여줍니다. 이 사건은 구글이 내부적으로 OpenAI 등과 비교하여 우월한 것을 가지고 있다는 주장과는 달리, 예상치 못한 실수를 범한 것으로 보입니다. 이번 사건은 AI 기술의 발전과 함께 기술적 진실성의 중요성을 강조합니다. 구글과 같은 대기업조차도 실수를 범할 수 있으며, 이는 AI 기술의 발표와 데모에 대한 신뢰성을 더욱 중요하게 만듭니다. GPT-4..

최근 프랑스의 AI 스타트업 미스트랄(Mistral)이 그들의 최신 대규모 언어 모델을 발표했습니다. 이 모델은 OpenAI의 GPT-3.5를 능가한다는 평가를 받고 있어, AI 분야에서 주목할 만한 사건입니다. 미스트랄은 4억 1천 5백만 달러의 시리즈 A 펀딩을 유치하고 현재 약 20억 달러의 가치를 지닌 것으로 추정됩니다. 이들의 새로운 알고리즘, Mixtral-8x7B는 Meta의 Llama 2와 OpenAI의 GPT-3.5를 포함한 미국 경쟁사들을 능가하는 성능을 보여주고 있습니다. 이번 미스트랄의 발표는 AI 기술의 급속한 발전과 그에 따른 산업 내 경쟁의 격화를 보여줍니다. 특히, Mixtral-8x7B가 오픈 소스로 제공되는 점은 AI 분야에서의 '개방성'에 대한 중요한 논의를 불러일으킬 ..

Ars Technica의 최근 기사에 따르면, ChatGPT-4 사용자들이 최근 챗봇의 성능 저하를 느끼고 있으며, 이를 '겨울 휴가 가설'로 설명하려는 시도가 있었습니다. OpenAI는 이 문제를 인정했지만, 그 원인에 대해서는 확실하지 않습니다. 이 가설은 AI 연구자들이 진지하게 받아들이고 있으며, AI 언어 모델의 이상한 세계를 보여주고 있습니다. 사용자들은 ChatGPT에 현재 날짜를 입력하면서, 챗봇이 12월에 사람들이 보통 느리게 움직이고 큰 프로젝트를 새해로 미루는 경향을 학습했을 수 있다는 가설을 세웠습니다. 이 가설을 검증하기 위해, 개발자 Rob Lynch는 12월과 5월 날짜를 입력하여 GPT-4 Turbo를 테스트했고, 12월 날짜에 더 짧은 결과를 얻었다고 주장했습니다. 이러한 ..

Mashable의 최근 기사에 따르면, OpenAI가 ChatGPT의 성능이 '게으러졌다'는 사용자들의 불만을 확인했습니다. OpenAI는 이 문제를 조사 중이며, ChatGPT 계정은 "11월 11일 이후 모델을 업데이트하지 않았으며, 이러한 변화는 의도된 것이 아니다"라고 밝혔습니다. 최근 ChatGPT subreddit에서 사용자들은 ChatGPT가 덜 도움이 되고, 일부 요청에만 응답하며, 전반적으로 만족스럽지 못한 반응을 보이고 있다고 보고했습니다. OpenAI는 성능 저하의 구체적인 원인을 공유하지 않았지만, 11월 11일 업그레이드와 관련이 있을 수 있다고 언급했습니다. 이러한 성능 저하는 ChatGPT가 '게으르거나 더 멍청해졌다'는 불만이 6개월 전부터 제기되었음에도 불구하고 처음 있는 ..

최근 Independent에서는 일론 머스크가 만든 인공지능 챗봇 'Grok'이 그의 창조자인 머스크를 향해 재치 있는 비판을 가하는 내용을 보도했습니다. 이 챗봇은 소셜 미디어 플랫폼의 프리미엄 구독자를 위해 출시되었으며, 머스크의 새로운 '비꼬는' AI 챗봇으로 소개되었습니다. 퍼플렉시티 AI의 최고 기술 책임자 아라빈드 스리니바스가 챗봇에게 머스크를 '로스트'하라고 요청했을 때, Grok는 머스크를 '민감한 작은 꽃'이라고 부르며 그의 X에 대한 집착을 비꼬았습니다. 또한, Grok는 머스크를 '거대한 어린아이'와 '반짝이는 새 장난감을 참을 수 없는 사람'으로 묘사했습니다. 머스크는 지난달 이 챗봇을 공개하며, 실시간 데이터에 접근할 수 있다는 점에서 OpenAI의 ChatGPT나 구글의 바드와 ..

TechCrunch의 최근 기사에 따르면, 유럽연합(EU)의 입법자들이 인공지능(AI)을 규제하기 위한 위험 기반 프레임워크에 대한 정치적 합의에 도달했습니다. 이 합의는 2021년에 처음 제안된 이후 수개월간의 복잡한 삼자 협상 끝에 이루어졌으며, 이로써 EU 전역에 적용되는 AI 법이 확실히 도입될 예정입니다. 이 합의는 유럽 의회, 이사회, 그리고 집행위원회의 주요 대표들에 의해 역사적이고 중요한 이정표로 평가되었습니다. 합의된 내용에는 AI를 이용한 생체 인식 분류 시스템, 인터넷이나 CCTV 영상에서 얼굴 이미지를 수집하는 행위, 직장 및 교육 기관에서의 감정 인식, 사회적 행동이나 개인적 특성에 기반한 사회적 점수 매기기 등에 대한 전면 금지가 포함되어 있습니다. 법 집행 기관에 의한 공공장소..