민프

이번 포스팅에서는 LLM의 동작원리에 대해서 알아보도록 하겠습니다.LLM의 동작원리를 알아보기 전에 이전 포스팅에서 언급한 Seq2Seq, Transformer에 대해서 자세하게 알아보고 진행하도록 하겠습니다. 이 두 모델은 텍스트 번역, 요약, 질문 응답 같은 자연어 처리 작업에서 큰 역할을 했는데요, Transformer를 제대로 이해하려면 먼저 Seq2Seq가 무엇인지, 그리고 왜 Transformer가 필요한지 이해해야 합니다. 1. Transformer를 이해하려면 왜 Seq2Seq, Attention부터 공부해야 할까? Transformer는 Seq2Seq, Attention 모델의 개념을 기반으로 발전했기 때문에, Transformer를 이해하려면 Seq2Seq, Attention의 작동 원..

요즘 인공지능(AI) 기술에서 많이 등장하는 세 가지 용어가 있습니다: LLM(Large Language Model), LangChain, 그리고 RAG(Retrieval-Augmented Generation). 이 기술들은 각각의 역할을 하면서도 서로 연계되어 강력한 AI 애플리케이션을 만드는 데 기여하고 있습니다. 먼저 LLM부터 쉽게 이해할 수 있도록 설명해드리겠습니다 좀 길어질 수 있으니 요약을 보고싶으신 분들은Control + F를 누르시고 "*요약*" 만 보시면 될 것 같습니다.1. LLM 이란 무엇인가?먼저 AWS에서 정의한 LLM을 보면 아래와 같이 정의하고 있습니다.대규모 언어 모델(LLM)은 방대한 양의 데이터로 사전 학습된 초대형 딥 러닝 모델입니다. LLM은 대규모의 언어 데이터를 ..

서론인공지능(AI)과 머신러닝(ML) 분야에서, HPE(Human Pose Estimation)는 컴퓨터 비전과 동작 분석에 있어 매우 중요한 역할을 합니다. 특히, 인간의 다양한 동작을 추적하고 분석하는 데 있어 Landmark 정보는 필수적입니다. HPE는 2D 또는 3D로 신체의 관절 위치 정보를 수집할 수 있는데, 이 두 방식은 성능과 적용 방식에서 큰 차이가 있습니다. 결론부터 말씀드리자면 2D보다는 3D데이터를 사용해서 분류를 하는게 더 정확도가 높습니다.이전에 연구했었던 2D, 3D 비교에서는 2D로도 괜찮은 결과가 나와줬는데, 이번 연구에는 3D 데이터가 월등히 괜찮은 연구결과가 나왔습니다. 이전 테스트와의 차이점은 Test데이터의 다양성과 개수가 부족했는데 좀 더 복잡한 운동과 형태의 다..

최근 연구에 따르면, 구글의 AI 모델인 제미니(Gemini)가 OpenAI의 GPT-3.5 Turbo보다 성능이 떨어진다는 결과가 나왔습니다. 기사출처 https://venturebeat.com/ai/google-gemini-is-not-even-as-good-as-gpt-3-5-turbo-researchers-find/ Google Gemini is not even as good as GPT-3.5 Turbo, researchers find The results are clearly a blow to Google's ambitions to go head-to-head with OpenAI in the generative AI race. venturebeat.com https://twitter.com/..

구글의 인공지능 스타트업, 딥마인드(DeepMind)가 수십 년 동안 해결되지 않았던 수학 문제인 '캡 세트 문제(cap set problem)'를 해결했습니다. 이 발견은 'FunSearch'라는 새로운 도구를 사용하여 이루어졌으며, 이는 함수를 찾아내는 대규모 언어 모델(Large-Language Model, LLM)입니다. FunSearch는 구글의 건강 관리 모델인 PaLM 2의 버전인 Codey와 거부 알고리즘을 결합하여 정확하고 새로운 해결책을 제시합니다. 이 도구의 성공은 대규모 언어 모델을 수학 문제 해결에 활용하는 새로운 길을 열었습니다. 이번 딥마인드의 성과는 AI 기술이 순수 수학과 같은 복잡한 분야에서도 중요한 역할을 할 수 있음을 보여줍니다. AI가 단순히 기존 지식을 검색하고 재..

최근 OpenAI의 ChatGPT 사용자들 사이에서 ChatGPT가 "GPT-4.5"로 구동되고 있다는 주장이 제기되었습니다. 이러한 주장은 ChatGPT가 "gpt-4.5-turbo"로 구동된다는 응답을 보여주는 스크린샷을 통해 확산되었습니다. 만약 사실이라면, 이는 상당한 발전이 될 것입니다. 그러나 OpenAI의 직원들은 이를 '환상'이라고 일축했습니다. OpenAI의 CEO Sam Altman은 GPT-4.5에 대한 질문을 간단히 "아니요"라고 답변했습니다. 이러한 상황은 AI 기술의 발전과 관련된 소문과 기대에 대한 사용자들의 반응을 보여주는 사례입니다. 이번 사건은 AI 기술에 대한 대중의 기대와 관심이 얼마나 높은지를 보여줍니다. 사용자들은 새로운 기술의 발표를 갈망하고 있으며, 때로는 소문..

최근 프랑스의 AI 스타트업 미스트랄(Mistral)이 그들의 최신 대규모 언어 모델을 발표했습니다. 이 모델은 OpenAI의 GPT-3.5를 능가한다는 평가를 받고 있어, AI 분야에서 주목할 만한 사건입니다. 미스트랄은 4억 1천 5백만 달러의 시리즈 A 펀딩을 유치하고 현재 약 20억 달러의 가치를 지닌 것으로 추정됩니다. 이들의 새로운 알고리즘, Mixtral-8x7B는 Meta의 Llama 2와 OpenAI의 GPT-3.5를 포함한 미국 경쟁사들을 능가하는 성능을 보여주고 있습니다. 이번 미스트랄의 발표는 AI 기술의 급속한 발전과 그에 따른 산업 내 경쟁의 격화를 보여줍니다. 특히, Mixtral-8x7B가 오픈 소스로 제공되는 점은 AI 분야에서의 '개방성'에 대한 중요한 논의를 불러일으킬 ..

Ars Technica의 최근 기사에 따르면, ChatGPT-4 사용자들이 최근 챗봇의 성능 저하를 느끼고 있으며, 이를 '겨울 휴가 가설'로 설명하려는 시도가 있었습니다. OpenAI는 이 문제를 인정했지만, 그 원인에 대해서는 확실하지 않습니다. 이 가설은 AI 연구자들이 진지하게 받아들이고 있으며, AI 언어 모델의 이상한 세계를 보여주고 있습니다. 사용자들은 ChatGPT에 현재 날짜를 입력하면서, 챗봇이 12월에 사람들이 보통 느리게 움직이고 큰 프로젝트를 새해로 미루는 경향을 학습했을 수 있다는 가설을 세웠습니다. 이 가설을 검증하기 위해, 개발자 Rob Lynch는 12월과 5월 날짜를 입력하여 GPT-4 Turbo를 테스트했고, 12월 날짜에 더 짧은 결과를 얻었다고 주장했습니다. 이러한 ..

Mashable의 최근 기사에 따르면, OpenAI가 ChatGPT의 성능이 '게으러졌다'는 사용자들의 불만을 확인했습니다. OpenAI는 이 문제를 조사 중이며, ChatGPT 계정은 "11월 11일 이후 모델을 업데이트하지 않았으며, 이러한 변화는 의도된 것이 아니다"라고 밝혔습니다. 최근 ChatGPT subreddit에서 사용자들은 ChatGPT가 덜 도움이 되고, 일부 요청에만 응답하며, 전반적으로 만족스럽지 못한 반응을 보이고 있다고 보고했습니다. OpenAI는 성능 저하의 구체적인 원인을 공유하지 않았지만, 11월 11일 업그레이드와 관련이 있을 수 있다고 언급했습니다. 이러한 성능 저하는 ChatGPT가 '게으르거나 더 멍청해졌다'는 불만이 6개월 전부터 제기되었음에도 불구하고 처음 있는 ..

최근 Independent에서는 일론 머스크가 만든 인공지능 챗봇 'Grok'이 그의 창조자인 머스크를 향해 재치 있는 비판을 가하는 내용을 보도했습니다. 이 챗봇은 소셜 미디어 플랫폼의 프리미엄 구독자를 위해 출시되었으며, 머스크의 새로운 '비꼬는' AI 챗봇으로 소개되었습니다. 퍼플렉시티 AI의 최고 기술 책임자 아라빈드 스리니바스가 챗봇에게 머스크를 '로스트'하라고 요청했을 때, Grok는 머스크를 '민감한 작은 꽃'이라고 부르며 그의 X에 대한 집착을 비꼬았습니다. 또한, Grok는 머스크를 '거대한 어린아이'와 '반짝이는 새 장난감을 참을 수 없는 사람'으로 묘사했습니다. 머스크는 지난달 이 챗봇을 공개하며, 실시간 데이터에 접근할 수 있다는 점에서 OpenAI의 ChatGPT나 구글의 바드와 ..