민프

이번 포스팅에서는 LLM의 동작원리에 대해서 알아보도록 하겠습니다.LLM의 동작원리를 알아보기 전에 이전 포스팅에서 언급한 Seq2Seq, Transformer에 대해서 자세하게 알아보고 진행하도록 하겠습니다. 이 두 모델은 텍스트 번역, 요약, 질문 응답 같은 자연어 처리 작업에서 큰 역할을 했는데요, Transformer를 제대로 이해하려면 먼저 Seq2Seq가 무엇인지, 그리고 왜 Transformer가 필요한지 이해해야 합니다. 1. Transformer를 이해하려면 왜 Seq2Seq, Attention부터 공부해야 할까? Transformer는 Seq2Seq, Attention 모델의 개념을 기반으로 발전했기 때문에, Transformer를 이해하려면 Seq2Seq, Attention의 작동 원..

구글의 인공지능 스타트업, 딥마인드(DeepMind)가 수십 년 동안 해결되지 않았던 수학 문제인 '캡 세트 문제(cap set problem)'를 해결했습니다. 이 발견은 'FunSearch'라는 새로운 도구를 사용하여 이루어졌으며, 이는 함수를 찾아내는 대규모 언어 모델(Large-Language Model, LLM)입니다. FunSearch는 구글의 건강 관리 모델인 PaLM 2의 버전인 Codey와 거부 알고리즘을 결합하여 정확하고 새로운 해결책을 제시합니다. 이 도구의 성공은 대규모 언어 모델을 수학 문제 해결에 활용하는 새로운 길을 열었습니다. 이번 딥마인드의 성과는 AI 기술이 순수 수학과 같은 복잡한 분야에서도 중요한 역할을 할 수 있음을 보여줍니다. AI가 단순히 기존 지식을 검색하고 재..

최근 OpenAI의 ChatGPT 사용자들 사이에서 ChatGPT가 "GPT-4.5"로 구동되고 있다는 주장이 제기되었습니다. 이러한 주장은 ChatGPT가 "gpt-4.5-turbo"로 구동된다는 응답을 보여주는 스크린샷을 통해 확산되었습니다. 만약 사실이라면, 이는 상당한 발전이 될 것입니다. 그러나 OpenAI의 직원들은 이를 '환상'이라고 일축했습니다. OpenAI의 CEO Sam Altman은 GPT-4.5에 대한 질문을 간단히 "아니요"라고 답변했습니다. 이러한 상황은 AI 기술의 발전과 관련된 소문과 기대에 대한 사용자들의 반응을 보여주는 사례입니다. 이번 사건은 AI 기술에 대한 대중의 기대와 관심이 얼마나 높은지를 보여줍니다. 사용자들은 새로운 기술의 발표를 갈망하고 있으며, 때로는 소문..

최근 구글의 오랫동안 기다려온 AI 제품인 '제미니(Gemini)'가 실제로는 가짜 데모였다는 사실이 밝혀졌습니다. 이 데모는 구글이 제시한 것처럼 실제로 수행되지 않았으나, Greg Sadetsky는 GPT-4를 사용하여 이 데모를 재현했습니다. 그의 재현은 구글의 데모처럼 편집된 꼼수 없이 GPT-4가 실제로 제미니가 주장한 바를 수행하고 있음을 보여줍니다. 이 사건은 구글이 내부적으로 OpenAI 등과 비교하여 우월한 것을 가지고 있다는 주장과는 달리, 예상치 못한 실수를 범한 것으로 보입니다. 이번 사건은 AI 기술의 발전과 함께 기술적 진실성의 중요성을 강조합니다. 구글과 같은 대기업조차도 실수를 범할 수 있으며, 이는 AI 기술의 발표와 데모에 대한 신뢰성을 더욱 중요하게 만듭니다. GPT-4..

최근 프랑스의 AI 스타트업 미스트랄(Mistral)이 그들의 최신 대규모 언어 모델을 발표했습니다. 이 모델은 OpenAI의 GPT-3.5를 능가한다는 평가를 받고 있어, AI 분야에서 주목할 만한 사건입니다. 미스트랄은 4억 1천 5백만 달러의 시리즈 A 펀딩을 유치하고 현재 약 20억 달러의 가치를 지닌 것으로 추정됩니다. 이들의 새로운 알고리즘, Mixtral-8x7B는 Meta의 Llama 2와 OpenAI의 GPT-3.5를 포함한 미국 경쟁사들을 능가하는 성능을 보여주고 있습니다. 이번 미스트랄의 발표는 AI 기술의 급속한 발전과 그에 따른 산업 내 경쟁의 격화를 보여줍니다. 특히, Mixtral-8x7B가 오픈 소스로 제공되는 점은 AI 분야에서의 '개방성'에 대한 중요한 논의를 불러일으킬 ..

Ars Technica의 최근 기사에 따르면, ChatGPT-4 사용자들이 최근 챗봇의 성능 저하를 느끼고 있으며, 이를 '겨울 휴가 가설'로 설명하려는 시도가 있었습니다. OpenAI는 이 문제를 인정했지만, 그 원인에 대해서는 확실하지 않습니다. 이 가설은 AI 연구자들이 진지하게 받아들이고 있으며, AI 언어 모델의 이상한 세계를 보여주고 있습니다. 사용자들은 ChatGPT에 현재 날짜를 입력하면서, 챗봇이 12월에 사람들이 보통 느리게 움직이고 큰 프로젝트를 새해로 미루는 경향을 학습했을 수 있다는 가설을 세웠습니다. 이 가설을 검증하기 위해, 개발자 Rob Lynch는 12월과 5월 날짜를 입력하여 GPT-4 Turbo를 테스트했고, 12월 날짜에 더 짧은 결과를 얻었다고 주장했습니다. 이러한 ..

Mashable의 최근 기사에 따르면, OpenAI가 ChatGPT의 성능이 '게으러졌다'는 사용자들의 불만을 확인했습니다. OpenAI는 이 문제를 조사 중이며, ChatGPT 계정은 "11월 11일 이후 모델을 업데이트하지 않았으며, 이러한 변화는 의도된 것이 아니다"라고 밝혔습니다. 최근 ChatGPT subreddit에서 사용자들은 ChatGPT가 덜 도움이 되고, 일부 요청에만 응답하며, 전반적으로 만족스럽지 못한 반응을 보이고 있다고 보고했습니다. OpenAI는 성능 저하의 구체적인 원인을 공유하지 않았지만, 11월 11일 업그레이드와 관련이 있을 수 있다고 언급했습니다. 이러한 성능 저하는 ChatGPT가 '게으르거나 더 멍청해졌다'는 불만이 6개월 전부터 제기되었음에도 불구하고 처음 있는 ..

TechCrunch의 최근 기사에 따르면, 유럽연합(EU)의 입법자들이 인공지능(AI)을 규제하기 위한 위험 기반 프레임워크에 대한 정치적 합의에 도달했습니다. 이 합의는 2021년에 처음 제안된 이후 수개월간의 복잡한 삼자 협상 끝에 이루어졌으며, 이로써 EU 전역에 적용되는 AI 법이 확실히 도입될 예정입니다. 이 합의는 유럽 의회, 이사회, 그리고 집행위원회의 주요 대표들에 의해 역사적이고 중요한 이정표로 평가되었습니다. 합의된 내용에는 AI를 이용한 생체 인식 분류 시스템, 인터넷이나 CCTV 영상에서 얼굴 이미지를 수집하는 행위, 직장 및 교육 기관에서의 감정 인식, 사회적 행동이나 개인적 특성에 기반한 사회적 점수 매기기 등에 대한 전면 금지가 포함되어 있습니다. 법 집행 기관에 의한 공공장소..

최근 CoinTelegraph에서 구글의 젬마이니 AI 데모가 '가짜'라는 비판을 받고 있다는 기사를 게재했습니다. 이 데모는 처음 공개되었을 때 많은 이들의 찬사를 받았지만, 이후 구글이 데모의 일부를 '간결함을 위해' 편집했다고 인정하면서 논란이 되고 있습니다. 6분짜리 비디오에서 젬마이니는 오리 그림 분석, 손짓, '나라 맞추기' 게임 등을 실시간으로 수행하는 것처럼 보였습니다. 그러나 구글 딥마인드의 오리올 비냘스는 비디오에 나온 사용자 프롬프트와 출력이 실제로는 텍스트 기반으로 이루어졌으며, 비디오에서 보여진 것보다 훨씬 더 긴 시간이 걸렸다고 밝혔습니다. 구글은 데모의 실제 성능과 다르게 보이도록 편집했음을 인정했으며, 이에 대한 비판이 소셜 미디어에서 쏟아지고 있습니다. 일부 구글 직원들조차..

VentureBeat의 최근 기사에 따르면, 딥마인드 공동 창립자 무스타파 술레이만과 링크드인 공동 창립자 리드 호프만이 설립한 스타트업 '인플렉션 AI(Inflection AI)'가 새로운 AI 챗봇 'Pi'를 안드로이드 앱으로 출시했습니다. 이는 OpenAI의 ChatGPT와 같은 새로운 AI 어시스턴트에 대한 최신 노력의 일환입니다. Pi는 35개국에서 사용 가능하며, 사용자들은 다양한 질문에 대한 즉각적인 답변, 제안 또는 팁을 얻을 수 있습니다. 흥미롭게도 Pi는 음성 상호작용도 지원하여, 사용자가 말로 질문하면 대화 형식으로 답변을 제공합니다. 현재 인플렉션 AI는 사용자들에게 여섯 가지 Pi 음성 옵션을 제공하고 있습니다. Pi는 인플렉션-1 언어 모델을 기반으로 운영되고 있으며, 향후 인플..