## 한눈에 보는 요약

- Meta는 **TRIBE v2**를 비전, 오디오, 언어를 함께 처리하는 **삼중 모달 foundation model**로 소개했다.[^1]
- 이 모델의 목표는 다양한 자연적 자극과 통제된 실험 조건에서 **인간의 뇌 활동을 예측**하는 것이다.[^1]
- 학습에는 **720명 피험자, 1,000시간 이상 fMRI 통합 데이터셋**이 사용됐다.[^1]
- Meta는 이 모델이 **새로운 자극, 새로운 과제, 새로운 피험자**에도 고해상도 뇌 반응을 예측하며, 기존 선형 인코딩 모델보다 정확도가 여러 배...

TRIBE v2는 뇌과학 연구를 하나로 통합하는 AI 기반 플랫폼으로 전환하려는 시도다.
- 영상, 오디오, 언어를 함께 처리하는 삼중 모달 모델로 다양한 뇌 반응을 예측한다.
- 대규모 fMRI 데이터로 훈련되어 새로운 자극과 피험자에도 높은 정확도를 보인다.
- 실제 실험을 반복하기 전, 가상 환경에서 뇌 반응을 시험할 수 있으며 연구 인프라를 혁신한다.

Meta TRIBE v2 블로그 글 요약

마을을 나와 걷다 보니 멋진 산을 발견했습니다.

![](https://server.tilnote.io/images/pages/c0972ae1-f9dd-4747-882a-8a71c23e5c28.png)

산의 아래 에는 오픈소스 모델들의 마을이 있습니다. 이곳을 잠시 구경하고 갈까요?

오픈 소스 모델들과 기법들 (사양, 양자화, 증류 모델)

tilnote

> AI는 한계를 알 수 없는 첫번째 기술이다.
>
> 빌게이츠

이제 우리의 우주 여행의 마지막에 도달했습니다.

마지막 장에서는 제가 알게된 인사이트를 전해드릴 예정입니다. 일부러 이것을 이해하는 사람이 미래에 부에 접근하게 될 것이라는 도전적인 주제를 적었습니다. 마지막으로 AI 시대의 인사이트와 부 (Wealth) 에 대해 다뤄보겠습니다.

이것을 이해하는 사람에게 미래의 부가 몰리게 될 것 입니다.

앞에서 '인간의 사고하는 것을 모방'하여 생각하는 법을 학습하게 한 추론 모델을 알아봤습니다.

그렇다면 아주 작은 영역에서 생각하는 법을 알려줘서 사용할 수 있을까요? 네, 그런 방법이 있습니다. 그것이 강화 파인 튜닝입니다.

## 강화 파인 튜닝 (Reinforcement Fine-Tuning, RFT)

강화 파인튜닝과 AI 시스템으로 인간의 일을 대신한다.

마지막 로봇 행성에 도착했습니다. 로봇 행성은 산소가 없고 대부분이 이산화탄소로 대기가 이루어져 있기 때문에 로봇을 타고 탐험해야 합니다.

## 왜 로봇인가?

AI의 발전은 우리에게 새로운 하드웨어와 애플리케이션의 출현을 예고합니다. 자연어로 이야기를 하고 음성으로 응답을 들을 수 있기 때문에 기존의 스크린 의존적인 기기 외에 다른 기기가 등장하게 될 것입니다. 그것이 스마트 워치가 될지, 스마트 안경이 될지, 목걸이의 형태가 될지는 잘 모르겠지만 우리는 곧 이런 새로운 것들을 사용하게 될 것입니다.

로봇과 지능형 애플리케이션

그렇다면 에이전틱 워크플로우란 무엇일까요? 이 개념은 앤드류 응 교수님이 제안한 아이디어로 다중 에이전트 협업 시스템이라고 생각하면 됩니다. 우리가 앞서 봤던 에이전트를 하나의 시스템 안에서 크게 보면 됩니다.

예를 들어 어떤 주제를 주면 동영상을 만들어 주는 에이전트 시스템을 생각해 봅시다.

먼저 아이디어들을 내는 에이전트가 있을 것입니다.

에이전틱 워크플로우 (Agentic workflow)

용암 지대를 지나 작은 마을에 도착했습니다. 여기에서 음료수를 한 잔 하면서 쉬어 갑시다.

![](https://server.tilnote.io/images/pages/dbcc4d7b-d5df-4607-8729-53872b5e7881.png)

## 추론 모델 (Reasoning model)

추론 모델과 강한 인공 지능

## 디퓨전 모델, 세상을 바꾸다!

### 1. 디퓨전 모델이 뭐야?

한때 그림은 ‘오직 사람만이 창작할 수 있는 예술’이라 여겨졌습니다. 그런데 어느 날, **스테이블 디퓨전(Stable Diffusion)** 이 등장하며 세상이 바뀌었죠. 이후 **DALL-E3**, **미드저니**, **이디오그램**, **Imagen**(이매진) 등 놀라운 이미지 생성 모델들이 쏟아져 나왔습니다.

디퓨전 모델의 원리와 Text to Image 프롬프트 작성법

이제 이미지 모델 외에 다양한 모델들을 사용해 봅시다.

## 동영상 생성 AI

동영상 생성 AI는 텍스트 프롬프트에서 동영상을 생성하는 AI 입니다. 다음과 같은 서비스들을 사용할 수 있습니다.

다양한 모달리티 사용하기 (동영상 프롬프트 + 음악 생성 AI)

우주 여행을 하다가 용암 지대를 만났습니다.

![](https://server.tilnote.io/images/pages/e378d05c-d715-49bd-95d0-941ecb43b708.png)

우리는 기지에 머물면서 용암을 건널 수 있는 로봇을 만들기로 했습니다. 로봇을 조립하려면 에이전트와 에이전틱 워크 플로우를 이해해야 합니다. 같이 해보실까요?

새로운 플랫폼 AI 에이전트 (AI Agent)

우주선의 창밖을 보니 세 명의 왕의 홀로그램이 보입니다. LLM 3대 천왕이 있는 별입니다. 잠깐 구경하고 갈까요?

![](https://server.tilnote.io/images/pages/a17a8f36-40ed-4e25-a0e0-b590f5b6ada9.png)

## ChatGPT

주요 LLM 시리즈

우리는 새로운 RAG 행성으로 가기 위해 웜홀을 이용해야 합니다. 웜홀을 이동하는데는 새로운 인물이 나와 도와줄 것입니다.

![](https://server.tilnote.io/images/pages/6371ea9d-4cd5-4fc0-a351-589c660c8ac2.png)

> 안녕하세요. 제 이름은 벡터리우스입니다. 지금부터 항성간 이동을 도와드리겠습니다.

RAG 와 벡터 세계

## 멀티 모달 (Multi Modal) AI

멀리 우주 한편에, 인공지능의 새로운 시대가 펼쳐지는 신비로운 행성이 있습니다. 그 이름은 바로 **멀티 모달 행성**. 우주선을 타고 도착한 당신을 반갑게 맞이하는 작은 캐릭터가 한 명 보이네요. 그녀가 빙긋 웃으며 말합니다.

![](https://server.tilnote.io/images/pages/c25d7124-d42f-4198-8fce-a0d2d1a671f1.png)

멀티 모달 AI의 새로운 시대: 다양한 미디어를 이해하고 처리한다!

ChatGPT에는 사용자가 여러 도구를 사용해서 커스텀 챗봇을 만들 수 있는 기능이 존재합니다. 이를 GPTs 라고 합니다. 만들기는 유료 사용자만 가능하고, 공개된 GPTs [사용](https://chatgpt.com/gpts)은 무료 사용자도 가능합니다. 이 GPTs의 사용 방법을 알아보면서 RAG 에 대해서도 다뤄보겠습니다.

## 커스텀 챗봇(GPTs)

이 커스텀 챗봇은 언제 사용하면 좋을까요? 바로 나의 특정 워크플로우를 대체할 때 사용하면 좋습니다. 워크플로우란 어떤 일의 목적을 이루기 위한 일련의 단계 또는 흐름이라고...

커스텀 챗봇과 프로젝트

이곳은 우주선 내부입니다. 우리는 새로운 행성으로 날아가고 있습니다. 새로운 행성으로 날아가는 동안 멀티턴에 대해 이야기를 해볼까요?

![wislan6684\_httpss](https://server.tilnote.io/images/pages/17fb293f-486c-483e-8609-8ffb4cf7e90d.png)

## 멀티턴 (Multi turn)

멀티턴과 궁극의 무기 CoT

앞에서 Instruction 과 Context 를 배웠습니다. 다음은 바로 구체성에 대한 이야기입니다.

## 세부사항을 더하라. (Specific)

프롬프트 엔지니어링 관련 자료를 읽어보면 항상 반복하는 이야기가 있습니다. 바로 구체적으로 이야기하라는 것입니다. (Be specific!) 앞서서 필요한 것의 키워드를 입력하라고 이야기 했었죠? 그것과 유사한 이야기입니다.

미션, 세부 사항을 더하라.

![](https://server.tilnote.io/images/pages/bfe95e3b-571c-433b-9e8e-2821b617ac50.jpg)

띠리리. 우리는 프롬프트 행성의 중심부에 도달했습니다. 그곳에서 프롬프트의 비밀을 풀어줄 신비한 디바이스를 발견했습니다.

작동하시겠습니까?

프롬프트는 하나의 프로그램입니다.

우리는 프롬프톤이라는 행성에 도착했습니다. 아름다운 구조물이 보이는군요!

![](https://server.tilnote.io/images/pages/1aea2239-f5a6-4b66-867f-03361ef75782.jpg)

이제 프롬프트에 구조를 입혀줄 차례입니다.

구조를 만들어서 LLM이 생각할 수 있는 공간을 만들기

이제 우리의 우주선이 조금씩 조립되고 있습니다. 이제 사용할 수 있는 중요 부품들을 조립해야겠죠.

![](https://server.tilnote.io/images/pages/58402aa1-f23b-4c62-8bdc-203eee6f48c3.png)

이번에는 프롬프트에 들어갈 수 있는 중요 요소들을 알아보겠습니다.

프롬프트의 마법을 완성하는 핵심 도구, 바로 모듈입니다!

![](https://server.tilnote.io/images/pages/1c53895d-1f42-4a1e-9bc2-314d60d4bb4f.png)

**지금 전 세계를 휩쓸고 있는 인공지능(AI) 열풍의 중심에는 무엇이 있을까요?**

바로 **인공신경망(Artificial Neural Network)**입니다. 인공신경망은 주어진 입력값과 출력값의 데이터가 존재하기만 하면, 다양한 패턴을 학습할 수 있는 강력한 기술입니다. 예를 들어, 어떤 물체가 주어졌을 때 이것이 사과인지 아닌지를 판별하는 문제는 형태가 정해진 지식을 다...

지식을 만들고 편집하세요.

🔥 인기 페이지