AI에 Web3가 필요한 이유와 Web3가 AI에 가져올 파괴적인 발전

왜 AI를 개방해야 하는가

"왜 AI를 개방해야 하는가?"라는 질문에 대해 살펴봅시다. ". 저는 머신러닝을 전공했고, 약 10년 동안 다양한 머신러닝 관련 일을 해왔습니다. 하지만 암호화, 자연어 이해, NEAR를 설립하기 전에는 Google에서 근무했습니다. 현재 대부분의 최신 AI를 구동하는 프레임워크인 트랜스포머를 개발했고, 구글을 떠난 후에는 머신러닝 회사를 설립해 기계에 프로그래밍을 가르치고 컴퓨터와 상호작용하는 방식을 바꾸고자 했습니다. 하지만 2017년이나 18년에는 너무 이른 시기였고 당시에는 이를 수행할 수 있는 컴퓨팅 성능이나 데이터가 없었기 때문에 그렇게 하지 못했습니다.

그때 우리가 했던 일은 전 세계 사람들을 끌어들여 우리를 위해 데이터 라벨링 작업을 해줄 학생들을 모집했습니다. 그들은 중국, 아시아, 동유럽에 있었습니다. 이들 중 상당수는 해당 국가에 은행 계좌가 없었습니다. 미국은 송금을 쉽게 하지 않기 때문에 저희는 이 문제를 해결하기 위해 블록체인을 활용하고 싶었습니다. 전 세계 사람들이 어디에 있든 프로그램된 방식으로 더 쉽게 돈을 지불할 수 있게 만들고 싶었습니다. 그런데 현재 암호화폐의 문제점은 현재 NEAR가 많은 문제를 해결하고 있지만, 일반적으로 블록체인에서 거래하기 전에 암호화폐를 구매해야만 암호화폐를 획득할 수 있다는 것입니다.

기업과 마찬가지로, 먼저 회사의 지분을 구매해야만 사용할 수 있습니다. 이는 NEAR에서 해결하고 있는 많은 문제 중 하나입니다. 이제 AI 측면에 대해 좀 더 자세히 살펴보겠습니다. 언어 모델링은 새로운 것이 아니라 50년대부터 사용되어 왔습니다. 자연어 도구에서 널리 사용되는 통계적 도구입니다. 하지만 2013년부터 딥러닝이 재부팅되면서 새로운 종류의 혁신이 시작되었습니다. 이 혁신은 단어를 매칭하고, 다차원 벡터에 추가하고, 수학적 형태로 변환할 수 있다는 것입니다. 이는 행렬 곱셈과 활성화 함수가 많은 딥러닝 모델에서 잘 작동했습니다.

이를 통해 고급 딥 러닝을 시작하고 모델을 훈련시켜 흥미로운 일을 많이 할 수 있게 되었습니다. 돌이켜보면 당시에는 한 번에 한 단어씩 읽을 수 있는 인간을 모방한 모델인 뉴런 신경망을 사용했습니다. 그래서 속도가 매우 느렸죠. Google.com에서 사용자에게 무언가를 보여주려고 할 때, 그 누구도 5분 동안 위키백과를 읽은 후 답을 주려고 하지 않고 바로 답을 원합니다. 따라서 ChatGPT, Midjourney, 그리고 최근의 모든 발전의 원동력인 트랜스포머 모델은 데이터를 병렬로 처리하고 추론할 수 있으며 즉시 답변을 제공할 수 있는 무언가를 갖고 싶다는 동일한 아이디어에서 비롯된 것입니다.

이 아이디어의 주요 혁신 중 하나는 모든 단어, 모든 토큰, 모든 이미지 블록을 병렬로 처리하여 고도의 병렬 연산 능력을 갖춘 GPU 및 기타 가속기를 활용한다는 점입니다. 이렇게 함으로써 대규모로 추론할 수 있습니다. 이러한 확장을 통해 자동 학습 데이터를 처리할 수 있는 학습 규모를 확장할 수 있었습니다. 그 결과 단기간에 폭발적인 학습을 수행하는 놀라운 성과를 거둔 도파민을 만나게 되었습니다. 엄청난 양의 텍스트를 가지고 전 세계 언어를 추론하고 이해하는 데 놀라운 성과를 거두기 시작했습니다.

이제 AI의 방향은 혁신을 가속화하는 방향으로 나아가고 있습니다. 데이터 과학자나 머신러닝 엔지니어가 사용하고, 이를 제품에서 해석하거나 의사 결정권자에게 데이터에 대해 이야기할 수 있는 도구였습니다. 이제 우리는 사람과 직접 소통하는 AI 모델을 갖게 되었습니다. 실제로는 제품 뒤에 숨어 있기 때문에 모델과 소통하고 있다는 사실조차 모를 수도 있습니다. 따라서 이전에는 AI가 어떻게 작동하는지 이해하던 사람들이 이제는 AI를 이해하고 활용할 수 있는 단계로 변화했습니다.

그렇기 때문에 제가 몇 가지 맥락을 설명해 드리고자 합니다. 모델을 훈련하는 데 GPU를 사용한다고 할 때, 데스크톱에서 비디오 게임을 플레이하는 데 사용하는 것과 같은 종류의 게이밍 GPU가 아닙니다.

일반적으로 각 머신에는 8개의 GPU가 제공되며, 마더보드를 통해 서로 연결된 다음 각각 약 16개의 랙으로 쌓입니다. 이제 이 모든 랙은 전용 네트워크 케이블을 통해 서로 연결되어 GPU 간에 정보를 빠른 속도로 직접 전송할 수 있습니다. 그 결과, CPU에서는 정보를 전혀 처리하지 않습니다. 사실, CPU에서는 정보를 전혀 처리하지 않습니다. 모든 연산은 GPU에서 이루어집니다. 따라서 슈퍼컴퓨터 설정입니다. 다시 말하지만, 이것은 기존의 "이봐, GPU야"가 아닙니다. 따라서 GPU4 규모의 모델은 약 3개월 동안 6,400만 달러의 비용으로 10,000개의 H100을 사용하여 훈련되었습니다. 사람들은 현재 비용 규모와 일부 최신 모델을 훈련하는 데 드는 비용을 이해합니다.

중요한 것은 시스템이 상호 연결되어 있다는 점입니다. 시스템이 서로 연결되어 있다고 할 때, 이전 세대인 현재 H100의 연결 속도는 초당 900GB이고, 컴퓨터 내부의 CPU와 RAM 간의 연결 속도는 초당 200GB로 모두 컴퓨터 로컬에 있습니다. 따라서 동일한 데이터 센터 내에서 한 GPU에서 다른 GPU로 데이터를 전송하는 것이 컴퓨터보다 빠릅니다. 컴퓨터는 기본적으로 상자 안에서 자체적으로 통신할 수 있습니다. 그리고 새로운 세대는 기본적으로 초당 1.8테라바이트의 속도로 연결됩니다. 개발자의 관점에서 볼 때 이것은 개별 컴퓨팅 장치가 아닙니다. 엄청난 양의 메모리와 연산 능력을 갖춘 슈퍼컴퓨터로 매우 큰 규모의 연산을 제공합니다.

이것은 우리가 직면한 문제로 이어집니다. 이 대기업들은 현재 우리에게 이러한 서비스를 거의 제공 한 이러한 모델을 구축 할 수있는 자원과 능력을 가지고 있으며 실제로 얼마나 작동하는지 모르겠습니다. 그래서 그게 예시죠? 완전히 중앙 집중화된 회사 제공업체에 가서 쿼리를 입력한다고 가정해 보겠습니다. 알고 보니 소프트웨어 엔지니어링 팀이 아니라 결과 표시 방식을 결정하는 팀이 몇 개 있었죠? 데이터 집합에 어떤 데이터가 들어갈지 결정하는 팀이 있습니다.

예를 들어 인터넷에서 데이터를 크롤링하는 경우, 사람들은 논란에 대한 추측을 좋아하기 때문에 버락 오바마가 케냐에서 태어났다는 것과 하와이에서 태어났다는 것의 횟수는 똑같습니다. 따라서 무엇을 훈련할지 결정해야 합니다. 사실이라고 믿지 않기 때문에 일부 정보를 걸러내기로 결정해야 합니다. 따라서 어떤 데이터를 사용할지, 어떤 데이터가 존재할지를 결정할 때는 그 결정을 내리는 사람들의 영향을 많이 받습니다. 저작권이 있는 데이터와 불법적인 데이터 중 어떤 것을 볼 수 없는지 결정하는 법무팀이 있습니다. 비윤리적인 콘텐츠와 표시해서는 안 되는 콘텐츠를 결정하는 '윤리팀'도 있습니다.

그러므로 이러한 필터링과 조작이 많이 이루어지고 있습니다. 이러한 모델은 통계 모델입니다. 데이터에서 원하는 것을 골라 선택합니다. 데이터에 특정 콘텐츠가 없으면 답을 알 수 없습니다. 데이터에 어떤 내용이 있으면 그것을 사실로 받아들일 가능성이 높습니다. AI로부터 답을 얻으면 걱정스러울 수 있습니다. 맞아요. 이제 모델로부터 답을 얻어야 하지만 보장할 수 없습니다. 결과가 어떻게 생성되었는지 알 수 없으니까요. 회사가 실제로 결과를 변경하기 위해 특정 세션을 가장 높은 입찰자에게 판매할 수도 있습니다. 여러분이 어떤 차를 사야 할지 물어보러 갔는데, 토요타가 토요타를 선호하는 것으로 결과가 나왔다고 판단하고 토요타가 이 회사에 10센트를 지불한다고 상상해 보세요.

따라서 이 모델을 중립적인 것으로 가정하고 데이터의 지식 기반을 대표한다고 하더라도, 실제로 결과를 얻기 전에 매우 특정한 방식으로 결과를 편향시키는 많은 일들이 일어납니다. 그리고 이로 인해 많은 문제가 발생했죠? 대기업과 언론, 증권거래위원회(SEC), 그리고 지금은 거의 모든 사람들이 서로를 고소하려고 하고 있는데, 이는 이러한 모델이 너무 많은 불확실성과 권력을 가져다주기 때문입니다. 그리고 앞으로 내다본다면, 문제는 대형 기술 기업들은 항상 수익을 계속 늘리고자 하는 인센티브가 있다는 것입니다. 예를 들어, 상장 기업이라면 수익을 보고해야 하고 계속 성장해야 합니다.

이를 위해 이미 목표 시장을 확보했다면 20억 명의 사용자가 있다고 가정해 보겠습니다. 인터넷에는 신규 사용자가 그리 많지 않습니다. 평균 수익을 극대화하는 것 외에는 선택의 여지가 없으므로, 가치가 전혀 없는 사용자로부터 더 많은 가치를 끌어내거나 사용자의 행동을 변화시켜야 합니다. 특히 모든 지식 지능의 형태라고 생각하면, 생성형 AI는 사용자의 행동을 조작하고 변화시키는 데 매우 능숙합니다. 따라서 우리는 많은 규제 압력이 있고 규제 당국이 이 기술의 작동 방식을 완전히 이해하지 못하는 매우 위험한 상황에 처해 있습니다. 조작으로부터 사용자를 보호할 수 있는 수단이 거의 없습니다.

조작 콘텐츠, 오해의 소지가 있는 콘텐츠, 광고가 없더라도 스크린샷을 찍어 제목만 바꿔서 트위터에 올리면 사람들은 열광합니다. 금전적 인센티브가 있기 때문에 지속적으로 수익을 극대화할 수 있습니다. 그리고 실제로 구글 내에서 악을 행하는 것도 아니잖아요? 어떤 모델을 출시할지 결정할 때 어떤 모델이 더 많은 수익을 가져다주는지 확인하기 위해 A 또는 B 테스트를 수행합니다. 따라서 사용자로부터 더 많은 가치를 창출하여 지속적으로 수익을 극대화할 수 있습니다. 그리고 사용자와 커뮤니티는 해당 모델이 무엇인지, 어떤 데이터를 사용하는지, 실제로 무엇을 달성하려고 하는지에 대해 전혀 알 수 없습니다. 이것이 바로 앱 사용자에게 일어나는 일입니다. 이것이 바로 컨디셔닝입니다.

이것이 바로 우리가 계속해서 WEB 3 웹 3.0은 새로운 방식의 인센티브를 제공하면서도 탈중앙화된 형태로 더 나은 소프트웨어와 제품을 생산하도록 장려할 수 있는 중요한 도구가 될 수 있습니다. 이것이 전체 웹 3.0 AI 개발의 일반적인 방향이며, 이제 세부적인 이해를 돕기 위해 첫 번째 부분인 콘텐츠 평판부터 시작하여 구체적인 부분에 대해 간략하게 이야기하겠습니다.

다시 한번 강조하지만, 언어 모델은 사람들이 정보를 조작하고 사용하는 방식에 큰 영향력과 규모를 가져왔지만 이것은 순수한 AI 문제가 아닙니다. 여러분이 원하는 것은 다양한 콘텐츠를 볼 때 스스로 드러나는 추적 가능하고 추적 가능한 암호화 평판입니다. 따라서 실제로 암호화되어 모든 웹사이트의 모든 페이지에서 찾을 수 있는 커뮤니티 노드가 있다고 상상해 보세요. 이제 그 이상으로 나아가면, 이러한 모델이 거의 모든 콘텐츠를 읽고 개인화된 요약과 개인화된 결과물을 제공하기 때문에 이러한 모든 배포 플랫폼이 혼란에 빠지게 될 것입니다.

따라서 우리는 실제로 새롭고 창의적인 콘텐츠를 재창조하는 것이 아니라 기존 콘텐츠에 블록체인과 NFT를 추가하는 것입니다. 새로운 출판물, 사진, 유튜브, 음악 등 사람들이 만든 데이터가 모델 훈련에 기여하는 정도에 따라 네트워크에 들어가는 모델 훈련 및 추론 시간을 중심으로 새로운 크리에이터 경제를 구축할 수 있습니다. 따라서 이를 기반으로 콘텐츠에 따라 전 세계적으로 일정 금액이 지급될 수 있습니다. 따라서 우리는 이제 시선을 끄는 광고 네트워크에 의해 주도되는 경제 모델에서 혁신과 흥미로운 정보를 제공하는 경제 모델로 전환하고 있습니다.

한 가지 중요한 점은 불확실성의 상당 부분이 부동소수점 연산에서 비롯된다는 것입니다. 이러한 모든 모델에는 많은 부동소수점 연산과 곱셈이 포함됩니다. 이러한 연산은 불확실성 연산입니다.

이것들을 가져와 다른 아키텍처의 곱셈을 수행합니다. 따라서 A100과 H100을 사용하면 결과가 달라집니다. 따라서 암호경제학이나 낙관주의와 같이 결정론에 의존하는 많은 접근 방식은 실제로 많은 어려움에 부딪히며 이를 실현하기 위해서는 많은 혁신이 필요합니다. 마지막으로 흥미로운 아이디어가 있는데, 프로그래밍 가능한 통화와 프로그래밍 가능한 자산을 구축해 왔지만 여기에 지능을 추가하면 코드가 아니라 자연어가 세상과 상호 작용하는 능력으로 정의되는 스마트 자산을 가질 수 있다고 상상할 수 있겠죠? 여기서 우리는 흥미로운 수익률 최적화, 디파이, 트레이딩 전략 등을 구현할 수 있습니다.

현재의 문제는 모든 시사 이슈가 강력하고 견고한 행동이 없다는 것입니다. 다음 토큰을 예측하는 것이 훈련의 목적이기 때문에 적대적이고 강력하게 훈련되지 않았기 때문에 모델을 설득하는 것이 더 쉽습니다. 계속 진행하기 전에 실제로 이 문제를 해결하는 것이 매우 중요합니다. 그래서 저는 우리가 기로에 서 있다는 생각을 남기겠습니다. 제품을 출시하면 많은 수익을 창출하고 그 수익을 제품 개발에 투입하기 때문에 극도의 인센티브와 플라이휠이 있는 폐쇄적인 AI 생태계가 있습니다. 하지만 그 제품은 본질적으로 회사의 수익을 극대화하고 사용자로부터 가치를 창출하도록 설계되어 있습니다. 또는 사용자가 제어권을 갖는 개방형 사용자 소유 접근 방식이 있습니다.

이러한 모델은 실제로 사용자에게 유리하게 작용하여 다음과 같은 이점을 제공합니다. 혜택을 극대화할 수 있습니다. 인터넷에 존재하는 많은 위험으로부터 사용자를 실제로 보호할 수 있는 방법을 제공합니다. 그렇기 때문에 인공지능과 암호화폐의 더 많은 개발과 도입이 필요한 것입니다. 모두 감사합니다.