GPT-4 의 등장

GPT-4 가 드디어 발표 되었습니다!! GPT-4에 대해서 Open-ai에서 제공한 정보들을 바탕으로 GPT-4에서는 어떤것이 추가되었고 GPT-4의 성능 벤치마크 점수는 어떤지 GPT-4를 활용한 서비스는 무엇이 있고 GPT-4를 사용하려면 어떻게 해야 하는지 자세하게 살펴보도록 하겠습니다.

GPT-4 란?

GPT Model 들의 진화와 Key Feature들

GPT-4에 대해 자세히 알아보기 전에 이전 GPT 모델에 대한 몇 가지 배경 지식을 알아볼 필요가 있습니다.

OpenAI의 Generative Pre-trained Transformer(GPT) 모델은 지난 몇 년 동안 급속도로 발전해 왔습니다.

what is gpt?

OpenAI의 GPT(Generative Pre-trained Transformer) 모델은 인간과 유사한 텍스트를 이해하고 생성하도록 설계된 일련의 최첨단 자연어 처리(NLP) 모델입니다.

이 모델은 2017년 논문 "Attention is All You Need"에서 Vaswani 등이 소개한 transformer architecture를 기반으로 합니다.

GPT-1

2018년에 출시된 GPT-1은 방대한 양의 book corpus data를 활용하여 향상된 쓰기 기능을 제공하는 자연어 처리의 획기적인 모델입니다.

주요 기능은 다음과 같습니다.

1. 다양한 작업에서의 정확한 one-shot performance

2. 12-layer transformer decoder 활용

3. relevant text 생성을 위한 Attention mechanism 통합

GPT-2

OpenAI는 2019년 2월에 AI 텍스트 생성을 더욱 개선한 generative pre-trained transformer인 GPT-2를 출시했습니다.

transformer 아키텍처를 기반으로 하는 이 딥러닝 neural network는 사용자가 제공한 텍스트에 focus 하는 Attention mechanism을 통합하여 보다 관련성 있고 정확한 결과를 도출합니다.

GPT-2의 주요 기능은 다음과 같습니다:

1. 다양한 text types 에 대한 빠른 속도의 번역 제공

2. 제공된 text를 심층적으로 분석 후 질문에 답변

3. 모든 유형의 텍스트를 오류 없이 요약

4. 때때로 일반적인 인간이 이해하는 부분들을 넘어서는 unique 하고 전문적인 텍스트 생성

GPT-3

GPT-3 : 3세대 generative pre-trained transformer 는 머신 러닝을 활용한 state-of-the-art neural network입니다

OpenAI에서 개발한 GPT-3는 인터넷 데이터를 활용하여 다양한 텍스트 유형을 생성합니다.

1,750억 개의 머신 러닝 파라미터를 갖춘 GPT-3는 독보적인 텍스트 생성 기능을 제공합니다.

GPT-3의 몇 가지 뛰어난 기능입니다

1.최소한의 input text로 기사, 시, 스토리, 뉴스 리포트 및 대화 생성

2. 기존의 자동화된 task에 대한 Provision 제공

3. 다양한 input text types에 대한 적응형 대응

4. 요약 및 프로그래밍 작업을 포함한 다목적 텍스트 생성

그렇다면 이번에 나온 GPT-4란 무엇일까?

https://openai.com/product/gpt-4

GPT-4

GPT-4 is more creative and collaborative than ever before. It can generate, edit, and iterate with users on creative and technical writing tasks, such as composing songs, writing screenplays, or learning a user’s writing style.

openai.com

Parameter

Parameter 가 1조 개가 될 것이다라는 예측과 추측이 많았지만 Open-AI는 이번에 파라미터를 공개하지 않았습니다.
한 번에 처리할 수 있는 단어의 량이 3000개에서 2만 5000개로 8배 이상 확대되었다 는 정보만 제공합니다.
물론 단어를 산정하는 것은 영어 기준입니다.

Multi Modal

text 뿐만이 아니라 image도 인식할 수 있는 Multi Modal AI입니다.

그림을 입력으로 그림 내용을 바탕으로 대화와 해석이 가능합니다.

추론능력 향상

기존보다 향상된 추론 능력은 아래 gpt3 모델과 비교한 시험문제에 대한 벤치마크 결과를 통해서 확인하도록 하겠습니다.

영어가 아닌 언어 능력 향상

기존 보다 향상된 추론 능력은 아래 gpt3 모델과 비교한 시험문제에 대한 벤치마크 결과를 통해서 확인하도록 하겠습니다.

GPT-4 Bench Mark Data Check

GPT-4 (openai.com)

GPT-4

We’ve created GPT-4, the latest milestone in OpenAI’s effort in scaling up deep learning. GPT-4 is a large multimodal model (accepting image and text inputs, emitting text outputs) that, while less capable than humans in many real-world scenarios, exhi

openai.com

더욱 자세한 open ai에서 제공하는 테크니컬 리포트 자료입니다.

https://cdn.openai.com/papers/gpt-4.pdf

open ai에서 제공한 벤치마크 데이터 몇 가지를 중점적으로 확인해 보도록 하겠습니다.

일상적인 대화에서 GPT-3.5와 GPT-4의 차이는 미묘할 수 있으나 작업의 복잡성이 충분한 임계값에 도달하면 그 차이가 드러나는데, GPT-4는 GPT-3.5보다 더 안정적이고 창의적이며 훨씬 더 미묘한 명령어를 처리할 수 있다고 합니다.

가장 최근에 공개된 시험, 2022-2023년판 practive exam를 구입하여 테스트한 결과 차이가 꽤나 심한 것을 확인할 수 있습니다.

영어를 제외한 다른 언어의 성능 확인결과 테스트한 26개 언어 중 24개 언어에서 GPT-4는 라트비아어, 웨일스어, 스와힐리어와 같은 리소스가 적은 언어를 포함하여 GPT-3.5 및 기타 LLM(Chinchilla, PaLM)의 영어 성능보다 뛰어난 걸 확인할 수 있습니다.

한계

이러한 기능에도 불구하고 GPT-4는 이전 GPT 모델과 비슷한 한계를 가지고 있습니다.

가장 중요한 것은 여전히 완전히 신뢰할 수 없다는 점입니다.
언어모델을 사용해서 처리하는 일에 실질적인 위험도가 높은 경우 충분한 검토와 추가적인 텍스트 제공을 통한 근거마련등 세심한 주의가 필요합니다.

GPT-4를 활용하고 있는 서비스들

1. Duolingo

2. Be My Eyes

3. Stripe

4. Morgan Stanley

5. Khan Academy

6. 아이슬란드 정부
7. new bing chat bot

Duolingo (openai.com)

Duolingo

GPT-4 deepens the conversation on Duolingo.

openai.com

Be My Eyes (openai.com)

Be My Eyes

Be My Eyes uses GPT-4 to transform visual accessibility.

openai.com

Stripe (openai.com)

Stripe

Stripe leverages GPT-4 to streamline user experience and combat fraud.

openai.com

Morgan Stanley (openai.com)

Morgan Stanley

Morgan Stanley wealth management deploys GPT-4 to organize its vast knowledge base.

openai.com

Khan Academy (openai.com)

Khan Academy

Khan Academy explores the potential for GPT-4 in a limited pilot program.

openai.com

Government of Iceland (openai.com)

Government of Iceland

How Iceland is using GPT-4 to preserve its language.

openai.com

https://blogs.bing.com/search/march_2023/Confirmed-the-new-Bing-runs-on-OpenAI ’s-GPT-4

Confirmed: the new Bing runs on OpenAI’s GPT-4

Congratulations to our partners at Open AI for their release of GPT-4 today. We are happy to confirm that the new Bing is running on GPT-4, which we’ve customized for search. If you’ve used the new Bing preview at any time in the last five weeks, you

blogs.bing.com

GPT-4 Model 가격 정책

Open ai 서비스인 chatgpt에서 gpt-4 model을 사용하시려면 아래와 같이 ChatGPT plus 유료 모델로 전환해야 합니다.
답변 모델을 선택할 수 있으며 제한은 블로그 포스팅 날자 기준 4시간당 100 메시지입니다.
그리고 2021년에 아직도 멈춰있습니다;;; 현 포스팅 날자 기준(2023-03-15)