오픈AI가2024년 7월 18일(목) 가장 진보된 거대언어모델(LLM)인토토 롤링 디시4o의 소형모델을 출시했다.토토 롤링 디시4o mini라고 불리며 무료 버전의 ChatGPT에 사용되는 기본 모델인 토토 롤링 디시3.5 Turbo를 대체할 예정이다.
토토 롤링 디시4o mini는 MMLU(Massive Multitask Language Understanding)에서 82%의 점수를 받았으며LMSYS 리더보드에서 채팅 환경 설정에서 토토 롤링 디시41보다 우수한 성능을 보이고 있다고 밝혔다.
토토 롤링 디시4o mini는 저렴한 비용과 지연 시간으로 여러 모델 호출을 연결하거나 병렬화하는 애플리케이션(예: 여러 API 호출), 모델에 대량의 컨텍스트 전달(예: 전체 코드 베이스 또는 대화 기록), 빠른 실시간 문자 응답을 통해 고객과 상호작용하는 애플리케이션(예: 고객 지원 챗봇) 등 광범위한 작업을 지원한다.
개발자들은토토 롤링 디시4o에 비해 더 저렴한 비용으로 사용할 수 있을 것이다. 토토 롤링 디시4o와 토토 롤링 디시4o mini두 모델은얼마나 다르며 어떤 것을 사용해야 할까?라이프해커에서 정리한 토토 롤링 디시가있어 소개한다. 알아두어야 할 사항은 아래와같다.
몇 가지 제한이 있는 작은 모델
토토 롤링 디시4o mini의 가장 큰 단점은 이미지 처리는 가능하지만아직 비디오와오디오 처리를 지원하지 않는다는 것이다. OpenAI는 나중에 이러한 기능을 통합할 계획이라고 밝혔다.
OpenAI 자료에따르면 토토 롤링 디시4o mini모델은 토토 롤링 디시4o에서 볼 수 있는 것과 비슷한 성능을 제공한다. 하지만 테스트방식은 회사마다 다를 수 있기 때문에 일부 개발자는 성능에 대해 좀 더관망하는 입장을 보이기도 한다.
가격
토토 롤링 디시4o mini는 토토 롤링 디시4o와 비슷한 성능을 발휘하도록 설계되었기 때문에 장기적으로 두 모델의 가장 큰 차이점은 가격이며개인 이용자보다는 개발자에게 더 큰 영향을 미칠 것이다.
토토 롤링 디시4o는 현재 입력 토큰 100만 개당 5달러, 출력 토큰 100만 개당 15달러에 운영되고 있다.토토 롤링 디시4o mini는 입력 토큰 100만 개당 15센트, 출력 토큰 100만 개당 60센트로 운영되므로 장기 프로젝트의 경우 훨씬 더 저렴하게 운영할 수 있다.
OpenAI는 가격 책정에 표시된 100만 개의 출력 토큰은 표준 형식의 책 약 2,500페이지에 해당하는 양이라고 말한다. 토토 롤링 디시4o와 공유되는 개선된 토큰화 기능덕분에영어가 아닌 텍스트를 처리하는데훨씬 더 비용 효율적이다.
개인 이용자는 여전히 표준 토토 롤링 디시4o를 제한적으로 무료로 이용할 수 있다.
동일한 안전 기능
OpenAI가 토토 롤링 디시4o와 토토 롤링 디시4o mini 사이에서 차이가 없는 한 가지 영역은 바로 안전 기능이다. 4o mini 소형 모델에는 70명 이상의 외부 전문가가 참여한 테스트를 통해 이용자에게 발생할 수 있는 잠재적 위험을 파악하는 등 OpenAI가 토토 롤링 디시4o에 구축한 것과 동일한 안전 기능이 포함되어 있다.
토토 롤링 디시4o mini는 새로운 "계층 구조" 모델을 통합한 최초의 OpenAI 모델로프롬프트 주입, 탈옥 시도,시스템 프롬프트 추출과 같은 기타 악의적인 사용을 방지하는데 도움이 될 것이라고 한다.
토토 롤링 디시4o mini는 ChatGPT 앱, 웹사이트,API에서 이용할 수 있다.