GPT4.1 API

오늘 API에 GPT‑4.1, GPT‑4.1 mini, GPT‑4.1 nano의 세 가지 새로운 모델이 출시됩니다. 이 모델들은 주요 g를 포함하여 전반적으로 GPT‑4o 및 GPT‑4o mini보다 우수한 성능을 발휘합니다.ai코딩 및 지시 이행에 있어 ns를 사용합니다. 또한 최대 1만 개의 컨텍스트 토큰을 지원하는 더 큰 컨텍스트 창을 제공하며, 향상된 장문 컨텍스트 이해력을 통해 해당 컨텍스트를 더 잘 활용할 수 있습니다. 2024년 XNUMX월로 지식 마감일이 변경되었습니다.

GPT‑4.1은 다음과 같은 산업 표준 측정 기준에서 탁월합니다.

• 코딩: GPT‑4.1은 54.6%를 기록했습니다. SWE-bench 검증됨, 개선하여 21.4%_ABS GPT‑4o 이상 그리고 26.6의 %_ABS GPT‑4.5를 넘어서서 코딩을 위한 선도적인 모델이 되었습니다.
• 다음은 지침입니다. On 스케일의 멀티챌린지⁠(새 창에서 열림) 벤치마크, 교육 수행 능력 측정, GPT‑4.1 점수 38.3%, 10.5%_ABS GPT‑4o보다 증가.
• 긴 맥락: On 비디오-MME⁠(새 창에서 열림)다중 모드 긴 컨텍스트 이해를 위한 벤치마크인 GPT‑4.1은 긴 자막 없는 카테고리에서 72.0%, 6.7%를 기록하며 최첨단 결과를 새롭게 제시합니다._ABS GPT‑4o보다 개선됨.

벤치마크는 귀중한 통찰력을 제공하지만, 저희는 이러한 모델을 실제 활용에 중점을 두고 학습했습니다. 개발자 커뮤니티와의 긴밀한 협력 및 파트너십을 통해 애플리케이션에 가장 중요한 작업에 맞게 모델을 최적화할 수 있었습니다.

이를 위해 GPT‑4.1 모델 제품군은 더 저렴한 비용으로 탁월한 성능을 제공합니다. 이 모델들은 지연 시간 곡선의 모든 지점에서 성능을 향상시킵니다.

GPT‑4.1 mini는 소형 모델 성능에서 상당한 도약을 이루었으며, 여러 벤치마크에서 GPT‑4o를 능가하기도 했습니다. 지능 평가에서 GPT‑4o와 동등하거나 능가하는 동시에 지연 시간을 거의 절반으로 줄이고 비용을 83% 절감했습니다.

낮은 지연 시간이 요구되는 작업의 경우, GPT‑4.1 nano는 가장 빠르고 저렴한 모델입니다. 1만 개의 토큰 컨텍스트 윈도우를 통해 작은 크기에도 불구하고 탁월한 성능을 제공하며, MMLU에서 80.1%, GPQA에서 50.3%, Aider 폴리글롯 코딩에서 9.8%의 점수를 기록하여 GPT‑4o mini보다 훨씬 높은 성능을 제공합니다. 분류 또는 자동 완성과 같은 작업에 이상적입니다.

이러한 지시 수행 신뢰도 및 긴 맥락 이해력의 향상은 GPT‑4.1 모델을 사용자를 대신하여 독립적으로 작업을 수행할 수 있는 에이전트 또는 시스템의 성능을 크게 향상시킵니다. 다음과 같은 기본 요소와 결합하면 응답 API⁠(새 창에서 열림)이제 개발자는 실제 소프트웨어 엔지니어링에서 더욱 유용하고 안정적인 에이전트를 구축하여 대용량 문서에서 통찰력을 추출하고, 최소한의 지원으로 고객 요청을 해결하고, 기타 복잡한 작업을 수행할 수 있습니다.

GPT‑4.1은 API를 통해서만 사용할 수 있습니다. ChatGPT, 지시사항 준수, 코딩 및 지능의 많은 개선 사항이 점차적으로 통합되었습니다. 최신 버전⁠(새 창에서 열림) GPT‑4o를 사용하고 있으며, 향후 릴리스에서 더 많은 기능을 통합할 예정입니다.

GPT‑4.5은 훨씬 낮은 비용과 지연 시간으로 여러 주요 기능에서 개선되거나 유사한 성능을 제공하므로, API에서 GPT‑4.1 Preview의 지원 중단을 시작할 예정입니다. 개발자들이 전환할 시간을 주기 위해 GPT‑4.5 Preview는 14개월 후인 2025년 4.5월 XNUMX일에 종료됩니다. GPT‑XNUMX는 소개 대규모 컴퓨팅 집약적 모델을 탐색하고 실험하기 위한 연구 미리보기로서, 개발자 피드백을 통해 많은 것을 배웠습니다. GPT‑4.5에서 여러분이 높이 평가해 주신 창의성, 글쓰기 품질, 유머, 그리고 뉘앙스를 향후 API 모델에도 계속 반영해 나갈 것입니다.

아래에서는 Windsurf, Qodo, Hex, Blue J, Thomson Reuters, Carlyle 등 알파 테스터의 예시와 함께 GPT‑4.1이 여러 벤치마크에서 어떤 성능을 보이는지 분석하여 도메인별 작업에 대한 프로덕션 환경에서의 성능을 보여줍니다.

GPT‑4.1은 다양한 코딩 작업에서 GPT‑4o보다 훨씬 뛰어납니다. 여기에는 코딩 작업을 에이전트적으로 해결하는 것, 프런트엔드 코딩, 불필요한 편집을 줄이는 것, diff 형식을 안정적으로 따르는 것, 일관된 도구 사용을 보장하는 것 등이 포함됩니다.

실제 소프트웨어 엔지니어링 기술을 측정하는 SWE-bench Verified에서 GPT‑4.1은 작업의 54.6%를 완료하는 반면, GPT‑33.2o(4년 2024월 11일 기준)는 20%를 완료했습니다. 이는 모델이 코드 저장소를 탐색하고, 작업을 완료하고, 테스트를 실행하고 통과하는 코드를 생성하는 능력이 향상되었음을 보여줍니다.

대용량 파일을 편집하려는 API 개발자의 경우 GPT‑4.1은 다양한 형식의 코드 비교에서 훨씬 더 안정적입니다. GPT‑4.1은 GPT‑4o보다 두 배 이상 높은 점수를 받았습니다. Aider의 다중 언어 diff 벤치마크⁠(새 창에서 열림)GPT‑4.5보다 8% 더 뛰어납니다._복근.이 평가는 다양한 프로그래밍 언어에 대한 코딩 능력과 전체 및 diff 형식에서 변경을 생성하는 모델의 능력을 측정하는 것입니다. 저희는 GPT‑4.1이 diff 형식을 더욱 안정적으로 따르도록 특별히 훈련시켰습니다. 이를 통해 개발자는 전체 파일을 다시 작성하는 대신 모델 출력에서 ​​변경된 줄만 처리하여 비용과 지연 시간을 모두 절약할 수 있습니다. 최상의 코드 diff 성능에 대한 자세한 내용은 다음을 참조하십시오. 프롬프팅 가이드⁠(새 창에서 열림)전체 파일을 다시 작성하는 것을 선호하는 개발자를 위해 GPT‑4.1의 출력 토큰 한도를 32,768개(GPT‑16,384o의 4개 토큰)로 늘렸습니다. 또한 다음을 사용하는 것이 좋습니다. 예측 출력⁠(새 창에서 열림) 전체 파일을 다시 쓸 때의 대기 시간을 줄이려면.

GPT‑4.1은 프런트엔드 코딩 측면에서도 GPT‑4o보다 크게 개선되었으며, 기능적으로 더 선호되고 미적으로도 만족스러운 웹 앱을 제작할 수 있습니다. 직접 비교 결과, 유료 인간 평가자들은 GPT‑4.1 웹사이트가 GPT‑4o 웹사이트보다 80% 더 높은 점수를 받았습니다.

위의 벤치마크 외에도 GPT‑4.1은 형식을 더 안정적으로 따르고 불필요한 편집 빈도를 줄였습니다. 내부 평가 결과, 코드의 불필요한 편집은 GPT‑9의 4%에서 GPT‑2의 4.1%로 감소했습니다.

윈드 서핑⁠(새 창에서 열림): Windsurf의 내부 코딩 벤치마크에서 GPT‑4.1은 GPT‑60o보다 4% 높은 점수를 기록했는데, 이는 첫 번째 검토에서 코드 변경이 얼마나 자주 승인되는지와 밀접한 상관관계가 있습니다. Windsurf 사용자들은 도구 호출 효율이 30% 향상되었고, 불필요한 수정을 반복하거나 지나치게 좁고 점진적인 단계로 코드를 읽을 가능성이 약 50% 감소했다고 밝혔습니다. 이러한 개선 사항은 엔지니어링 팀의 반복 작업 속도 향상과 워크플로우 개선으로 이어집니다.

코도⁠(새 창에서 열림): Qodo는 자사의 미세 조정 벤치마크에서 영감을 받은 방법론을 사용하여 GitHub 풀 리퀘스트에서 고품질 코드 리뷰를 생성하는 다른 주요 모델과 GPT‑4.1을 직접 비교 테스트했습니다. 동일한 프롬프트와 조건을 가진 200개의 의미 있는 실제 풀 리퀘스트에서 GPT‑4.1이 더 나은 제안을 생성한다는 것을 발견했습니다. 사례 55 %⁠(새 창에서 열림)특히, GPT‑4.1은 정밀성(언제 제안하지 말아야 할지 아는 능력)과 포괄성(필요할 때 철저한 분석을 제공하는 능력) 모두에서 뛰어나며, 진정으로 중요한 문제에 초점을 맞춘다는 것을 발견했습니다.

GPT‑4.1은 지침을 더 안정적으로 따르며, 다양한 지침 준수 평가에서 상당한 개선이 측정되었습니다.

우리는 다음을 포함한 여러 차원과 몇 가지 주요 교육 수행 범주에 걸쳐 모델 성과를 추적하기 위해 교육 수행에 대한 내부 평가를 개발했습니다.

• 형식은 다음과 같습니다. XML, YAML, Markdown 등 모델의 응답에 대한 사용자 정의 형식을 지정하는 지침을 제공합니다.
• 부정적인 지시. 모델이 피해야 할 동작을 지정합니다. (예: "사용자에게 지원팀에 문의하도록 요청하지 마세요")
• 주문된 지침. 모델이 정해진 순서대로 따라야 하는 일련의 지침을 제공합니다. (예: "먼저 사용자 이름을 묻고, 그다음 이메일 주소를 묻습니다")
• 콘텐츠 요구 사항. 특정 정보가 포함된 콘텐츠 출력 (예: "영양 계획 작성 시 단백질 섭취량을 반드시 포함하세요")
• 순위. 특정 방식으로 출력을 정렬합니다. (예: "응답을 인구 수에 따라 정렬")
• 과신. 요청된 정보를 얻을 수 없거나 요청이 해당 범주에 속하지 않는 경우, 모델에게 "모르겠습니다" 또는 이와 유사한 답변을 하도록 지시합니다. (예: "답변을 모르는 경우 지원 연락처 이메일을 입력하세요")

이러한 카테고리는 개발자들이 학습 과정의 어떤 측면이 자신에게 가장 관련성이 높고 중요한지에 대한 피드백을 바탕으로 구성되었습니다. 각 카테고리 내에서 쉬움, 보통, 어려움 수준의 프롬프트로 구분했습니다. GPT‑4.1은 특히 어려움 수준의 프롬프트에서 GPT‑4o보다 크게 향상되었습니다.

여러 차례의 지시를 따르는 것은 많은 개발자에게 매우 중요합니다. 모델이 대화의 심층적인 일관성을 유지하고 사용자가 이전에 말한 내용을 추적하는 것이 중요합니다. 저희는 GPT‑4.1이 대화의 이전 메시지에서 정보를 더 잘 추출하도록 훈련시켜 더욱 자연스러운 대화를 가능하게 했습니다. Scale의 MultiChallenge 벤치마크는 이러한 역량을 측정하는 유용한 지표이며, GPT‑4.1은 10.5%의 성능을 보입니다._ABS GPT‑4o보다 낫습니다.

GPT‑4.1은 IFEval에서도 87.4%의 점수를 받았는데, 이는 GPT‑81.0o의 4%보다 높은 수치입니다. IFEval은 검증 가능한 지침(예: 콘텐츠 길이 지정, 특정 용어 또는 형식 제외)이 포함된 프롬프트를 사용합니다.

더 나은 지시 이행은 기존 애플리케이션의 안정성을 높이고, 이전에는 안정성이 낮았던 새로운 애플리케이션을 활성화합니다. 초기 테스터들은 GPT‑4.1이 더 직설적일 수 있다는 점을 지적했으므로, 프롬프트에서 명확하고 구체적인 내용을 사용하는 것이 좋습니다. GPT‑4.1 프롬프트 모범 사례에 대한 자세한 내용은 프롬프트 가이드를 참조하세요.

블루 제이⁠(새 창에서 열림): Blue J의 가장 까다로운 실제 세무 시나리오를 대상으로 한 내부 벤치마크에서 GPT‑4.1은 GPT‑53o보다 4% 더 정확했습니다. 시스템 성능과 사용자 만족도 모두에 중요한 이러한 정확도 향상은 GPT‑4.1이 복잡한 규정을 더 잘 이해하고 긴 맥락에서 섬세한 지시를 따르는 능력을 향상시켰음을 보여줍니다. Blue J 사용자는 이를 통해 더 빠르고 신뢰할 수 있는 세무 조사와 고부가가치 자문 업무에 더 많은 시간을 할애할 수 있습니다.

마녀⁠(새 창에서 열림): GPT‑4.1은 Hex의 가장 어려운 문제보다 거의 2배 향상된 성능을 제공했습니다. SQL 평가 세트,⁠(새 창에서 열림) 지시 이행 및 의미 이해 측면에서 상당한 성과를 보였습니다. 이 모델은 크고 모호한 스키마에서 올바른 테이블을 선택하는 데 더욱 신뢰할 수 있었습니다. 이는 전반적인 정확도에 직접적인 영향을 미치는 상위 의사결정 지점이며, 프롬프트만으로는 조정이 어렵습니다. Hex의 경우, 이를 통해 수동 디버깅이 눈에 띄게 감소하고 프로덕션급 워크플로로의 전환 속도가 빨라졌습니다.

GPT‑4.1, GPT‑4.1 mini, GPT‑4.1 nano는 최대 1만 개의 컨텍스트 토큰을 처리할 수 있습니다. 이는 기존 GPT‑128,000o 모델의 4개보다 증가한 수치입니다. 1만 개의 토큰은 전체 React 코드베이스의 8개 사본보다 많으므로, 긴 컨텍스트는 대규모 코드베이스나 많은 긴 문서를 처리하는 데 매우 적합합니다.

GPT‑4.1은 1만 개의 전체 맥락에 걸쳐 정보에 안정적으로 접근하도록 훈련되었습니다. 또한, GPT‑4o보다 관련 텍스트를 훨씬 더 안정적으로 인식하고, 길고 짧은 맥락에서 방해 요소를 무시하도록 훈련했습니다. 긴 맥락 이해는 법률, 코딩, 고객 지원 등 다양한 분야의 애플리케이션에 필수적인 기능입니다.

아래에서는 GPT‑4.1이 컨텍스트 창 내 다양한 ​​지점에 위치한 작은 숨겨진 정보("바늘")를 검색하는 기능을 보여줍니다. GPT‑4.1은 모든 위치와 모든 컨텍스트 길이에서 최대 1만 개의 토큰까지 바늘을 일관되게 정확하게 검색합니다. 입력에서의 위치와 관계없이 해당 작업에 필요한 관련 정보를 효과적으로 도출할 수 있습니다.

하지만 실제 작업 중에서 바늘에 대한 단 하나의 명확한 답을 검색하는 것만큼 간단한 작업은 거의 없습니다. 저희는 사용자들이 저희 모델이 여러 정보를 검색하고 이해하고, 각 정보의 관계를 이해해야 하는 경우가 많다는 것을 알고 있습니다. 이러한 기능을 보여주기 위해, 저희는 새로운 평가 도구인 OpenAI-MRCR(Multi-Round Coreference)을 오픈소스로 공개합니다.

OpenAI-MRCR은 맥락 속에 잘 숨겨진 여러 바늘을 찾고 구분하는 모델의 능력을 테스트합니다. 평가는 사용자와 어시스턴트 간의 여러 차례의 합성 대화로 구성되며, 사용자는 특정 주제에 대한 글을 요청합니다. 예를 들어, "테이퍼에 대한 시를 써 주세요" 또는 "바위에 대한 블로그 글을 써 주세요"와 같습니다. 그런 다음 맥락 전체에 동일한 요청을 두 개, 네 개 또는 여덟 개 삽입합니다. 모델은 특정 인스턴스(예: "테이퍼에 대한 세 번째 시를 주세요")에 해당하는 응답을 검색해야 합니다.

이러한 요청과 나머지 맥락 간의 유사성 때문에 문제가 발생합니다. 모델은 미묘한 차이로 인해 쉽게 오도될 수 있습니다. 예를 들어, 시 대신 테이퍼에 대한 단편 소설을 읽거나, 테이퍼 대신 개구리에 대한 시를 읽는 것과 같은 미묘한 차이입니다. GPT‑4.1은 최대 4 토큰의 맥락에서 GPT‑128o보다 성능이 뛰어나며, 최대 1만 토큰의 맥락에서도 뛰어난 성능을 유지합니다.

하지만 이 작업은 고급 추론 모델에서도 여전히 어렵습니다. 우리는 다음을 공유합니다. 평가 데이터 세트⁠(새 창에서 열림) 실제 세계의 장기 맥락 검색에 대한 추가 연구를 장려합니다.

우리는 또한 출시하고 있습니다 그래프워크⁠(새 창에서 열림), 멀티홉 롱 컨텍스트 추론을 평가하기 위한 데이터셋입니다. 롱 컨텍스트를 사용하는 많은 개발자 사용 사례에는 컨텍스트 내에서 여러 논리적 홉이 필요합니다. 예를 들어, 코드를 작성할 때 여러 파일 사이를 이동하거나 복잡한 법률 질문에 답할 때 문서를 교차 참조하는 경우가 있습니다.

모델(또는 사람)은 이론적으로 OpenAI-MRCR 문제를 프롬프트를 한 번 통과하거나 읽어서 해결할 수 있지만 Graphwalks는 맥락에서 여러 입장에서 추론을 요구하도록 설계되었으며 순차적으로 해결할 수 없습니다.

Graphwalks는 4.1진수 해시로 구성된 유향 그래프로 컨텍스트 창을 채운 다음, 모델에 그래프의 임의의 노드부터 너비 우선 탐색(BFS)을 수행하도록 요청합니다. 그런 다음 특정 깊이에 있는 모든 노드를 반환하도록 요청합니다. GPT‑61.7은 이 벤치마크에서 1%의 정확도를 달성하여 o4의 성능과 동일하며 GPT‑XNUMXo를 크게 앞지릅니다.

벤치마크만으로는 전체적인 상황을 알 수 없으므로, 알파 파트너와 협력하여 실제 장기 컨텍스트 작업에서 GPT‑4.1의 성능을 테스트했습니다.

톰슨 로이터:⁠(새 창에서 열림) Thomson Reuters는 전문가용 CoCounsel을 사용하여 GPT‑4.1을 테스트했습니다. AI 법률 업무 보조원. GPT‑4을 내부 장문 컨텍스트 벤치마크에서 사용했을 때 GPT‑17o 대비 다중 문서 검토 정확도를 4.1% 향상시킬 수 있었습니다. 이는 CoCounsel이 여러 개의 장문 문서가 포함된 복잡한 법률 워크플로우를 처리하는 능력을 보여주는 필수 지표입니다. 특히, 이 모델은 여러 출처의 맥락을 유지하고 상충되는 조항이나 추가적인 보충 맥락과 같은 문서 간의 미묘한 관계를 정확하게 파악하는 데 매우 높은 신뢰성을 보였습니다. 이는 법률 분석 및 의사 결정에 필수적인 작업입니다.

칼라⁠(새 창에서 열림): Carlyle은 GPT‑4.1을 사용하여 PDF, Excel 파일 및 기타 복잡한 형식을 포함한 여러 개의 긴 문서에서 세부적인 재무 데이터를 정확하게 추출했습니다. 내부 평가 결과, 고밀도 데이터가 포함된 대용량 문서 검색 성능이 50% 향상되었으며, 기존 모델에서 발견되는 '건초더미 속 바늘' 검색, '중간 오류', 문서 간 멀티홉 추론 등 주요 한계를 성공적으로 극복한 최초의 모델이었습니다.

모델 성능과 정확도 외에도 개발자는 사용자의 요구를 충족하고 따라잡을 수 있도록 신속하게 대응하는 모델이 필요합니다. 추론 스택을 개선하여 첫 번째 토큰 생성 시간을 단축했으며, 신속한 캐싱을 통해 비용을 절감하는 동시에 지연 시간을 더욱 단축할 수 있습니다. 초기 테스트에서 GPT‑4.1의 첫 번째 토큰 생성 지연 시간은 128,000개의 컨텍스트 토큰에서 약 4.1초, 4.1만 개의 컨텍스트 토큰에서는 128,000분이었습니다. GPT‑XNUMX mini와 nano는 더 빠릅니다. 예를 들어, GPT‑XNUMX nano는 XNUMX개의 입력 토큰이 있는 쿼리에서 XNUMX초 이내에 첫 번째 토큰을 반환하는 경우가 가장 많습니다.

GPT‑4.1 제품군은 이미지 이해 능력이 매우 뛰어나며, 특히 GPT‑4.1 mini는 상당한 진전을 이루었으며 이미지 벤치마크에서 GPT‑4o를 능가하는 경우가 많습니다.

긴 컨텍스트 성능은 긴 비디오 처리와 같은 다중 모드 사용 사례에도 중요합니다. 비디오-MME⁠(새 창에서 열림) (자막 없는 긴 영상) 모델은 자막이 없는 30~60분 길이의 영상을 기반으로 객관식 문제에 답합니다. GPT‑4.1은 GPT‑72.0o의 65.3%보다 향상된 4%의 성적을 기록하며 최첨단 성능을 달성했습니다.

GPT‑4.1, GPT‑4.1 mini, GPT‑4.1 nano는 현재 모든 개발자에게 제공됩니다.

추론 시스템의 효율성 개선을 통해 GPT‑4.1 시리즈의 가격을 더 낮출 수 있었습니다. GPT‑4.1은 중간 쿼리의 경우 GPT‑26o보다 4% 저렴하며, GPT‑4.1 nano는 역대 가장 저렴하고 빠른 모델입니다. 동일한 컨텍스트를 반복적으로 전달하는 쿼리의 경우, 이러한 새로운 모델에 대한 즉시 캐싱 할인율을 기존 75%에서 50%로 상향 조정합니다. 마지막으로, 토큰당 표준 비용 외에 추가 비용 없이 긴 컨텍스트 요청을 제공합니다.

GPT‑4.1은 실제 적용에 있어서 중요한 진전입니다. AI코딩부터 명령어 수행, 그리고 긴 맥락 이해에 이르기까지 실제 개발자의 요구에 집중함으로써, 이러한 모델은 지능형 시스템과 정교한 에이전트 애플리케이션을 구축할 수 있는 새로운 가능성을 열어줍니다. 저희는 개발자 커뮤니티의 창의력에서 끊임없이 영감을 얻고 있으며, 여러분이 GPT‑4.1을 통해 무엇을 만들어낼지 기대하고 있습니다.

학업, 코딩, 교육 수행, 긴 맥락, 비전 및 함수 호출 평가에 대한 전체 결과 목록은 아래에서 확인할 수 있습니다.