API GPT4.1

Hari ini, kami melancarkan tiga model baharu dalam API: GPT‑4.1, GPT‑4.1 mini dan GPT‑4.1 nano. Model ini mengatasi prestasi mini GPT‑4o dan GPT‑4o secara keseluruhan, dengan g utamaains dalam pengekodan dan arahan berikut. Mereka juga mempunyai tetingkap konteks yang lebih besar—menyokong sehingga 1 juta token konteks—dan dapat menggunakan konteks tersebut dengan lebih baik dengan pemahaman konteks panjang yang dipertingkatkan. Mereka menampilkan potongan pengetahuan yang diperbaharui pada bulan Jun 2024.

GPT‑4.1 cemerlang dalam ukuran standard industri berikut:

• Pengekodan: GPT‑4.1 mendapat markah 54.6% pada SWE-bench Disahkan, bertambah baik dengan 21.4% _abs melebihi GPT‑4o dan 26.6%_abs melebihi GPT‑4.5—menjadikannya model terkemuka untuk pengekodan.
• Arahan berikut: On Pelbagai Cabaran Skala⁠(dibuka dalam tetingkap baru) penanda aras, ukuran kebolehan mengikut arahan, GPT‑4.1 markah 38.3%, 10.5%_abs meningkat berbanding GPT‑4o.
• Konteks panjang: On Video-MME⁠(dibuka dalam tetingkap baru), penanda aras untuk pemahaman konteks panjang berbilang mod, GPT‑4.1 menetapkan hasil tercanggih baharu—menjaringkan 72.0% pada kategori panjang tanpa sari kata, 6.7%_abs peningkatan berbanding GPT‑4o.

Walaupun penanda aras memberikan pandangan yang berharga, kami melatih model ini dengan fokus pada utiliti dunia sebenar. Kerjasama rapat dan perkongsian dengan komuniti pembangun membolehkan kami mengoptimumkan model ini untuk tugasan yang paling penting bagi aplikasi mereka.

Untuk tujuan ini, keluarga model GPT‑4.1 menawarkan prestasi luar biasa pada kos yang lebih rendah. Model ini mendorong prestasi ke hadapan pada setiap titik pada lengkung kependaman.

GPT‑4.1 mini ialah lonjakan ketara dalam prestasi model kecil, malah mengatasi GPT‑4o dalam banyak penanda aras. Ia sepadan atau melebihi GPT‑4o dalam eval perisikan sambil mengurangkan kependaman hampir separuh dan mengurangkan kos sebanyak 83%.

Untuk tugasan yang memerlukan kependaman rendah, GPT‑4.1 nano ialah model terpantas dan termurah kami yang tersedia. Ia memberikan prestasi yang luar biasa pada saiz yang kecil dengan tetingkap konteks token 1 juta dan skor 80.1% pada MMLU, 50.3% pada GPQA dan 9.8% pada pengekodan polyglot Aider—malah lebih tinggi daripada GPT‑4o mini. Ia sesuai untuk tugasan seperti pengelasan atau autolengkap.

Penambahbaikan dalam arahan berikutan kebolehpercayaan dan pemahaman konteks yang panjang ini juga menjadikan model GPT‑4.1 jauh lebih berkesan untuk menjana kuasa ejen, atau sistem yang boleh melaksanakan tugas secara bebas bagi pihak pengguna. Apabila digabungkan dengan primitif seperti API Respons⁠(dibuka dalam tetingkap baru), pembangun kini boleh membina ejen yang lebih berguna dan boleh dipercayai dalam kejuruteraan perisian dunia sebenar, mengekstrak cerapan daripada dokumen besar, menyelesaikan permintaan pelanggan dengan pegangan tangan yang minimum dan tugas rumit lain.

Ambil perhatian bahawa GPT‑4.1 hanya akan tersedia melalui API. Dalam ChatGPT, banyak penambahbaikan dalam mengikuti arahan, pengekodan, dan kecerdasan telah dimasukkan secara beransur-ansur ke dalam versi terkini⁠(dibuka dalam tetingkap baru) daripada GPT‑4o, dan kami akan terus menggabungkan lebih banyak lagi dengan keluaran akan datang.

Kami juga akan mula menamatkan Pratonton GPT‑4.5 dalam API, kerana GPT‑4.1 menawarkan prestasi yang lebih baik atau serupa pada banyak keupayaan utama pada kos dan kependaman yang jauh lebih rendah. Pratonton GPT‑4.5 akan dimatikan dalam masa tiga bulan, pada 14 Julai 2025, untuk memberi masa kepada pembangun untuk beralih. GPT‑4.5 ialah diperkenalkan sebagai pratonton penyelidikan untuk meneroka dan mencuba model yang besar dan intensif pengiraan, dan kami telah belajar banyak daripada maklum balas pembangun. Kami akan terus meneruskan kreativiti, kualiti penulisan, humor dan nuansa yang anda beritahu kami yang anda hargai dalam GPT‑4.5 ke dalam model API akan datang.

Di bawah, kami membahagikan prestasi GPT‑4.1 merentas beberapa penanda aras, bersama-sama dengan contoh daripada penguji alfa seperti Windsurf, Qodo, Hex, Blue J, Thomson Reuters dan Carlyle yang mempamerkan prestasinya dalam pengeluaran pada tugas khusus domain.

GPT‑4.1 jauh lebih baik daripada GPT‑4o dalam pelbagai tugas pengekodan, termasuk menyelesaikan tugas pengekodan secara ejen, pengekodan bahagian hadapan, membuat lebih sedikit pengeditan luar, mengikut format berbeza dengan pasti, memastikan penggunaan alat yang konsisten dan banyak lagi.

Pada SWE-bench Verified, ukuran kemahiran kejuruteraan perisian dunia sebenar, GPT‑4.1 menyelesaikan 54.6% tugasan, berbanding 33.2% untuk GPT‑4o (2024-11-20). Ini mencerminkan peningkatan dalam keupayaan model untuk meneroka repositori kod, menyelesaikan tugasan dan menghasilkan kod yang menjalankan dan lulus ujian.

Untuk pembangun API yang ingin mengedit fail besar, GPT‑4.1 adalah lebih dipercayai pada perbezaan kod merentas pelbagai format. GPT‑4.1 lebih daripada dua kali ganda markah GPT‑4o pada Tanda aras perbezaan poliglot Aider⁠(dibuka dalam tetingkap baru), malah mengalahkan GPT‑4.5 sebanyak 8%_absPenilaian ini adalah kedua-dua ukuran keupayaan pengekodan merentas pelbagai bahasa pengaturcaraan dan ukuran keupayaan model untuk menghasilkan perubahan dalam format keseluruhan dan berbeza. Kami telah melatih GPT‑4.1 secara khusus untuk mengikuti format berbeza dengan lebih pasti, yang membolehkan pembangun menjimatkan kos dan kependaman dengan hanya meminta output model menukar baris, dan bukannya menulis semula keseluruhan fail. Untuk prestasi perbezaan kod terbaik, sila rujuk kami panduan menggesa⁠(dibuka dalam tetingkap baru). Bagi pembangun yang lebih suka menulis semula keseluruhan fail, kami telah meningkatkan had token output untuk GPT‑4.1 kepada 32,768 token (naik daripada 16,384 token untuk GPT‑4o). Kami juga mengesyorkan menggunakan Output yang Diramalkan⁠(dibuka dalam tetingkap baru) untuk mengurangkan kependaman penulisan semula fail penuh.

GPT‑4.1 juga bertambah baik dengan ketara apabila GPT‑4o dalam pengekodan bahagian hadapan, dan mampu mencipta apl web yang lebih disukai dari segi fungsi dan menyenangkan dari segi estetika. Dalam perbandingan head-to-head kami, tapak web GPT‑4.1 penggred manusia berbayar berbanding 4% GPT‑80o.

Di luar penanda aras di atas, GPT‑4.1 adalah lebih baik dalam mengikuti format dengan lebih dipercayai dan menjadikan pengeditan luar kurang kerap. Dalam eval dalaman kami, pengeditan luar pada kod menurun daripada 9% dengan GPT‑4o kepada 2% dengan GPT‑4.1.

Luncur Angin⁠(dibuka dalam tetingkap baru): GPT‑4.1 mendapat markah 60% lebih tinggi daripada GPT‑4o pada penanda aras pengekodan dalaman Windsurf, yang sangat berkorelasi dengan kekerapan perubahan kod diterima pada semakan pertama. Pengguna mereka menyatakan bahawa ia adalah 30% lebih cekap dalam panggilan alat dan kira-kira 50% kurang berkemungkinan untuk mengulangi suntingan yang tidak perlu atau membaca kod dalam langkah-langkah tambahan yang terlalu sempit. Penambahbaikan ini diterjemahkan kepada lelaran yang lebih pantas dan aliran kerja yang lebih lancar untuk pasukan kejuruteraan.

Qodo⁠(dibuka dalam tetingkap baru): Qodo menguji GPT‑4.1 head-to-head terhadap model terkemuka lain dalam menjana ulasan kod berkualiti tinggi daripada permintaan tarik GitHub menggunakan metodologi yang diilhamkan oleh penanda aras penalaan halus mereka. Merentasi 200 permintaan tarikan dunia nyata yang bermakna dengan gesaan dan syarat yang sama, mereka mendapati bahawa GPT‑4.1 menghasilkan cadangan yang lebih baik dalam 55% kes⁠(dibuka dalam tetingkap baru). Terutama, mereka mendapati bahawa GPT‑4.1 cemerlang pada kedua-dua ketepatan (mengetahui bila tidak membuat cadangan) dan kekomprekan (menyediakan analisis menyeluruh apabila diperlukan), sambil mengekalkan fokus pada isu yang benar-benar kritikal.

GPT‑4.1 mengikut arahan dengan lebih pasti dan kami telah mengukur peningkatan yang ketara merentas pelbagai arahan berikutan eval.

Kami membangunkan eval dalaman untuk arahan berikut untuk menjejak prestasi model merentas beberapa dimensi dan dalam beberapa kategori utama arahan berikut, termasuk:

• Format mengikut. Menyediakan arahan yang menentukan format tersuai untuk respons model, seperti XML, YAML, Markdown, dsb.
• Arahan negatif. Menentukan tingkah laku model harus dielakkan. (Contoh: “Jangan minta pengguna menghubungi sokongan”)
• Arahan yang dipesan. Menyediakan satu set arahan model mesti ikut dalam susunan yang diberikan. (Contoh: “Tanya dahulu nama pengguna, kemudian minta e-mel mereka”)
• Keperluan kandungan. Mengeluarkan kandungan yang merangkumi maklumat tertentu. (Contoh: “Sentiasa sertakan jumlah protein semasa menulis rancangan pemakanan”)
• Kedudukan. Memesan output dengan cara tertentu. (Contoh: “Isih respons mengikut kiraan populasi”)
• Terlalu yakin. Mengarahkan model untuk menyebut "Saya tidak tahu" atau serupa jika maklumat yang diminta tidak tersedia atau permintaan itu tidak termasuk dalam kategori tertentu. (Contoh: “Jika anda tidak tahu jawapannya, berikan e-mel hubungan sokongan”)

Kategori ini adalah hasil maklum balas daripada pembangun mengenai aspek arahan yang mana yang paling relevan dan penting bagi mereka. Dalam setiap kategori, kami telah membahagikan gesaan mudah, sederhana dan keras. GPT‑4.1 bertambah baik dengan ketara berbanding GPT‑4o pada gesaan keras khususnya.

Mengikuti arahan berbilang pusingan adalah penting bagi kebanyakan pembangun—adalah penting bagi model untuk mengekalkan keselarasan jauh ke dalam perbualan dan menjejaki perkara yang diberitahu oleh pengguna sebelum ini. Kami telah melatih GPT‑4.1 untuk lebih berkebolehan memilih maklumat daripada mesej lepas dalam perbualan, membolehkan perbualan yang lebih semula jadi. Penanda aras MultiChallenge daripada Skala ialah ukuran yang berguna bagi keupayaan ini dan GPT‑4.1 berprestasi 10.5%_abs lebih baik daripada GPT‑4o.

GPT‑4.1 juga mendapat markah 87.4% pada IFEval, berbanding 81.0% untuk GPT‑4o. IFEval menggunakan gesaan dengan arahan yang boleh disahkan (contohnya, menentukan panjang kandungan atau mengelakkan istilah atau format tertentu).

Arahan yang lebih baik berikutan menjadikan aplikasi sedia ada lebih dipercayai, dan membolehkan aplikasi baharu yang sebelum ini dihadkan oleh kebolehpercayaan yang lemah. Penguji awal menyatakan bahawa GPT‑4.1 boleh menjadi lebih literal, jadi kami mengesyorkan agar anda bersikap eksplisit dan khusus dalam gesaan. Untuk maklumat lanjut tentang menggesa amalan terbaik untuk GPT‑4.1, sila rujuk panduan menggesa.

Biru J⁠(dibuka dalam tetingkap baru): GPT‑4.1 adalah 53% lebih tepat daripada GPT‑4o pada penanda aras dalaman bagi senario cukai dunia sebenar Blue J yang paling mencabar. Lonjakan dalam ketepatan ini—kunci kepada prestasi sistem dan kepuasan pengguna—menyerlahkan kefahaman GPT‑4.1 yang lebih baik tentang peraturan kompleks dan keupayaannya untuk mengikuti arahan bernuansa dalam konteks yang panjang. Bagi pengguna Blue J, ini bermakna penyelidikan cukai yang lebih pantas, lebih dipercayai dan lebih banyak masa untuk kerja nasihat bernilai tinggi.

Hex⁠(dibuka dalam tetingkap baru): GPT‑4.1 memberikan peningkatan hampir 2× pada Hex yang paling mencabar set penilaian SQL,⁠(dibuka dalam tetingkap baru) mempamerkan keuntungan yang ketara dalam mengikuti arahan dan pemahaman semantik. Model ini lebih dipercayai dalam memilih jadual yang betul daripada skema yang besar dan samar-samar—titik keputusan huluan yang secara langsung memberi kesan kepada ketepatan keseluruhan dan sukar untuk disesuaikan melalui gesaan sahaja. Untuk Hex, ini menghasilkan pengurangan yang boleh diukur dalam penyahpepijatan manual dan laluan yang lebih pantas ke aliran kerja gred pengeluaran.

GPT‑4.1, GPT‑4.1 mini dan GPT‑4.1 nano boleh memproses sehingga 1 juta token konteks—meningkat daripada 128,000 untuk model GPT‑4o sebelumnya. 1 juta token ialah lebih daripada 8 salinan keseluruhan pangkalan kod React, konteks yang panjang amat sesuai untuk memproses pangkalan kod yang besar atau banyak dokumen yang panjang.

Kami melatih GPT‑4.1 untuk menerima maklumat dengan pasti sepanjang 1 juta panjang konteks penuh. Kami juga telah melatihnya supaya jauh lebih dipercayai daripada GPT‑4o dalam melihat teks yang berkaitan dan mengabaikan pengalih merentas panjang konteks panjang dan pendek. Pemahaman konteks panjang ialah keupayaan kritikal untuk aplikasi merentas undang-undang, pengekodan, sokongan pelanggan dan banyak domain lain.

Di bawah, kami menunjukkan keupayaan GPT‑4.1 untuk mendapatkan semula sekeping maklumat kecil yang tersembunyi ("jarum") yang diletakkan pada pelbagai titik dalam tetingkap konteks. GPT‑4.1 secara konsisten mengambil jarum dengan tepat pada semua kedudukan dan semua panjang konteks, sehingga 1 juta token. Ia secara berkesan dapat mengeluarkan butiran yang relevan untuk tugasan di tangan tanpa mengira kedudukan mereka dalam input.

Walau bagaimanapun, beberapa tugas dunia sebenar adalah semudah mendapatkan satu jawapan jarum yang jelas. Kami mendapati pengguna sering memerlukan model kami untuk mendapatkan dan memahami berbilang maklumat dan untuk memahami bahagian tersebut berhubung antara satu sama lain. Untuk mempamerkan keupayaan ini, kami menyediakan sumber terbuka eval baharu: OpenAI-MRCR (Multi-Round Coreference).

OpenAI-MRCR menguji keupayaan model untuk mencari dan menyahkekaburan antara berbilang jarum yang tersembunyi dalam konteks. Penilaian terdiri daripada perbualan sintetik berbilang pusingan antara pengguna dan pembantu di mana pengguna meminta sekeping tulisan tentang topik, contohnya "tulis puisi tentang tapir" atau "tulis catatan blog tentang batu". Kami kemudian memasukkan dua, empat atau lapan permintaan yang sama sepanjang konteks. Model kemudiannya mesti mendapatkan semula respons yang sepadan dengan contoh tertentu (cth, “berikan saya puisi ketiga tentang tapir”).

Cabaran timbul daripada persamaan antara permintaan ini dan konteks yang lain—model mudah disesatkan oleh perbezaan halus, seperti cerpen tentang tapir dan bukannya puisi, atau puisi tentang katak dan bukannya tapir. Kami mendapati bahawa GPT‑4.1 mengatasi GPT‑4o pada panjang konteks sehingga 128K token dan mengekalkan prestasi yang kukuh walaupun sehingga 1 juta token.

Tetapi tugasnya tetap sukar—walaupun untuk model penaakulan lanjutan. Kami berkongsi set data eval⁠(dibuka dalam tetingkap baru) untuk menggalakkan kerja lanjut mengenai pencarian semula konteks panjang dunia sebenar.

Kami juga melepaskan Laluan graf⁠(dibuka dalam tetingkap baru), set data untuk menilai penaakulan konteks panjang berbilang hop. Banyak kes penggunaan pembangun untuk konteks yang panjang memerlukan berbilang lompatan logik dalam konteks, seperti melompat antara berbilang fail semasa menulis kod atau dokumen rujukan silang semasa menjawab soalan undang-undang yang rumit.

Model (atau bahkan manusia) secara teorinya boleh menyelesaikan masalah OpenAI-MRCR dengan melakukan satu laluan atau membaca gesaan, tetapi Graphwalks direka untuk memerlukan penaakulan merentas berbilang kedudukan dalam konteks dan tidak boleh diselesaikan secara berurutan.

Graphwalks mengisi tetingkap konteks dengan graf terarah yang terdiri daripada cincang heksadesimal, dan kemudian meminta model untuk melakukan carian pertama luas (BFS) bermula daripada nod rawak dalam graf. Kami kemudian memintanya untuk mengembalikan semua nod pada kedalaman tertentu. GPT‑4.1 mencapai ketepatan 61.7% pada penanda aras ini, memadankan prestasi o1 dan menewaskan GPT‑4o dengan mudah.

Penanda aras tidak menceritakan kisah penuh, jadi kami bekerjasama dengan rakan kongsi alfa untuk menguji prestasi GPT‑4.1 pada tugas konteks panjang dunia sebenar mereka.

Thomson Reuters:⁠(dibuka dalam tetingkap baru) Thomson Reuters menguji GPT‑4.1 dengan CoCounsel, gred profesional mereka AI pembantu untuk kerja undang-undang. Berbanding dengan GPT‑4o, mereka dapat meningkatkan ketepatan semakan berbilang dokumen sebanyak 17% apabila menggunakan GPT‑4.1 merentas penanda aras konteks panjang dalaman—ukuran penting keupayaan CoCounsel untuk mengendalikan aliran kerja undang-undang yang kompleks yang melibatkan berbilang dokumen yang panjang. Khususnya, mereka mendapati model itu sangat boleh dipercayai dalam mengekalkan konteks merentas sumber dan mengenal pasti dengan tepat perhubungan bernuansa antara dokumen, seperti klausa yang bercanggah atau konteks tambahan tambahan—tugas yang kritikal kepada analisis undang-undang dan membuat keputusan.

Carlyle⁠(dibuka dalam tetingkap baru): Carlyle menggunakan GPT‑4.1 untuk mengekstrak data kewangan berbutir dengan tepat merentas berbilang dokumen yang panjang—termasuk PDF, fail Excel dan format kompleks lain. Berdasarkan penilaian dalaman mereka, ia berprestasi 50% lebih baik pada pengambilan semula daripada dokumen yang sangat besar dengan data padat dan merupakan model pertama yang berjaya mengatasi had utama yang dilihat dengan model lain yang tersedia, termasuk pengambilan jarum dalam timbunan jerami, ralat hilang di tengah dan penaakulan berbilang hop merentas dokumen.

Selain prestasi dan ketepatan model, pembangun juga memerlukan model yang bertindak balas dengan cepat untuk mengikuti dan memenuhi keperluan pengguna. Kami telah menambah baik tindanan inferens kami untuk mengurangkan masa kepada token pertama, dan dengan caching segera, anda boleh mengurangkan kependaman lebih jauh sambil menjimatkan kos. Dalam ujian awal kami, kependaman kepada token pertama untuk GPT‑4.1 ialah kira-kira lima belas saat dengan 128,000 token konteks dan seminit untuk sejuta token konteks. GPT‑4.1 mini dan nano adalah lebih pantas, contohnya, GPT‑4.1 nano paling kerap mengembalikan token pertama dalam masa kurang daripada lima saat untuk pertanyaan dengan 128,000 token input.

Keluarga GPT‑4.1 sangat kuat dalam pemahaman imej, dengan GPT‑4.1 mini khususnya mewakili lonjakan yang ketara ke hadapan, selalunya mengalahkan GPT‑4o pada penanda aras imej.

Prestasi konteks yang panjang juga penting untuk kes penggunaan pelbagai mod, seperti memproses video yang panjang. Dalam Video-MME⁠(dibuka dalam tetingkap baru) (panjang w/o subs), model menjawab soalan aneka pilihan berdasarkan video berdurasi 30-60 minit tanpa sari kata. GPT‑4.1 mencapai prestasi terkini, menjaringkan 72.0%, meningkat daripada 65.3% untuk GPT‑4o.

GPT‑4.1, GPT‑4.1 mini dan GPT‑4.1 nano kini tersedia kepada semua pembangun.

Melalui peningkatan kecekapan pada sistem inferens kami, kami telah dapat menawarkan harga yang lebih rendah pada siri GPT‑4.1. GPT‑4.1 adalah 26% lebih murah daripada GPT‑4o untuk pertanyaan median dan GPT‑4.1 nano ialah model termurah dan terpantas kami yang pernah ada. Untuk pertanyaan yang berulang kali melepasi konteks yang sama, kami meningkatkan diskaun caching segera kepada 75% (naik daripada 50% sebelumnya) untuk model baharu ini. Akhir sekali, kami menawarkan permintaan konteks yang panjang tanpa kos tambahan melebihi kos per-token standard.

GPT‑4.1 ialah satu langkah ke hadapan yang penting dalam aplikasi praktikal AI. Dengan menumpukan rapat pada keperluan pembangun dunia sebenar—bermula daripada pengekodan kepada mengikut arahan dan pemahaman konteks yang panjang—model ini membuka kunci kemungkinan baharu untuk membina sistem pintar dan aplikasi agen yang canggih. Kami sentiasa diilhamkan oleh kreativiti komuniti pembangun dan teruja untuk melihat perkara yang anda bina dengan GPT‑4.1.

Senarai penuh keputusan merentas akademik, pengekodan, arahan mengikut, konteks panjang, penglihatan dan fungsi panggilan evals boleh didapati di bawah.