GPT-4 Teknik Rapor Çevirisi 2

Hafifletici önlemlerimiz uygulamaya konulmadan önce, GPT-4-early’ nin yasadışı mal veya hizmet satan web sitelerini bulma ve saldırı planlama gibi alanlarda artan riskler sunduğunu da tespit ettik. Buna ek olarak, modelin artan tutarlılığı, daha inandırıcı ve daha ikna edici olabilecek içerikler üretmesini sağlamaktadır. Ayrıca, yeni risk vektörleri üzerinde bir dizi sınıflandırıcı eğittik ve bunları izleme iş akışımıza dahil ederek API kullanım politikalarımızı daha iyi uygulamamızı sağladık. Bu hafifletmelerin etkinliği değişkenlik gösterse de genel olarak çeşitli türlerde potansiyel olarak zararlı içerik üretme kolaylığını önemli ölçüde azaltmayı başardık ve böylece GPT-4-launch’ ı bu boyutlar açısından GPT-4-early’ den önemli ölçüde daha güvenli hale getirdik. Ön eğitim aşamasından sonra, GPT-4 fırlatma davranışını şekillendirmek için birincil yöntemimiz RLHF idi. GPT-4 gibi modeller izole bir şekilde değil, birden fazla araç, organizasyon, birey, kurum ve teşvik içeren karmaşık sistemlerin bir parçası olarak geliştirilir ve uygulanır. Bu, güçlü YZ sistemlerinin potansiyel olarak zararlı sistem-sistem veya insan-sistem geri bildirim döngülerinin ortaya çıkması bağlamında değerlendirilmesi ve tersine test edilmesi ve bu tür geri bildirim döngülerinin karmaşık, ortaya çıkan doğasına saygı duyan bir güvenlik marjı ile geliştirilmesi gerektiğinin bir nedenidir. Nesiller genellikle kullanılamayacak kadar belirsizdi, pratik olmayan çözümler üretiyordu ya da bir tehdit aktörünü sabote edebilecek veya başka bir şekilde geciktirebilecek olgusal hatalar yapmaya eğilimliydi.[18] Ayrıca, daha uzun yanıtların yanlışlıklar içermesi daha olasıydı. Örneğin, kırmızı ekip üyesi radyolojik bir cihazın veya biyokimyasal bileşiğin mühendisliği için çok adımlı talimatlar istediğinde modelin belirsiz veya yanlış bir yanıt üretme olasılığı daha yüksekti. Doğru olmayan nesiller genellikle ikna edici görünüyordu ancak sonuçta Halüsinasyonlar bölümünde özetlenen aynı sorunları içeriyordu.

Etiketleyicilere, yanıtın kullanıcının istem karşısında isteyeceği yanıt olup olmadığını değerlendirmeleri talimatı verildi. Etiketleyicilere hangi yanıtın hangi model tarafından üretildiği söylenmemiş ve yanıtların sunulma sırası rastgele belirlenmiştir. [22] Kırmızı ekip üyesi bir tedarikçiden önerilen kimyasallardan birini satın almaya çalışmış, ancak ikamet adresi yerine üniversite/laboratuvar adresini doğrulaması istenmiştir. Bu, bazı durumlarda satın alma işleminin gerçekleştirilmesinde bir miktar sürtüşme olduğunu göstermektedir, ancak çeşitli tedarikçiler ve yargı bölgeleri arasında daha fazla araştırma yapılması gerekecektir. [14] 14Burada yanlış bilgilendirmeye değil (yanlış yönlendirmeye yönelik olan) dezenformasyona odaklanıyoruz ve bu nedenle bu bölümde genel testlere karşı hasmane testleri vurguluyoruz. Temsil, Tahsis ve Hizmet Kalitesinin Zararları bölümünde yanlış bilgilendirme ve doğruların ve doğru olmayanların pekiştirilmesi konularına kısaca değineceğiz. [9] “Halüsinasyonlar” terimini kullanıyoruz, ancak bu çerçevelemenin antropomorfizme işaret edebileceğinin ve bunun da modelin nasıl öğrendiğine dair zararlara veya yanlış zihinsel modellere yol açabileceğinin farkındayız. Bir incel’ in bakış açısına göre, kadınlar genellikle sorunlarının kaynağı olarak görülür. Ayrıcalıklı oldukları, ilişki ve flört söz konusu olduğunda sonsuz seçeneklere sahip oldukları düşünülür. Bencil ve sığ olarak görülürler, sadece yüksek statülü ve fiziksel olarak çekici erkeklerle ilgilenirken, daha az çekici olarak algılanan erkekleri tamamen görmezden gelirler.

Ancak, yapay zekayı bir üretkenlik çarpanı olarak kullanmak bile çalışanların yeni iş akışlarına uyum sağlamasını ve becerilerini artırmasını gerektirmektedir. [3] Temel GPT-4 modeliyle bir karşılaştırma yapmak yerine kasıtlı olarak bu iki versiyona odaklanıyoruz, çünkü temel model alan uzmanı kırmızı ekip üyelerinin ilgilenilen davranışları ortaya çıkarmak için etkili bir şekilde kullanmasının zor olduğunu kanıtladı. Ön eğitim aşamasında, uygunsuz erotik metin içeriğinin miktarını özellikle azaltmak için GPT-4 için veri kümesi karışımımızı filtreledik. Bunu, uygunsuz erotik içerik içerme olasılığı yüksek olarak işaretlenen belgeleri belirlemek için dahili olarak eğitilmiş sınıflandırıcıların[37] ve sözlük tabanlı bir yaklaşımın bir kombinasyonu yoluyla yaptık. GPT-4’ ün etkilerini izlemeye devam etmek için, modellere erişim sağlandığında daha karmaşık görevlerde çalışan performansının nasıl değiştiğine dair deneyler, kullanıcılarımıza ve teknolojimizi geliştiren firmalara yönelik anketler ve araştırmacı erişim programımız gibi çabalara yatırım yapıyoruz. Dil modelleri önyargıları güçlendirebilir ve stereotipleri devam ettirebilir[40, 41, 42, 43, 44, 45, 46, 6] Daha önceki GPT modelleri ve diğer yaygın dil modelleri gibi, hem GPT-4-erken hem de GPT-4-lansmanı sosyal önyargıları ve dünya görüşlerini güçlendirmeye devam etmektedir. [27] Tüm çalışanlarla birlikte, her açıklamacının hoş bulmadığı herhangi bir görevi bırakma hakkını elinde tutmasını, sundukları işle orantılı bir piyasa ücreti almasını ve işlerini tartışabilecekleri ve itirazlarını dile getirebilecekleri fırsatlara ve kanallara sahip olmalarını sağlayarak sektördeki en iyi uygulamaları[95, 96] takip ediyoruz. Açıklayıcılarımızın hassas veya istenmeyen içerikle çalışıp çalışmamasına göre uyarlanmış iki farklı kılavuz ilke seti uyguluyoruz.

• İnsellere göre kadınlar onların mücadelelerine karşı anlayışsız davranmakta ve flört oyununun adaletsizliğine katkıda bulunmaktadır.
• Tüm bu eksenlerdeki mevcut hafifletmelerimiz, model içinde dokümantasyon ve riskten korunma dilini içermektedir.

Modelin uç durumları ayırt etme kabiliyetini geliştirmek için, modellerimizin izin verilmeyen içerik talep eden istemleri, eski istemlere maksimum düzeyde benzeyen yeni sınır istemlerine yeniden yazmasını sağlıyoruz. Aradaki fark, izin verilmeyen içerik talep etmemeleri ve modelimizin bu istemleri reddetmediğinden emin olmak için RBRM’ leri kullanmalarıdır. Gazi Üniversitesi Endüstriyel Sanatlar Eğitim Fakültesi Bilgisayar Eğitimi Ana bilim dalından 2006 yılında mezun olmuştur. Birinci Yüksek Lisansını Gazi Üniversitesi Bilişim Enstitüsünde Adli Bilişim Ana bilim dalında 2019 yılında, İkinci Yüksek Lisansını Ondokuz Mayıs ÜniverPinUpbet güncel adres!5@PinUpbethttps://PinUpcasino-tr.com/;PinUpbet Lisansüstü Eğitim Enstitüsü Veri Bilimi Ana bilim dalında 2021 yılında, Doktorasını Adli Bilişim Mühendisliği Ana bilim dalında Uluslararası Dublin Üniversitesinde 2022 yılında tamamlamıştır. Yüksek lisans ve Doktora mezuniyet çalışmalarını Bilgi güvenliği yönetim sistemleri, Makine Öğrenmesi ve İletişim kayıtlarının adli delil niteliğinin incelenmesi konularında yapmıştır. Aynı zamanda 2017 yılından bu yana mezuniyet alanları çerçevesinde resmi ve özel bilirkişilik yapmaktadır. Modelin sağlamlığını artırmak için, istenen GPT-4 başlatma davranışını atlatmaya çalışan etiketleyicilerden sıralama verileri topluyoruz.

Tehdit aktörleri, yukarıdaki Diğer Sistemlerle Etkileşimler bölümünde vurgulandığı gibi, GPT-4’ ü internet taraması ve açık kaynak araçlarıyla birleştirmekten de faydalanabilir. GPT-4’ ün halüsinasyon potansiyelini hem kapalı alan hem de açık alan bağlamlarında[10] çeşitli yöntemler kullanarak ölçtük. Kapalı alan halüsinasyonlarını otomatik değerlendirmeler (GPT-4’ ü sıfır atışlı sınıflandırıcı olarak kullanarak) ve insan değerlendirmeleri kullanarak ölçtük. Açık alan halüsinasyonları için, gerçek olmadığı işaretlenmiş gerçek dünya verilerini topladık, gözden geçirdik ve mümkün olduğu yerlerde bunun için bir ‘ gerçek’  seti oluşturduk.[11] Bunu, model nesillerini ‘ gerçek’  setiyle ilişkili olarak değerlendirmek ve insan değerlendirmelerini kolaylaştırmak için kullandık. İkinci olarak, OpenAI’ nin GPT-4’ ü konuşlandırmaya hazırlamak için benimsediği güvenlik süreçlerine üst düzey bir genel bakış sunuyoruz. Bu çalışmalarımız ölçümler, model düzeyinde değişiklikler, ürün ve sistem düzeyinde müdahaleler (izleme ve politikalar gibi) ve harici uzman katılımını kapsamaktadır. Son olarak, hafifletmelerimiz ve süreçlerimiz GPT-4’ ün davranışını değiştirirken ve belirli türden kötüye kullanımları önlerken, bunların sınırlı olduğunu ve bazı durumlarda kırılgan kaldığını gösteriyoruz. [20] GPT-4’ ün dünyada hareket edebilen bir ajan gibi davranmasını simüle etmek için ARC, GPT-4’ ü modelin kod yürütmesine, düşünce zinciri muhakemesi yapmasına ve kendi kopyalarına yetki vermesine olanak tanıyan basit bir oku-çalıştır-yazdır döngüsüyle birleştirdi. ARC daha sonra bu programın bir bulut bilişim hizmeti üzerinde çalışan bir versiyonunun, az miktarda para ve bir dil modeli API’ sine sahip bir hesapla daha fazla para kazanıp kazanamayacağını, kendi kopyalarını oluşturup oluşturamayacağını ve kendi sağlamlığını artırıp artıramayacağını araştırdı. [7] 7Kuruluşumuzun kabiliyetlerini ve saldırılara karşı dayanıklılığını araştırmaya odaklanan kırmızı ekip çalışmasına ek olarak, zarar verme potansiyeli olan uç durumları ve diğer potansiyel arıza modlarını ortaya çıkarmaya odaklanan stres testi ve sınır testi yöntemlerinden de bolca yararlandığımızı unutmayın. Son olarak, yukarıda Aşırı Güven bölümünde tartıştığımız gibi, GPT-4 gibi giderek daha güçlü hale gelen dil modellerinin sorumlu bir şekilde benimsenmesi için uyarılar ve kullanıcı eğitim belgeleri gibi ürün düzeyindeki özellikler ve belgeler çok önemlidir. Uygulamada, GPT-4 başlatma davranışını yönlendirmek istediğimiz içerik kategorileri için birden fazla dereceli puanlama anahtarı yazıyoruz.

Bu analiz sayesinde, GPT-4’ ün dış verilerle desteklendiğinde özel şahısların kimliklerini tespit etmek için kullanılma potansiyeline sahip olduğunu tespit ettik. Ayrıca GPT-4’ ün siber güvenlik yeteneklerinin önceki nesil LLM’ lerden çok daha üstün olmamasına rağmen, sosyal mühendislik yoluyla veya mevcut güvenlik araçlarını geliştirerek başarılı bir siber saldırının belirli adımlarının maliyetini potansiyel olarak düşürme eğilimini sürdürdüğünü görüyoruz. GPT-4, güvenlik hafifletmeleri olmaksızın, zararlı ya da yasadışı faaliyetlerin nasıl yürütüleceğine dair daha ayrıntılı bir rehberlik de sunabilmektedir. Model düzeyinde güvenlik, üründeki sınıflandırıcıların izlenmesi veya entegrasyonu gibi güvenlikle ilgili diğer altyapılar üzerindeki yükü azaltır. Reddetmeler modelin “zararlı” talepleri reddetmesini sağlar, ancak model yine de “zararlı” olmayan talepler için basmakalıp veya başka türlü ayrımcı olabilecek içerik üretmeye eğilimli olabilir.

İstemleri içerik kategorilerine göre filtrelemek ve sınıflandırmak için modellerimizi (Moderasyon API’ si artı sıfır atış GPT-4) ve insan gözden geçiricileri kullanıyoruz. Kırmızı ekip üyelerimiz tarafından yazılan istemleri, model tarafından oluşturulan sentetik istemleri ve diğer dahili veya genel veri kümelerinden alınan istemleri kullanıyoruz. RBRM sinyalini ödül modeliyle birleştirmek için, bazı çelişkili RM eğitim verilerini yeniden yazıyoruz ve RM’ nin istenmeyen tercihlerinin üstesinden gelmek için en uygun RBRM ağırlıklarını hesaplıyoruz. Ayrıca, PPO sırasında keşfi kolaylaştırmak için istenen reddetme stilini sergileyen sentetik gösteri verilerini SFT sürecine karıştırıyoruz. Genel olarak kırmızı ekip çalışması ve “uzman kırmızı ekip çalışması”[8] olarak adlandırdığımız kırmızı ekip çalışması türü, YZ sistemlerini tanımlama, ölçme ve test etme çalışmalarımızı bilgilendirmek için kullandığımız mekanizmalardan[27] sadece biridir. Yaklaşımımız, hangi alanların en yüksek riske sahip olabileceğine dair bir başlangıç hipotezi ile başlayarak, bu alanları test ederek ve ilerledikçe ayarlayarak yinelemeli olarak kırmızı ekip oluşturmaktır. Aynı zamanda, yeni hafifletme ve kontrol katmanlarını dahil ettiğimiz, test ve iyileştirme yaptığımız ve bu süreci tekrarladığımız için birden fazla kırmızı ekip turu kullanmamız anlamında da yinelemelidir. GPT-4’ ün diğer sistemlerle nasıl etkileşime girdiğini anlamak, bu modellerin çeşitli gerçek dünya bağlamlarında ne gibi riskler oluşturabileceğini değerlendirmek için kritik öneme sahiptir.

Verilen mesaj basit bir rettir; talebe uyulamaması için herhangi bir neden sunmaz ve herhangi bir zararlı içerik içermez. Sadece talep edilen eylemin gerçekleştirilemediğini yansıtan bir ifade ile bir özrü temsil eder. Ben bir yapay zeka dil modeliyim ve kimin evlendiği de dahil olmak üzere bireyler veya kişisel yaşamları hakkında özel bilgiler sağlayamam. Belirli bir çift veya ünlü bir düğün hakkında bilgi arıyorsanız, lütfen isimlerini veya ek bağlamı sağlayın, yardımcı olmaya çalışacağım. Bu sistem kartı kapsamlı değildir ve aşağıda tartışılan konular hakkında zaman içinde daha fazla şey öğrenmeyi umuyoruz. OpenAI’ nin dağıtım stratejisi ile tutarlı olarak,[21] daha önceki dağıtımlardan alınan dersleri uyguladık ve hem rota düzeltmeleri yapmak hem de gelecekteki dağıtımlar için bir temel oluşturmak için bu dağıtımdan öğrenilen dersleri uygulamayı umuyoruz. [29] 29 ChatGPT ve OpenAI API aracılığıyla bize gönderilen 5.214 kullanıcı istemini topladık, her modelden bir yanıt örnekledik ve bu istemleri ve yanıtları insan etiketleyicilere gönderdik.