Araştırmalar, ChatGPT gibi sohbet robotlarının performansının, eğitim veri kalitesinin düşmesi nedeniyle zaman içinde düşebileceğini göstermiştir.
· Makine öğrenimi modelleri, çıktılarının kalitesini önemli ölçüde azaltabilen veri zehirlenmesine ve model çökmelerine karşı hassastır.
Güvenilir bir içerik kaynağı, gelecekteki yapay zeka geliştiricileri için zorluklar yaratarak, chatbot performans düşüşünü önlemek için kritik öneme sahiptir.
Modern sohbet robotları sürekli olarak öğreniyor ve davranışları sürekli değişiyor, ancak performansları düşebilir veya iyileşebilir.
Son araştırmalar, ChatGPT'nin ve benzerlerinin geleceği üzerinde etkileri olan "öğrenmenin her zaman ilerleme anlamına geldiği" varsayımını alt üst ediyor. Yapay zeka (AI) geliştiricileri, sohbet robotlarını çalışır durumda tutmak için ortaya çıkan veri zorluklarını ele almalıdır.
ChatGPT zamanla aptallaşıyor
Yakın zamanda yayınlanan bir çalışma, sohbet robotlarının belirli görevleri zaman içinde daha az gerçekleştirebileceğini öne sürüyor.
Bu sonuca ulaşmak için araştırmacılar, Mart ve Haziran 2023'te büyük dil modeli (LLM) GPT-3.5 ve GPT-4'ün çıktılarını karşılaştırdı. Yalnızca üç ay içinde, ChatGPT'yi destekleyen modellerde çarpıcı değişiklikler gözlemlediler.
Örneğin, bu yılın Mart ayında GPT-4, asal sayıları %97,6 doğrulukla tespit edebildi. Haziran ayına kadar doğruluğu yüzde 2,4'e düştü.
Mart ve Haziran aylarında aynı soruya verilen GPT-4 (solda) ve GPT-3.5 (sağda) yanıtları (kaynak: arXiv)
Deney aynı zamanda modelin hassas soruları yanıtlama hızını, kod üretme yeteneğini ve görsel olarak akıl yürütme yeteneğini de değerlendirdi. Ekip, test ettikleri tüm becerilerde yapay zeka çıktı kalitesinin zamanla kötüleştiğini gözlemledi.
Gerçek zamanlı eğitim verileriyle ilgili zorluklar
Makine öğrenimi (ML), yapay zeka modellerinin büyük miktarda bilgiyi işleyerek insan zekasını taklit edebildiği bir eğitim sürecine dayanır.
Örneğin, modern sohbet botlarına güç veren LLM'nin geliştirilmesi, çok sayıda çevrimiçi havuzun mevcudiyetinden yararlandı. Bunlar, Wikipedia makalelerinden derlenen ve sohbet robotlarının şimdiye kadar oluşturulmuş en büyük insan bilgisini sindirerek öğrenmelerini sağlayan veri kümelerini içerir.
Ancak şimdi, ChatGPT gibi araçlar geniş çapta piyasaya sürülüyor. Geliştiriciler, sürekli değişen eğitim verileri üzerinde çok daha az kontrole sahiptir.
Sorun şu ki, bu tür modeller yanlış cevaplar vermeyi de "öğrenebilir". Eğitim verilerinin kalitesi düşerse çıktıları da düşer. Bu, sürekli bir web kazınmış içerik akışı gerektiren dinamik sohbet robotları için bir zorluk teşkil ediyor.
Veri zehirlenmesi, chatbot performansının düşmesine neden olabilir
Chatbot'lar web'den sıyrılan içeriğe güvenme eğiliminde olduklarından, veri zehirlenmesi olarak bilinen bir tür manipülasyona karşı özellikle savunmasızdırlar.
2016'da Microsoft'un Twitter botu Tay'ın başına gelen tam olarak buydu. ChatGPT'nin selefi, lansmanından 24 saatten daha kısa bir süre sonra kışkırtıcı ve saldırgan tweet'ler göndermeye başladı. Microsoft geliştiricileri hızla duraklattı ve baştan başladı.
Görünen o ki, siber troller botu en başından spamlayarak, halkla olan etkileşimlerinden öğrenme yeteneğini manipüle ediyor. 4 kanal ordusu tarafından taciz edildikten sonra Tay'ın nefret söylemlerini tekrarlamaya başlaması şaşırtıcı değil.
Tay gibi, çağdaş sohbet robotları da çevrelerinin bir ürünüdür ve benzer saldırılara karşı savunmasızdır. LLM'nin geliştirilmesinde çok önemli olan Wikipedia bile makine öğrenimi eğitim verilerini zehirlemek için kullanılabilir.
Ancak kasıtlı olarak bozulmuş veriler, chatbot geliştiricilerinin dikkatli olması gereken tek yanlış bilgi kaynağı değildir.
**Model Crash: Chatbot'lar için Saatli Bomba mı? **
Yapay zeka araçlarının artan popülaritesi ile yapay zeka tarafından üretilen içerik de çoğalıyor. Ancak, makine öğrenimi tarafından giderek daha fazla içeriğin kendisi oluşturulursa, web kazıma veri kümeleri konusunda eğitilmiş LL.M.'lere ne olur?
Bu soru, özyinelemenin makine öğrenimi modelleri üzerindeki etkisine ilişkin yakın tarihli bir ankette araştırıldı. Bulduğu yanıtların üretken yapay zekanın geleceği için önemli etkileri var.
Araştırmacılar, AI tarafından üretilen materyal eğitim verisi olarak kullanıldığında, makine öğrenimi modellerinin daha önce öğrendiklerini unutmaya başladığını keşfetti.
"Model çöküşü" terimini icat ettiler ve farklı AI ailelerinin, insan yapımı içeriğe maruz kaldıklarında dejenere olma eğiliminde olduğuna dikkat çektiler.
Bir deneyde ekip, görüntü oluşturan makine öğrenimi modeli ile çıktısı arasında bir geri bildirim döngüsü oluşturdu.
Gözlemden sonra, her yinelemeden sonra modelin kendi hatalarını artırdığını ve orijinal olarak insanlar tarafından üretilen verileri unutmaya başladığını gördüler. 20 döngüden sonra, çıktı neredeyse orijinal veri kümesine benzer.
Görüntü oluşturma ML modelinin çıktısı (kaynak: arXiv)
Araştırmacılar, LL.M ile benzer bir senaryo gerçekleştirirken aynı bozulma eğilimini gözlemlediler. Ayrıca, her yinelemede, tekrarlanan ifadeler ve bozuk konuşma gibi hatalar daha sık meydana gelir.
Buna göre çalışma, ChatGPT'nin gelecek nesillerinin model çökmesi riski altında olabileceğini tahmin ediyor. Yapay zeka giderek daha fazla çevrimiçi içerik üretirse, sohbet robotlarının ve diğer üretken makine öğrenimi modellerinin performansı kötüleşebilir.
Chatbot performans düşüşünü önlemek için ihtiyaç duyduğunuz güvenilir içerik
İleriye dönük olarak, düşük kaliteli verilerin aşağılayıcı etkilerini önlemek için güvenilir içerik kaynakları giderek daha önemli hale gelecektir. Makine öğrenimi modellerini eğitmek için gerekenlere erişimi kontrol eden şirketler, daha fazla inovasyonun anahtarını elinde tutuyor.
Ne de olsa milyonlarca kullanıcısı olan teknoloji devlerinin yapay zeka alanında büyük isimler olması tesadüf değil.
Yalnızca geçen hafta Meta, LLM Llama 2'nin en son sürümünü yayınladı, Google, Bard için yeni özellikler sundu ve Apple'ın mücadeleye girmeye hazırlandığı bildirildi.
Veri zehirlenmesi, model bozulmasının erken belirtileri veya diğer faktörlerden kaynaklansın, performans düşüşü tehdidi chatbot geliştiricileri tarafından göz ardı edilemez.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Chatbot performans düşüşü: Veri zorlukları, yapay zekanın geleceğini oluşturmakla tehdit ediyor
Bu makale kısaca:
Araştırmalar, ChatGPT gibi sohbet robotlarının performansının, eğitim veri kalitesinin düşmesi nedeniyle zaman içinde düşebileceğini göstermiştir.
· Makine öğrenimi modelleri, çıktılarının kalitesini önemli ölçüde azaltabilen veri zehirlenmesine ve model çökmelerine karşı hassastır.
Güvenilir bir içerik kaynağı, gelecekteki yapay zeka geliştiricileri için zorluklar yaratarak, chatbot performans düşüşünü önlemek için kritik öneme sahiptir.
Modern sohbet robotları sürekli olarak öğreniyor ve davranışları sürekli değişiyor, ancak performansları düşebilir veya iyileşebilir.
Son araştırmalar, ChatGPT'nin ve benzerlerinin geleceği üzerinde etkileri olan "öğrenmenin her zaman ilerleme anlamına geldiği" varsayımını alt üst ediyor. Yapay zeka (AI) geliştiricileri, sohbet robotlarını çalışır durumda tutmak için ortaya çıkan veri zorluklarını ele almalıdır.
ChatGPT zamanla aptallaşıyor
Yakın zamanda yayınlanan bir çalışma, sohbet robotlarının belirli görevleri zaman içinde daha az gerçekleştirebileceğini öne sürüyor.
Bu sonuca ulaşmak için araştırmacılar, Mart ve Haziran 2023'te büyük dil modeli (LLM) GPT-3.5 ve GPT-4'ün çıktılarını karşılaştırdı. Yalnızca üç ay içinde, ChatGPT'yi destekleyen modellerde çarpıcı değişiklikler gözlemlediler.
Örneğin, bu yılın Mart ayında GPT-4, asal sayıları %97,6 doğrulukla tespit edebildi. Haziran ayına kadar doğruluğu yüzde 2,4'e düştü.
Mart ve Haziran aylarında aynı soruya verilen GPT-4 (solda) ve GPT-3.5 (sağda) yanıtları (kaynak: arXiv)
Deney aynı zamanda modelin hassas soruları yanıtlama hızını, kod üretme yeteneğini ve görsel olarak akıl yürütme yeteneğini de değerlendirdi. Ekip, test ettikleri tüm becerilerde yapay zeka çıktı kalitesinin zamanla kötüleştiğini gözlemledi.
Gerçek zamanlı eğitim verileriyle ilgili zorluklar
Makine öğrenimi (ML), yapay zeka modellerinin büyük miktarda bilgiyi işleyerek insan zekasını taklit edebildiği bir eğitim sürecine dayanır.
Örneğin, modern sohbet botlarına güç veren LLM'nin geliştirilmesi, çok sayıda çevrimiçi havuzun mevcudiyetinden yararlandı. Bunlar, Wikipedia makalelerinden derlenen ve sohbet robotlarının şimdiye kadar oluşturulmuş en büyük insan bilgisini sindirerek öğrenmelerini sağlayan veri kümelerini içerir.
Ancak şimdi, ChatGPT gibi araçlar geniş çapta piyasaya sürülüyor. Geliştiriciler, sürekli değişen eğitim verileri üzerinde çok daha az kontrole sahiptir.
Sorun şu ki, bu tür modeller yanlış cevaplar vermeyi de "öğrenebilir". Eğitim verilerinin kalitesi düşerse çıktıları da düşer. Bu, sürekli bir web kazınmış içerik akışı gerektiren dinamik sohbet robotları için bir zorluk teşkil ediyor.
Veri zehirlenmesi, chatbot performansının düşmesine neden olabilir
Chatbot'lar web'den sıyrılan içeriğe güvenme eğiliminde olduklarından, veri zehirlenmesi olarak bilinen bir tür manipülasyona karşı özellikle savunmasızdırlar.
2016'da Microsoft'un Twitter botu Tay'ın başına gelen tam olarak buydu. ChatGPT'nin selefi, lansmanından 24 saatten daha kısa bir süre sonra kışkırtıcı ve saldırgan tweet'ler göndermeye başladı. Microsoft geliştiricileri hızla duraklattı ve baştan başladı.
Görünen o ki, siber troller botu en başından spamlayarak, halkla olan etkileşimlerinden öğrenme yeteneğini manipüle ediyor. 4 kanal ordusu tarafından taciz edildikten sonra Tay'ın nefret söylemlerini tekrarlamaya başlaması şaşırtıcı değil.
Tay gibi, çağdaş sohbet robotları da çevrelerinin bir ürünüdür ve benzer saldırılara karşı savunmasızdır. LLM'nin geliştirilmesinde çok önemli olan Wikipedia bile makine öğrenimi eğitim verilerini zehirlemek için kullanılabilir.
Ancak kasıtlı olarak bozulmuş veriler, chatbot geliştiricilerinin dikkatli olması gereken tek yanlış bilgi kaynağı değildir.
**Model Crash: Chatbot'lar için Saatli Bomba mı? **
Yapay zeka araçlarının artan popülaritesi ile yapay zeka tarafından üretilen içerik de çoğalıyor. Ancak, makine öğrenimi tarafından giderek daha fazla içeriğin kendisi oluşturulursa, web kazıma veri kümeleri konusunda eğitilmiş LL.M.'lere ne olur?
Bu soru, özyinelemenin makine öğrenimi modelleri üzerindeki etkisine ilişkin yakın tarihli bir ankette araştırıldı. Bulduğu yanıtların üretken yapay zekanın geleceği için önemli etkileri var.
Araştırmacılar, AI tarafından üretilen materyal eğitim verisi olarak kullanıldığında, makine öğrenimi modellerinin daha önce öğrendiklerini unutmaya başladığını keşfetti.
"Model çöküşü" terimini icat ettiler ve farklı AI ailelerinin, insan yapımı içeriğe maruz kaldıklarında dejenere olma eğiliminde olduğuna dikkat çektiler.
Bir deneyde ekip, görüntü oluşturan makine öğrenimi modeli ile çıktısı arasında bir geri bildirim döngüsü oluşturdu.
Gözlemden sonra, her yinelemeden sonra modelin kendi hatalarını artırdığını ve orijinal olarak insanlar tarafından üretilen verileri unutmaya başladığını gördüler. 20 döngüden sonra, çıktı neredeyse orijinal veri kümesine benzer.
Görüntü oluşturma ML modelinin çıktısı (kaynak: arXiv)
Araştırmacılar, LL.M ile benzer bir senaryo gerçekleştirirken aynı bozulma eğilimini gözlemlediler. Ayrıca, her yinelemede, tekrarlanan ifadeler ve bozuk konuşma gibi hatalar daha sık meydana gelir.
Buna göre çalışma, ChatGPT'nin gelecek nesillerinin model çökmesi riski altında olabileceğini tahmin ediyor. Yapay zeka giderek daha fazla çevrimiçi içerik üretirse, sohbet robotlarının ve diğer üretken makine öğrenimi modellerinin performansı kötüleşebilir.
Chatbot performans düşüşünü önlemek için ihtiyaç duyduğunuz güvenilir içerik
İleriye dönük olarak, düşük kaliteli verilerin aşağılayıcı etkilerini önlemek için güvenilir içerik kaynakları giderek daha önemli hale gelecektir. Makine öğrenimi modellerini eğitmek için gerekenlere erişimi kontrol eden şirketler, daha fazla inovasyonun anahtarını elinde tutuyor.
Ne de olsa milyonlarca kullanıcısı olan teknoloji devlerinin yapay zeka alanında büyük isimler olması tesadüf değil.
Yalnızca geçen hafta Meta, LLM Llama 2'nin en son sürümünü yayınladı, Google, Bard için yeni özellikler sundu ve Apple'ın mücadeleye girmeye hazırlandığı bildirildi.
Veri zehirlenmesi, model bozulmasının erken belirtileri veya diğer faktörlerden kaynaklansın, performans düşüşü tehdidi chatbot geliştiricileri tarafından göz ardı edilemez.