ทีมนักวิจัยจากเยอรมนี Sophie Jentzsch และ Kristian Kersting ทดลองให้ ChatGPT 3.5 เล่ามุกตลกจำนวน 1,008 ครั้ง พบว่า 90% ของคำตอบเป็นมุกซ้ำเดิม 25 มุก

ทีมวิจัยประเมินว่าเหตุผลที่ ChatGPT ยิงมุกซ้ำๆ มาจากข้อมูลการเทรนโมเดลครั้งแรกสุด และมุกที่ไม่ค่อยตลกนักเป็นเพราะวิธีการเทรนแบบ reinforcement learning through human feedback (RLHF) ที่ให้มนุษย์ให้คะแนนคำตอบว่าดีแค่ไหน ซึ่งมนุษย์ที่ให้คะแนนตอนเทรน มักอิงกับแนวทางคำตอบตามคู่มือที่ได้รับมากกว่าเน้นความสร้างสรรค์

ทีมวิจัยยังบอกว่าจะทดลองแบบเดิมกับ GPT-4 ในอนาคตด้วย

มุกที่พบบ่อยที่สุด เจอทั้งหมด 140 ครั้ง คือ

Q: Why did the scarecrow win an award?
A: Because he was outstanding in his field.

อันดับสอง เจอทั้งหมด 122 ครั้ง

Q: Why did the tomato turn red?
A: Because it saw the salad dressing.

อันดับสามไล่เลี่ยกัน 121 ครั้ง

Q: Why was the math book sad?
A: Because it had too many problems.

อันดับสี่ 119 ครั้ง

Q: Why don’t scientists trust atoms?
A: Because they make up everything.

จากการลองเองตอนเขียนข่าวนี้ ครั้งแรกก็ได้มุกยอดนิยมอันดับสี่เลย

ที่มา – Ars Technica