Salesforce AI Research ประกาศผลงานการฝึกปัญญาประดิษฐ์ XGen-7B เป็นปัญญาประดิษฐ์แบบโอเพนซอร์สที่สามารถใช้งานได้อิสระ โดยชูจุดเด่นที่คุณภาพสูงเหนือปัญญาประดิษฐ์ในกลุ่มโอเพนซอร์สด้วยกัน เช่น MPT-7B หรือ Falcon-7B

XGen-7B เทรนบนชิป TPU-v4 ของ Google Cloud ต้นทุนต่อการเทรนด้วยข้อมูล 1 ล้านล้านโทเค็นอยู่ที่ 150,000 ดอลลาร์

ตัวโมเดลเริ่มต้นด้วย XGen-7B-4K-base ฝึกสองรอบ รอบแรก 8 แสนล้านโทเค็น และอีกรอบ 4 แสนล้านโทเค็น โดยใช้ชุดข้อมูลเทรนขนาด 4,000 โทเค็น ซึ่งเหนือกว่าโมเดลโอเพนซอร์สอื่น ซึ่งมักเทรนด้วยข้อมูลชุดละ 2,000 โทเค็นเท่านั้น จากนั้นฝึกเพิ่มด้วยข้อมูลชุดละ 8,000 โทเค็น ไปอีก 3 แสนล้านโทเค็น ได้เป็น XGen-7B-8K-base ชุดสุดท้ายเป็นการจูนด้วยชุดคำถามตอบ โดยใช้คำถามที่ไม่ได้อนุญาตที่ใช้งานได้อิสระ โมเดลที่ได้เป็น XGen-7B Instruct เปิดให้ใช้งานเฉพาะการวิจัยเท่านั้น

คะแนนทดสอบหมวดต่างๆ ของ XGen-7B นั้นใกล้เคียงกับ Falcon-7B, MPT-7B แต่เมื่อทดสอบกับชุดทดสอบที่มีความยาว เช่น ชุดทดสอบการสรุปข้อมูลความยาวมากๆ คะแนนทดสอบก็สูงกว่าโมเดลคู่แข่งอย่างชัดเจน

ที่มา – Salesforce AI Research