Replit ผู้ให้บริการ IDE บนเว็บที่เคยสร้างปัญญาประดิษฐ์ช่วยเขียนโค้ดเพื่อใช้ในบริการของตัวเอง หันมาเปิดโมเดล Replit Code V1.5 โมเดลปัญญาประดิษฐ์ขนาด 3.3 พันล้านพารามิเตอร์ที่ออกแบบเพื่อการเติมโค้ด (code completion) โดยเฉพาะ

ตัวโมเดลแม้จะมีขนาดเล็กแต่ฝึกด้วยข้อมูลปริมาณมาก รวมกว่า 1 ล้านล้านโทเค็นจากชุดข้อมูล The Stack และ Stack Exchange จากนั้นนำมา finetune ด้วยชุดข้อมูลโค้ดที่เปิดเป็นสาธารณะบน Replit เอง

ผลทดสอบพบว่าเวอร์ชั่นที่ finetune แล้วทำได้ดีกว่า CodeLlama 7B ที่ขนาดใหญ่กว่ายกเว้นภาษา Java ที่ finetine แล้วคะแนนกลับแย่ลง

ด้วยขนาด 3.3 พันล้านพารามิเตอร์ทำให้มีโอกาสที่องค์กรต่างๆ จะนำโมเดลนี้ไปรันภายในองค์กรเองโดยใช้การ์ดจอรุ่นไม่แพงมาก และทาง Replit ปล่อยโมเดลนี้เป็นไลเซนส์ Apache 2.0 ไม่จำกัดการใช้งานแม้จะเป็นการใช้งานเพื่อแสวงหากำไรก็ตาม

ที่มา – Replit