SCB 10X เปิดตัว Typhoon-7b เป็นโมเดลสร้างข้อความ หรือ LLM ภาษาไทยที่เอาชนะโมเดลทุกตัวในภาษาไทยตอนนี้ และมีประสิทธิภาพเทียบเท่ากับ GPT-3.5 ในภาษาไทย

การวัดผลประสิทธิภาพของโมเดลในภาษาไทย ทาง SCB 10X ได้พัฒนาชุดทดสอบวัดผลประสิทธิภาพโมเดล LLM ภาษาไทยชื่อ ThaiExam โดยวัดด้วยข้อสอบสำหรับเด็กมัธยมศึกษาตอนปลายและข้อมูลด้านการลงทุนจากผู้เชี่ยวชาญด้านการลงทุนในประเทศไทย พบว่าประสิทธิภาพโมเดล Typhoon-7b เหนือกว่าทุกโมเดลที่ปล่อยฟรีในภาษาไทยและมีคะแนนเทียบเท่ากับ GPT-3.5

นอกจากนี้ ทาง SCB 10X ได้ปล่อยโมเดลให้ใช้งานฟรี (Apache License 2.0) เป็นโมเดลพื้นฐานที่ยังไม่ผ่านการ fine tuning ใด ๆ หากใครต้องการนำไปใช้งาน แนะนำให้ fine tuning ด้วยข้อมูลที่ต้องการก่อนนำไปใช้งานจริง

รายละเอียดเชิงลึก โมเดลพัฒนาต่อมาจาก Mistral-7B โดยใส่ภาษาไทยเข้าไป 5 พันคำ แล้วเทรนโมเดลต่อจากเดิมด้วย LoRA ผลการทดลองพบว่า โมเดล Typhoon-7b สามารถประหยัดจำนวนคำ (token) ภาษาไทยได้มากกว่า GPT-4 ถึง 2.62 เท่า

โมเดลบน HF: https://huggingface.co/scb10x/typhoon-7b

ที่มา: Typhoon: Thai Large Language Models