183
TII (หรือ Technology Innovation Institute) เป็นสถาบันเทคโนโลยีของอาบูดาบี ได้เปิดตัวโมเดล Falcon ที่ขนาด 180 พันล้านพารามิเตอร์ ในชื่อ Falcon 180B ที่ถูกฝึกบนชุดข้อมูลกว่า 3.5 ล้านล้านโทเคน (จำนวนหน่วยย่อยของคำในทางงานประมวลผลภาษาธรรมชาติ) บนการ์ดจอ 4,096 ตัว ด้วยเวลาประมาณ 7,000,000 ชั่วโมงของการ์ดจอ หลังจากที่เคยเปิดตัว Falcon 40B มาก่อนโดน Llama 2 แซงในเวลาต่อมาด้วยขนาด 70 พันล้านพารามิเตอร์ที่ใหญ่กว่า
นอกจากนี้ Falcon 180B ทำคะแนนวัดผลบน Hugging Face Leaderboard ได้ 68.74 คะแนน สูงกว่า Llama 2 ขนาด 70B ที่ทำคะแนนไปได้ 67.35 และสามารถทำคะแนนได้ใกล้เคียงกับ PaLM 2 Large ของ Google
สามารถเข้าไปทดลองเล่นได้ที่ tiiuae/falcon-180b-chat และโมเดลบน Hugging Face
ที่มา: Spread Your Wings: Falcon 180B is here – Hugging Face
Topics: