ปัญญาประดิษฐ์สำหรับแปลงภาพเป็นข้อความเริ่มได้รับความนิยมและมีการใช้งานแพร่หลายทั้ง DALL·E, MidJourney, และ Stable Diffusion แต่ข้อจำกัดหนึ่งของปัญญาประดิษฐ์กลุ่มนี้คือมันไม่สามารถวาดข้อความลงในภาพได้ เมื่อผู้ใช้พยายามสั่งให้เขียนข้อความลงในส่วนของภาพก็มักจะเป็นคำมั่วๆ หรือบางทีก็ไม่เป็นตัวอักษรเลย ทาง Stability.AI ผู้สร้าง Stable Diffusion ก็เปิดตัว DeepFloyd IF ที่สามารถสร้างภาพพร้อมวาดข้อความที่กำหนดลงในภาพได้เลยในตัว

นอกจากความสามารถในการวางตัวอักษรแล้ว DeepFloyd IF ยังเหนือว่าโมเดลสร้างภาพอื่นๆ ได้แก่

เข้าใจคำสั่งละเอียดกว่าเดิม: ด้วยการใช้โมเดลภาษาขนาดใหญ่ T5-XXL-1.1 ขนาดถึง 11 พันล้านพารามิเตอร์ ในการอ่านข้อความคำสั่ง
ปรับปรุงภาพเหมือนภาพถ่ายมากกว่าเดิม คะแนน FID 6.66 นับว่าอยู่ 10 อันดับแรกของโมเดลที่ดีที่สุดในตอนนี้แล้ว
สร้างภาพที่สัดส่วนอื่นนอกจากสี่เหลี่ยมจตุรัสได้ แบบเดียวกับ MidJourney
แปลงภาพต้นฉบับเป็นภาพรูปแบบอื่น

ตัว DeepFloyd IF เป็นโมเดลปัญญาประดิษฐ์หลายตัวมาประกอบเข้าด้วยกัน ตั้งแต่โมเดลทำความเข้าใจข้อความ, สร้างภาพจากข้อความขนาดเล็ก, และการขยายภาพเป็นขนาดใหญ่

ตอนนี้ทาง Stability.AI ปล่อย DeepFloyd IF ให้ใช้งานเพื่อการวิจัยเท่านั้ แต่คาดว่าจะปล่อยให้ใช้งานได้ค่อนข้างอิสระต่อไปในอนาคต

ที่มา – [