ทีมวิจัย MedARC ประกาศผลการพัฒนาปัญญาประดิษฐ์ MindEye ที่สามารถหาว่ามนุษย์มองภาพอะไรอยู่ จากจข้อมูล fMRI ที่ดูการทำงานของสมองระหว่างมองภาพ และใช้ปัญญาประดิษฐ์สร้างภาพขึ้นมาจนคล้ายภาพที่มนุษย์มองเห็นได้จริงๆ

MindEye รับข้อมูลจาก fMRI เป็นข้อมูล 15,000 voxel แล้วแปลงเป็น embedding สามารถเลือกภาพจากภาพตัวอย่างที่ให้มนุษย์มอง 982 ภาพได้ความแม่นยำ 93.2% และเมื่อหาภาพจากฐานข้อมูล LAION-5B จำนวนกว่า 5 พันล้านภาพก็ยังได้ภาพที่ใกล้เคียงกันมาก ทีมงานนำเอาท์พุตจาก MindEye ไปใส่ปัญญาประดิษฐ์สร้างภาพเพื่อสร้างภาพที่ได้ค่า embedding ใกล้เคียงกันก็ทำให้ได้ภาพที่คล้ายกับภาพที่มนุษย์กำลังมองอยู่ยิ่งขึ้น

ข้อจำกัดของ MindEye คือต้องฝึกโมเดลแยกกันระหว่างผู้ร่วมทดลองแต่ละคน โดยต้องอยู่ในเครื่อง MRI เพื่อจับภาพระหว่างการมองภาพตัวอย่างเป็นเวลา 40 ชั่วโมงเพื่อฝึกโมเดล

งานวิจัยนี้เป็นงานร่วมกันระหว่าง ระหว่างหน่วยงานวิจัยหลายหน่วยงาน โดยทาง Stability.AI สนับสนุนคอมพิวเตอร์ประมวลผล

ที่มา – Stability.AI