Meta ประกาศโอเพนซอร์ส ImageBind เครื่องมือ AI ที่เรียนรู้การเชื่อมโยงของข้อมูลผ่าน 6 วิธีการ ได้แก่ ตัวหนังสือ (Text), ภาพ-วิดีโอ, เสียง (Audio), มิติความลึก (Depth), อุณหภูมิ (Heat Map) และการเคลื่อนไหว (IMU) ซึ่งการเรียนรู้แบบนี้จะทำให้เข้าใจความสัมพันธ์สิ่งต่าง ๆ ที่ซับซ้อนขึ้น ทำให้ใกล้เคียงวิธีคิดของสมองมนุษย์ขึ้นไปอีกขั้น

จุดเด่นของ ImageBind คือไม่ต้องเทรนความสัมพันธ์ทั้ง 6 ส่วนในชุดข้อมูลเดียว แต่สามารถเรียนรู้เป็นส่วน ๆ แล้วสามารถนำมาประกอบขึ้นเป็นข้อมูลใหม่ได้ ทำให้กระบวนการพัฒนาไม่ต้องใช้ข้อมูลเต็มรูปแบบตลอด

ตัวอย่างที่สาธิต เช่น เมื่อประกอบข้อมูลภาพนก และเสียงมอเตอร์ไซด์ เพื่อสร้างภาพใหม่ขึ้นมา ImageBind จะรู้ว่าเสียงมอเตอร์ไซด์เป็นภาพมอเตอร์ไซด์ ขณะเดียวกันเสียงนั้นกับนก ภาพที่ออกมานกควรจะบินแตกตื่นเป็นต้น รูปแบบนี้ทำให้เครื่องมือสร้างรูปภาพ Make-A-Scene ของ Meta สามารถพัฒนาโดยรับอินพุทที่ซับซ้อนขึ้นได้

ในอนาคต Meta มีแผนพัฒนาการเรียนรู้ข้อมูลในวิธีการอื่นที่ซับซ้อนแบบสมอง เช่น สัมผัส กลิ่น และอื่น ๆ สามารถดูรายละเอียดเปเปอร์ของ ImageBind ได้จากที่มา

ที่มา: Meta