Friday, June 14, 2024
Technology

AMD วางขาย Instinct MI300A/MI300X รัน LLaMA-2 70B ได้ในชิปเดียว – SMS Marketing ราคาถูกที่สุด

68views

AMD เริ่มส่งมอบชิปตระกูล Instinct MI300 ตามที่เปิดตัวไปเมื่อต้นปีที่ผ่านมา โดยแบ่งออกเป็นสองรุ่นย่อย คือ MI300A ที่เป็น APU มีซีพียูในตัว และ MI300X ที่เป็นชิปเร่งความเร็วอย่างเดียว

MI300A มาพร้อมแรม HBM3 ขนาด 128GB เน้นปรับปรุงประสิทธิภาพต่อพลังงานดีขึ้น 1.9 เท่าเทียบกับ MI250X รุ่นก่อนหน้า

MI300X เป็นชิปเร่งความเร็วสถาปัตยกรรม CDNA 3 เพิ่มหน่วยประมวลผล 40% ขยายแบนวิดท์หน่วยความจำ 1.7 เท่า ใส่แรม HBM3 192GB และรองรับข้อมูลแบบ FP8 หน่วยความจำที่สูงขึ้นทำให้สามารถรันโมเดล LLaMA-2 70B ได้ในชิปเดียว สำหรับองค์กรที่ต้องการรัน LLM อยู่ภายในองค์กรเอง

นอกจากชิปทั้งสองตัวแล้ว AMD ยังเปิดชุด SDK สำหรับพัฒนาปัญญาประดิษฐ์ ROCm เวอร์ชั่น 6 เพิ่มฟังก์ชั่นในกลุ่ม LLM เช่น FlahAttention, HIPGraph, และ vLLM โดยที่ผ่านมาผู้พัฒนา LLM เริ่มหันมาใช้ AMD กันมากขึ้น เช่น Lamini หรือ MosaicML

งานประกาศครั้งนี้มีผู้ให้บริการคลาวด์และผู้ผลิตเซิร์ฟเวอร์ออกมาตอบรับนำชิป M300 ไปขายหรือให้บริการกันจำนวนมาก ที่น่าแปลกใจรายหนึ่งคือ Meta ออกมาระบุว่าเริ่มใช้ MI300X กับ ROCm 6 แล้ว

ที่มา – AMD

Bulk SMS และ SMS OTP

ราคาถูกพิเศษ สำหรับปริมาณมาก ติดต่อ LINE @deecom

Generated by Feedzy