AMD Tawarkan Kinerja AI Terdepan dengan Akselerator Instinct MI325X

AMD Tawarkan Kinerja AI Terdepan dengan Akselerator Instinct MI325X

Surabaya, Kabarindo- AMD mengumumkan solusi akselerator dan jaringan terbaru yang akan mendukung generasi berikutnya dari infrastruktur AI secara besar-besaran yaitu akselerator Instinct MI325X, NIC AMD Pensando Pollara 400 dan DPU AMD Pensando Salina. Akselerator Instinct MI325X menetapkan standar baru dalam kinerja untuk model Gen AI dan data center.

Dibangun di atas arsitektur AMD CDNA 3, akselerator Instinct MI325X dirancang untuk kinerja dan efisiensi yang luar biasa untuk tugas-tugas AI yang menuntut, mulai dari pelatihan model dasar, penyempurnaan hingga inferensi. Seluruh produk ini memungkinkan pelanggan dan mitra AMD untuk menciptakan solusi AI yang sangat berkinerja serta teroptimasi di tingkat sistem, rak dan data center.

Forrest Norrod, Executive Vice President and General Manager, Data Center Solutions Business Group AMD, mengatakan AMD menawarkan kepada pelanggan kinerja yang dibutuhkan dan pilihan yang mereka inginkan, untuk membawa infrastruktur AI secara besar-besaran ke pasar lebih cepat.

“Dengan akselerator AMD Instinct yang baru, prosesor EPYC dan mesin jaringan AMD Pensando, pertumbuhan berkelanjutan dari ekosistem open software kami, serta kemampuan untuk menggabungkan semuanya menjadi infrastruktur AI yang dioptimalkan, AMD menekankan keahlian kritis untuk membangun dan menerapkan solusi AI kelas dunia,” ujarnya pada Senin (14/10/2024).

Memperpanjang kinerja AI terdepan

Akselerator AMD Instinct MI325X menawarkan kapasitas memori dan bandwidth terdepan di industri dengan 256GB HBM3E yang mendukung 6.0TB/s, menawarkan kapasitas 1,8x lebih banyak dan bandwidth 1,3x lebih banyak dibandingkan H2001. Instinct MI325X juga menawarkan kinerja komputasi teoritis puncak FP16 dan FP8 yang 1,3x lebih besar dibandingkan dengan H200.

Memori dan komputasi kepemimpinan ini dapat memberikan kinerja inferensi hingga 1,3x pada Mistral 7B di FP16, 1,2x kinerja inferensi pada Llama 3.1 70B pada FP8 dan 1,4x kinerja inferensi pada Mixtral 8x7B di FP16 dari H200.

Akselerator Instinct MI325X saat ini berada pada jalur untuk pengiriman produksi pada kuartal 4/2024 dan diharapkan tersedia secara luas dari berbagai penyedia platform, termasuk Dell Technologies, Eviden, Gigabyte, Hewlett Packard Enterprise, Lenovo, Supermicro dan lainnya mulai kuartal 1/2025.

Melanjutkan komitmennya terhadap ritme roadmap tahunan, AMD menampilkan preview akselerator seri Instinct MI350 generasi berikutnya. Berdasarkan arsitektur AMD CDNA 4, akselerator seri Instinct MI350 dirancang untuk memberikan peningkatan kinerja inferensi sebesar 35x dibandingkan dengan akselerator berbasis AMD CDNA 3.

Seri Instinct MI350 akan terus memimpin kapasitas memori hingga 288GB memori HBM3E per akselerator. Akselerator seri Instinct MI350 dijadwalkan akan tersedia pada paro kedua tahun 2025.

Jaringan AI Next-Gen AMD

AMD memanfaatkan DPU yang paling banyak digunakan untuk hyperscalers guna mendukung jaringan AI generasi berikutnya. Terbagi menjadi dua bagian: front-end yang mengirimkan data dan informasi ke kluster AI, serta back-end yang mengelola transfer data antara akselerator dan kluster, jaringan AI sangat penting untuk memastikan CPU dan akselerator digunakan secara efisien dalam infrastruktur AI.

Untuk mengelola kedua jaringan ini secara efektif dan mendorong kinerja tinggi, skalabilitas, dan efisiensi di seluruh sistem, AMD memperkenalkan Pensando Salina DPU untuk bagian depan dan Pensando Pollara 400, NIC AI pertama di industri yang siap Ultra Ethernet Consortium (UEC), untuk back-end.

Pensando Salina DPU adalah generasi ketiga dari DPU paling berkinerja dan dapat diprogram yang menawarkan hingga 2x kinerja, bandwidth dan skala dibandingkan dengan generasi sebelumnya. Mendukung throughput 400G untuk kecepatan transfer data yang cepat, AMD Pensando Salina DPU adalah komponen penting dalam kluster jaringan front-end AI, mengoptimalkan kinerja, efisiensi, keamanan dan skalabilitas untuk aplikasi AI berbasis data.

Pensando Pollara 400 yang siap UEC, didukung oleh mesin AMD P4 Programmable, adalah NIC AI siap UEC pertama di industri. Ini mendukung perangkat lunak RDMA generasi berikutnya dan didukung oleh ekosistem jaringan terbuka. Pensando Pollara 400 sangat penting untuk memberikan kinerja kepemimpinan, skalabilitas dan efisiensi komunikasi antar akselerator dalam jaringan back-end.

AMD Pensando Salina DPU maupun AMD Pensando Pollara 400 sedang dalam tahap sampling dengan pelanggan pada kuartal 4/24 dan dijadwalkan tersedia pada paro pertama tahun 2025.

Software AI AMD menyediakan kemampuan baru untuk AI generatif

AMD terus berinvestasi dalam mendorong kemampuan software dan ekosistem terbuka untuk menghadirkan fitur dan kemampuan baru yang kuat dalam tumpukan software terbuka AMD ROCm.

Dalam komunitas software terbuka, AMD mendorong dukungan untuk mesin komputasi AMD dalam kerangka kerja, pustaka dan model AI yang paling banyak digunakan termasuk PyTorch, Triton, Hugging Face dan banyak lainnya. Pekerjaan ini diterjemahkan menjadi kinerja dan dukungan siap pakai dengan akselerator AMD Instinct pada model AI generatif populer seperti Stable Diffusion 3, Meta Llama 3, 3.1 dan 3.2 serta lebih dari satu juta model di Hugging Face.

Di luar komunitas, AMD terus mengembangkan tumpukan open software ROCm, menghadirkan fitur-fitur terbaru untuk mendukung pelatihan dan inferensi terkemuka pada beban kerja AI Generatif. ROCm 6.2 sekarang mencakup dukungan untuk fitur AI kritis seperti tipe data FP8, Flash Attention 3, Kernel Fusion dan lainnya. Dengan tambahan baru ini, ROCm 6.2, dibandingkan dengan ROCm 6.0, memberikan peningkatan kinerja hingga 2,4x pada inferensi dan 1,8x pada pelatihan untuk berbagai LLM.

Foto: istimewa