Akselerator AMD Instinct MI300X Dukung Beban Kerja Layanan Microsoft

Akselerator AMD Instinct MI300X Dukung Beban Kerja Layanan Microsoft

Untuk Microsoft Azure OpenAI dan Azure ND MI300X V5 VM terbaru

Surabaya, Kabarindo- AMD memamerkan kemampuan komputasi dan software end-to-end terbarunya untuk pelanggan dan pengembang Microsoft pada gelaran Microsoft Build di Santa Clara, California, AS, pada Rabu (22/5/2024).

Dengan menggunakan solusi AMD seperti akselerator AMD Instinct MI300X, open software ROCm, prosesor dan software AI Ryzen dan akselerator media Alveo MA35D, Microsoft mampu menyediakan rangkaian alat canggih untuk penerapan berbasis AI di berbagai pasar. Mesin virtual (WM) Microsoft Azure ND MI300X yang baru kini tersedia secara umum, memberikan pelanggan seperti Hugging Face, akses ke kinerja dan efisiensi yang mengesankan untuk beban kerja AI yang paling menuntut.

“Software AMD Instinct MI300X dan ROCm mendukung layanan Azure OpenAI Chat GPT 3.5 dan 4, yang merupakan salah satu beban kerja AI yang paling menuntut di dunia. Dengan ketersediaan umum mesin virtual baru dari Azure, pelanggan AI memiliki akses yang lebih luas ke MI300X untuk memberikan solusi berkinerja tinggi dan efisien untuk aplikasi AI.,” ujar Victor Peng, President, AMD.

Kevin Scott, Chief Technology Officer and Executive Vice President of AI Microsoft, menambahkan Microsoft dan AMD memiliki sejarah panjang dalam bermitra di berbagai platform komputasi. Pertama PC, kemudian silikon khusus untuk Xbox, HPC dan sekarang AI.

“Selama beberapa waktu terakhir, kami menyadari pentingnya menggabungkan hardware komputasi yang kuat dengan optimasi sistem dan software yang diperlukan untuk memberikan kinerja dan nilai AI yang luar biasa. Bersama AMD, kami telah mencapai hal ini melalui penggunaan ROCm dan MI300X, memberdayakan pelanggan dan pengembang AI Microsoft untuk mencapai hasil kinerja harga yang luar biasa untuk model frontier paling canggih dan intensif komputasi. Kami berkomitmen pada kolaborasi kami dengan AMD untuk terus mendorong kemajuan AI,” ujarnya.

Memajukan AI di Microsoft

Sebelumnya diumumkan dalam preview pada November 2023, seri VM Azure ND MI300x v5 kini tersedia di wilayah Kanada tengah bagi pelanggan untuk menjalankan beban kerja AI mereka. Menawarkan kinerja terdepan di industri, VM ini memberikan kapasitas HBM dan bandwidth memori yang mengesankan, memungkinkan pelanggan untuk memasukkan model yang lebih besar ke dalam memori GPU dan/atau menggunakan lebih sedikit GPU, yang pada akhirnya membantu menghemat daya, biaya dan waktu dalam penyelesaian solusi.

VM ini dan software ROCm yang mendukungnya juga digunakan untuk beban kerja Azure AI Production, termasuk Azure OpenAI Service, yang memberi pelanggan akses ke model GPT-3.5 dan GPT-4. Dengan AMD Instinct MI300X dan tumpukan open software ROCm yang telah terbukti dan siap pakai, Microsoft mampu mencapai harga/kinerja terdepan pada beban kerja inferensi GPT.

Melampaui beban kerja produksi Azure AI, salah satu pelanggan pertama yang menggunakan VM ini adalah Hugging Face. Dengan mem-porting model mereka ke VM ND MI300X hanya dalam waktu satu bulan, Hugging Face mampu mencapai performa dan harga/kinerja yang mengesankan untuk model mereka. Sebagai bagian dari hal ini, pelanggan VM ND MI300X dapat menghadirkan model Hugging Face ke VM untuk membuat dan menyebarkan aplikasi NLP dengan mudah dan efisien.

“Kolaborasi yang mendalam antara Microsoft, AMD dan Hugging Face pada ekosistem open software ROCm akan memungkinkan pengguna Hugging Face menjalankan ratusan ribu model AI yang tersedia di Hugging Face Hub di Azure dengan GPU AMD Instinct tanpa perubahan kode, sehingga memudahkan untuk pelanggan Azure membangun AI dengan model terbuka dan open source,” ujar Julien Simon, Chief Evangelist Officer Hugging Face.

Selain itu, pengembang dapat menggunakan software AMD Ryzen AI untuk mengoptimalkan dan menerapkan inferensi AI pada PC yang didukung AMD Ryzen AI. Software Ryzen AI memungkinkan aplikasi berjalan pada unit pemrosesan saraf (NPU) yang dibangun pada arsitektur AMD XDNA, silikon pemrosesan AI khusus pertama pada prosesor Windows x86. Meskipun menjalankan model AI pada CPU atau GPU saja dapat menguras baterai dengan cepat, dengan laptop yang ditenagai oleh Ryzen AI, model AI beroperasi pada NPU yang tertanam, sehingga membebaskan sumber daya CPU dan GPU untuk tugas komputasi lainnya. Hal ini membantu meningkatkan masa pakai baterai secara signifikan dan memungkinkan pengembang menjalankan beban kerja AI LLM pada perangkat dan aplikasi bersamaan secara efisien dan lokal.

Memajukan layanan video dan komputasi perusahaan

Microsoft telah memilih media akselerator AMD Alveo MA35D untuk mendukung beban kerja video streaming langsung yang besar, termasuk Microsoft Teams, video SharePoint dan lainnya. Dibuat khusus untuk mendukung layanan streaming interaktif langsung dalam skala besar, Alveo MA35D akan membantu Microsoft memastikan pengalaman video berkualitas tinggi dengan menyederhanakan beban kerja pemrosesan video, termasuk transcoding, decoding, pengkodean dan streaming bitrate adaptif (ABR) video.

Prosesor AMD EPYC Generasi Keempat saat ini mendukung berbagai VM komputasi untuk keperluan umum, intensif memori, komputasi optimisasi dan dipercepat di Azure. VM ini menunjukkan pertumbuhan dan permintaan untuk prosesor AMD EPYC di cloud dan dapat memberikan kinerja hingga 20% lebih baik untuk VM tujuan umum dan intensif memori dengan harga / kinerja yang lebih baik, serta kinerja CPU hingga 2x lebih baik untuk VM dengan komputasi optimal dibandingkan VM bertenaga prosesor AMD EPYC generasi sebelumnya di Azure. Kini dalam preview, seri VM Dalsv6, Dasv6, Easv6, Falsv6 dan Famsv6 akan tersedia secara umum dalam beberapa bulan mendatang.

Foto: istimewa