F5 yang merupakan perusahaan pengamanan aplikasi dan API memperluas jangkauan layanannya guna mengoptimalkan infrastruktur inferensi AI. Langkah strategis ini dilakukan melalui kerja sama berkelanjutan dengan raksasa teknologi NVIDIA.
Dilansir dari Teknologi, inferensi AI merupakan ekosistem teknologi yang memungkinkan model kecerdasan buatan menjalankan tugas spesifik. Tugas tersebut meliputi klasifikasi gambar, pembuatan teks, hingga prediksi setelah model melewati fase pelatihan.
Dalam operasionalnya, teknologi AI terbagi menjadi dua fase utama. Pertama adalah fase sekolah di mana model belajar dari data masukan, dan kedua adalah fase bekerja saat model memberikan respons real-time kepada pengguna.
Saat ini perusahaan penyedia layanan GPU mulai berfokus pada monetisasi AI dan beranjak dari tahap eksperimen menuju penyediaan layanan komersial. Dalam transisi ini, efisiensi infrastruktur menjadi tolok ukur yang krusial.
Keberhasilan sebuah sistem kini tidak hanya dilihat dari total kapasitas GPU. Fokus industri telah bergeser pada metrik ekonomi token, throughput yang berkelanjutan, time to first token (TTFT), serta pendapatan per unit akselerator GPU.
Chief Product Officer F5, Kunal Anand, menjelaskan bahwa banyak organisasi selama ini melakukan penyediaan sumber daya berlebih atau overprovisioning. Hal ini dilakukan demi menutupi inefisiensi sistem yang justru memicu pembengkakan biaya operasional.
Infrastruktur yang lamban dalam memproses data dinilai dapat merusak pengalaman pengguna. Selain itu, kendala teknis tersebut turut membatasi potensi pendapatan maksimal yang bisa dihasilkan oleh setiap akselerator GPU.
Integrasi Teknologi F5 BIG-IP dan NVIDIA BlueField
Guna mengatasi hambatan tersebut, F5 dan NVIDIA mengintegrasikan F5 BIG-IP Next for Kubernetes dengan NVIDIA BlueField-3 DPU. Integrasi ini menciptakan lapisan telemetri cerdas untuk pengambilan keputusan routing berbasis inferensi.
Sistem ini memungkinkan beban kerja diarahkan secara real-time ke akselerator yang paling tepat sebelum proses eksekusi dimulai. Melalui mekanisme ini, pemanfaatan sumber daya menjadi jauh lebih presisi dan efisien.
"Infrastruktur AI bukan hanya tentang akses ke GPU atau peningkatan skala implementasinya. Ia telah berevolusi menjadi upaya memaksimalkan output ekonomi per akselerator," kata Kunal.
Kunal Anand menambahkan bahwa kolaborasi ini membuat pabrik AI mampu memperlakukan produksi token sebagai metrik bisnis yang dapat diukur secara pasti. BIG-IP Next for Kubernetes memberikan tata kelola untuk meningkatkan hasil GPU sekaligus menekan biaya per token.
Peningkatan Performa Tanpa Perubahan Model
Berdasarkan pengujian yang dilakukan oleh The Tolly Group, infrastruktur yang dipercepat oleh DPU NVIDIA BlueField-3 menunjukkan hasil signifikan. Terdapat peningkatan token throughput hingga 40% dan percepatan waktu respons awal sebesar 61%.
Selain itu, latensi permintaan secara keseluruhan mampu ditekan hingga 34%. Pencapaian ini diraih dengan mengalihkan beban kerja berat seperti enkripsi TLS dan manajemen trafik dari GPU ke unit DPU.
Strategi tersebut membuat unit pemroses grafis atau GPU dapat fokus sepenuhnya pada fungsi utamanya, yaitu melakukan inferensi berkelanjutan dalam skala besar. Peningkatan ini dapat diterapkan langsung tanpa perlu memodifikasi model AI yang sudah ada.
"Infrastruktur komputasi terakselerasi dari NVIDIA yang dipadukan dengan Application Delivery and Security Platform berbasis AI dari F5 membuka potensi ‘tokenomics’ AI factory, yakni menghadirkan inferensi yang skalabel dan hemat biaya tanpa perlu melakukan perubahan apa pun pada model," kata Kevin Deierling, SVP Networking NVIDIA.
Inovasi ini juga dirancang untuk mendukung arsitektur masa depan seperti AI berbasis agen atau agentic AI. Kemampuan mengelola multi-tenancy yang aman memberikan kendali strategis bagi organisasi dalam mengatur konsumsi token mereka secara efektif.
