Bukti konsep memaafkan jalur data yang rapuh. AI operasional tidak.
Disampaikan oleh F5Ketika perusahaan memindahkan beban kerja AI dari uji coba ke produksi, pengiriman data sering kali menjadi faktor yang menentukan apakah sistem tersebut dapat diskalakan dengan andal. Arsitektur point-to-point yang menghubungkan penyimpanan secara langsung ke komputasi akan bertahan dalam kondisi demonstrasi, namun sering kali mengalami gangguan pada lalu lintas produksi yang berkelanjutan dan bersamaan. Hasilnya adalah saluran inferensi yang terhenti, sistem RAG yang tertunda, GPU yang kurang dimanfaatkan, dan pelanggaran SLA, yang semuanya membawa konsekuensi bisnis langsung. “Organisasi berhasil mengoperasionalkan AI ketika infrastruktur mereka dibangun untuk menangani kegagalan di dunia nyata, bukan hanya kondisi yang terkendali,” kata Hunter Smit, manajer senior pemasaran produk di F5. Lalu lintas produksi memperlihatkan kelemahan arsitektural. Dalam sebuah proyek percontohan, transfer yang terhenti merupakan suatu ketidaknyamanan, sementara dalam produksi, penghentian yang sama merupakan gangguan yang dimiliki seseorang. Arsitektur yang mendasarinya sering kali identik dalam kedua kasus: ketika klien dihubungkan langsung ke penyimpanan, sistem menjadi semakin rapuh di bawah lalu lintas produksi yang berkelanjutan dan bersamaan karena koneksi langsung tersebut tidak memiliki jawaban ketika sebuah node gagal atau lonjakan lalu lintas. Dari sana, percobaan ulang dan batas waktu habis, dan seluruh pipeline dicadangkan tepat pada saat bisnis bergantung pada outputnya. “Arsitektur point-to-point, di mana klien S3 terhubung langsung ke penyimpanan S3, tidak tangguh,” kata Paul Pindell, arsitek solusi utama untuk aliansi teknologi di F5. “Jika satu node penyimpanan gagal, semua lalu lintas ke klaster tersebut akan menurun, dan dalam beberapa kasus klaster bisa gagal seluruhnya.” Masalahnya adalah alur kerja AI, termasuk inferensi berbasis RAG dan AI agen, semakin memperlakukan penyimpanan S3 sebagai warga kelas satu di klaster AI. Namun, konektivitas jaringan antara penyimpanan tersebut dan cluster tidak pernah dirancang untuk pergerakan data dengan throughput tinggi dan tanpa gangguan yang diperlukan untuk menjaga GPU tetap berjalan secara optimal. Kerugian sebenarnya dari pipeline yang terhenti dan GPU yang kurang dimanfaatkan “Para pemimpin perusahaan cenderung membingkai infrastruktur AI berdasarkan pemanfaatan GPU, namun yang membuat AI berbeda dari beban kerja deterministik tradisional adalah bahwa infrastruktur terus memengaruhi hasil tersebut di setiap interaksi,” kata Tanu Mutreja, direktur senior manajemen produk di F5. “Dalam lingkungan AI, infrastruktur tidak lagi hanya menjadi masalah back-end. Infrastruktur membentuk pengalaman pelanggan, kualitas, ketahanan, dan biaya dalam setiap transaksi.” Hal ini dapat menimbulkan konsekuensi bisnis yang signifikan. Misalnya, ketika saluran inferensi terhenti, hal ini menjadi masalah SLA dan pengalaman pelanggan. Ketika sistem RAG tertunda, model kehilangan akses terhadap konteks yang relevan dan tepat waktu, sehingga menghasilkan respons yang tidak akurat, ketinggalan jaman, atau halusinasi, yang semuanya menimbulkan risiko operasional, kepatuhan, dan reputasi. Pada saat yang sama, masalah infrastruktur yang menyebabkan permasalahan tersebut juga dapat meningkatkan biaya dengan membiarkan sumber daya GPU yang mahal menganggur atau kurang dimanfaatkan. “Ketika GPU kurang dimanfaatkan, hal ini menandakan inefisiensi infrastruktur yang meningkatkan biaya sekaligus membatasi skalabilitas dan daya tanggap,” kata Mutreja. “Pertanyaan kepemimpinannya adalah apakah infrastruktur AI end-to-end secara konsisten memberikan pengalaman AI yang andal, aman, berkualitas tinggi, dan terkelola pada unit ekonomi yang berkelanjutan.” Membangun lapisan pengiriman data yang siap produksiF5 memperlakukan pengiriman data sebagai lapisan infrastruktur kelas satu dibandingkan dengan mengasumsikan jalur jaringan akan berfungsi. Ketika pengiriman aplikasi mengoptimalkan aliran permintaan antara pengguna dan aplikasi, pengiriman data mengoptimalkan aliran data antara penyimpanan, jaringan, dan komputasi, termasuk komputasi AI. Menjadikan pengiriman data sebagai lapisan kelas satu berarti membangun tiga properti di dalamnya: Observabilitas memberikan visibilitas real-time terhadap latensi, throughput, dan kesehatan aliran. Kemampuan terprogram memungkinkan kontrol berdasarkan kebijakan atas cara data dipindahkan, melalui perutean dinamis, pengoptimalan lalu lintas, manajemen laju, dan failover otomatis. Kesadaran akan kegagalan membangun ketahanan terhadap jaringan yang terdegradasi, pembatasan penyimpanan, dan gangguan layanan. Dalam arsitektur yang dikembangkan F5 untuk Dell ObjectScale, F5 BIG-IP berada di antara ObjectScale dan komputasi AI sebagai titik kontrol yang dapat diprogram di tepi penyimpanan. “Kami telah melihat kasus di mana kesalahan konfigurasi pada lapisan komputasi AI secara efektif menyebabkan DDoS pada infrastruktur penyimpanan S3,” kata Pindell. “Bukan dengan cara yang jahat, lebih seperti ‘Oh tidak, apa yang telah saya lakukan?’ saat ini, tapi masih memerlukan penyimpanan untuk seluruh organisasi.” Menempatkan BIG-IP sebagai pengontrol pengiriman aplikasi antara lapisan penyimpanan dan komputasi melindungi penyimpanan dengan QoS, batas kecepatan, dan batas koneksi, menjaganya tetap tangguh dan beroperasi di bawah beban semacam itu. Pengujian yang divalidasi SecureIQLab menegaskan bahwa perlindungan ini tidak mengorbankan throughput, yang penting secara arsitektural, kata Pindell. “Mempertahankan, dan bahkan meningkatkan, throughput adalah hal yang harus dilakukan,” jelasnya. “Inilah yang memungkinkan Anda memanfaatkan fungsionalitas tingkat tinggi, ketahanan, dan keamanan yang ditingkatkan, tanpa mengorbankan kinerja untuk mencapainya.” Kompleksitas tambahan penerapan AIAI hibrid dan multicloud di lingkungan multicloud hibrid memiliki tantangan pengiriman data yang lebih besar karena heterogenitas yang terlibat. Dengan kata lain, data yang melintasi lingkungan ini harus menghadapi kebijakan yang tidak konsisten, kontrol keamanan, sistem identitas, persyaratan tata kelola, visibilitas yang terfragmentasi, dan batasan kegagalan yang jelas. Manajemen lalu lintas yang dapat diprogram dan kemampuan observasi mengatasi kompleksitas ini secara bersamaan. Observabilitas memberikan pandangan terpadu tentang kesehatan aplikasi, jaringan, dan infrastruktur di seluruh lingkungan yang tidak terhubung. Manajemen lalu lintas yang dapat diprogram menggunakan wawasan tersebut untuk merutekan, menyeimbangkan, dan mengalihkan lalu lintas secara cerdas secara real-time. Bersama-sama, mereka menciptakan sistem umpan balik loop tertutup yang menerapkan kebijakan yang konsisten, meningkatkan ketahanan di seluruh domain kegagalan, dan memastikan pengiriman data AI yang andal dan berkinerja tinggi di mana pun aplikasi, data, atau pengguna berada. Yang membedakan AI produksi dari percontohan abadiOrganisasi yang bergerak melampaui percontohan abadi memiliki disiplin teknik yang spesifik, kata Smit. “Merekalah yang mencapai desain produksi dengan kegagalan sebagai keadaan normal, tidak terkecuali,” jelasnya. “Mereka akan berasumsi bahwa latensi, kemacetan, dan pemadaman sebagian akan terjadi. Dan mereka membangun jalur data yang dapat diobservasi dan cukup menyadari kegagalan untuk menyerapnya, dengan mitigasi eksplisit untuk setiap kondisi yang terdegradasi, bukan harapan bahwa jaringan akan bertahan.” Masalahnya bukan pada kualitas model atau jumlah GPU, namun apakah lapisan pengiriman data dirancang dengan tingkat ketelitian yang sama dengan komputasi. “Tim perlu memahami bahwa jaringan di dunia nyata berperilaku sangat berbeda dari jaringan lab yang dioptimalkan,” kata Pindell. “Mereka memerlukan rencana mitigasi untuk kondisi kegagalan dan hambatan kinerja yang akan mereka hadapi dalam produksi.” Artikel bersponsor adalah konten yang diproduksi oleh perusahaan yang membayar untuk postingan tersebut atau memiliki hubungan bisnis dengan VentureBeat, dan artikel tersebut selalu ditandai dengan jelas. Untuk informasi lebih lanjut, hubungi sales@venturebeat.com.
Diterbitkan : 2026-06-23 07:00:00
sumber : venturebeat.com
