DeepSeek memotong harga 75%. Masalah 100x tetap ada
Keputusan DeepSeek baru-baru ini untuk memotong harga model V4-Pro secara drastis sebesar 75% seharusnya menjadi kabar baik bagi vendor dan pengembang AI perusahaan. Sebaliknya, banyak yang menemukan bahwa model yang lebih murah tidak secara otomatis menghasilkan margin yang lebih sehat. Alasannya sederhana: Meskipun biaya inferensi anjlok, sistem agen dengan rakus mengonsumsi token lebih cepat daripada penurunan harga. Selama 2 dekade terakhir, ekonomi perangkat lunak ditentukan oleh aturan yang sama. Infra menjadi lebih murah setiap tahun sedangkan aplikasi menjadi lebih mumpuni. AI awalnya dihipotesiskan mengikuti pola yang sama. Ketika model frontier membaik dan harga token turun, banyak yang berasumsi bahwa inferensi akan menjadi biaya operasional yang dapat diabaikan. Asumsi tersebut mulai runtuh secara eksponensial. Chatbot biasanya mengubah satu pertanyaan pengguna menjadi satu model panggilan. Seorang agen mengubahnya menjadi rantai perencanaan, pengambilan, penggunaan alat, verifikasi, ringkasan, dan keputusan tindak lanjut. Pengguna melihat satu jawaban. Vendor membayar untuk loop tersebut. Itu adalah masalah 100x: Permintaan yang terlihat oleh pengguna yang sama bisa memakan biaya lebih banyak untuk digunakan sebagai alur kerja agen dibandingkan sebagai chatbot atau respons pengambilan-augmentasi (RAG). Dalam alur kerja yang berjalan lebih lama, penggandanya lebih tinggi. Penurunan harga model memang membantu, namun hal tersebut tidak memperbaiki arsitektur produk yang mengubah satu permintaan menjadi lusinan operasi yang dapat ditagih. Skala dari apa yang kini dipertaruhkan terlihat jelas dalam cara penyedia model menentukan harga hubungan pengembang. Usulan program OpenAI adalah memberikan kredit API sebesar $2 juta kepada setiap startup Y Combinator — jumlah yang akan mendanai seluruh putaran awal dalam siklus teknologi sebelumnya, dan ketika kelompok yang sama dapat bertahan dengan beberapa ribu dolar kredit AWS — bukanlah sebuah keuntungan perekrutan dibandingkan dengan pengakuan atas biaya yang harus dikeluarkan untuk menjalankan perusahaan yang berbasis AI pada tahun pertama peluncuran produknya. Untuk perusahaan mapan yang melakukan retrofit agen ke lini produk yang sudah ada, angka absolutnya masih lebih besar. Apa itu amplifikasi token? Dalam chatbot satu putaran, satu pesan pengguna menghasilkan sekitar satu panggilan model. Rasio masukan terhadap tagihan adalah sekitar 1:5. Dalam agen multi-langkah yang diterapkan pada dukungan pelanggan, operasi penjualan, keuangan, tinjauan hukum, dan teknik, rasio tersebut biasanya mencapai 1:700 atau lebih tinggi. Setiap perulangan meneruskan percakapan kumulatif, keluaran alat, dan jejak penalaran. Setiap langkah ditambahkan; tidak ada yang hilang. Pertanyaan agen “sederhana” seperti “Apa yang ditanyakan pelanggan utama kami minggu lalu?” biasanya menyentuh tujuh operasi harga sebelum mengembalikan jawaban: Perintah pengguna (~50 token) Perintah sistem dan definisi alat (~3.000 token, diulang pada setiap panggilan)Pengambilan (~5.000 token konteks)Panggilan model #1 — pemilihan alat (8.000 masuk / 200 keluar)Eksekusi alat (~4.000 token dikembalikan)Panggilan model #2 — ringkasan (12.000 masuk / 400 keluar)Panggilan model #3 — keputusan tindak lanjut (12,400 masuk / 100 keluar) Satu kalimat masuk, sekitar 35,000 token masukan ditagih. Antara $0,10 dan $0,40 per kueri pada model perbatasan. Lipat gandakan dengan satu juta kueri per bulan — volume taruhan untuk setiap fitur B2B perusahaan — dan item barisnya adalah enam angka. Mengapa hal ini merusak model bisnis AI yang ada? Kisah harga yang dominan untuk AI perusahaan adalah SaaS berbasis seat: Bayar per pengguna per bulan, berikan kemampuan agen, dapatkan margin. Model tersebut mengasumsikan biaya per pengguna yang dibatasi secara wajar. Amplifikasi token mematahkan asumsi tersebut. Pengguna hebat yang menjalankan 50 pemanggilan agen sehari dengan paket $40/kursi dapat memerlukan biaya inferensi yang lebih mahal daripada biaya paket. Amplifikasi token menghancurkan model penetapan harga SaaS tradisional. Ketika biaya aktivitas agen sehari-hari seorang power user lebih mahal daripada biaya berlangganan bulanan mereka, margin kotor vendor berubah menjadi negatif, sebuah paradoks yang semakin bertambah ketika pelanggan memperdalam adopsi agen mereka, kurva penggunaan yang dijual vendor ke dewan direksi mereka. Beberapa vendor kini secara pribadi melaporkan margin kotor negatif dari pengguna berat, mencerminkan laporan pengeluaran cloud baru-baru ini dari kohort ‘Supernova’ Bessemer, di mana korelasi antara adopsi agen AI dan kontraksi margin kotor telah berubah dari risiko teoretis menjadi hambatan utama dalam laba dan rugi. Gejala yang terlihat mulai bocor ke publik. Bloomberg minggu ini mendokumentasikan kesenjangan yang semakin besar antara demo pemasaran Agentforce Salesforce dan kemampuan pengiriman ke pelanggan. Ini adalah jenis kesenjangan yang dapat diprediksi ketika fungsionalitas yang dijanjikan secara teknis memungkinkan namun tidak ekonomis untuk dilayani pada harga yang sesuai dengan rencana kursi. Salesforce adalah kasus yang paling banyak ditonton, bukan kasus unik. “Bagi tim saya, biaya komputasi jauh melebihi biaya karyawan.” — Bryan Catanzaro, VP Applied Deep Learning, Nvidia Implikasi strategisnya bukanlah “AI itu mahal”. Model bisnis dominan yang diasumsikan oleh sebagian besar rencana perusahaan yang berbasis AI tidak dapat bertahan menghadapi beban kerja agen. Contoh sederhananya adalah vendor perangkat lunak perusahaan mengenakan biaya $40 per pengguna per bulan untuk asisten dukungan berkemampuan AI. Chatbot tradisional mungkin hanya berharga beberapa sen per pengguna per hari dalam inferensi, sehingga menghasilkan margin kotor yang sehat. Sekarang ganti chatbot tersebut dengan alur kerja yang sepenuhnya agen yang mampu menyelidiki tiket, menanyakan sistem internal, menyusun tanggapan, memvalidasi keluaran, dan meningkatkan pengecualian. Jika pengguna berat mengeksekusi 50 hingga 100 permintaan agen per hari, konsumsi inferensi dapat meningkat dalam jumlah besar. Apa yang dulunya merupakan biaya infrastruktur yang dapat diabaikan menjadi biaya operasional yang material. Hal ini menciptakan dinamika yang tidak biasa: Pelanggan yang menerima nilai paling banyak dari produk sering kali adalah pelanggan yang menghasilkan biaya inferensi tertinggi. Dalam kasus ekstrem, vendor mungkin mendapati penggunanya yang paling aktif memberikan kontribusi keuntungan paling kecil. Hasilnya adalah meningkatnya kesadaran di seluruh perangkat lunak perusahaan bahwa adopsi agen dan perluasan margin tidak lagi selaras secara otomatis. Orkestrasi agen adalah parit baru. Respons teknis sudah diketahui dan menyatu. Ini bukanlah hal yang baru, namun sangat penting untuk kelangsungan hidup. Perutean yang sadar biaya: Teknik ini melibatkan model pengklasifikasi kecil yang memutuskan tingkat mana (setara dengan Haiku, Sonnet, Opus) yang menangani setiap kueri. Router yang disetel dengan baik memotong tagihan inferensi sekitar 60% tanpa penurunan kualitas Caching cepat: Anthropic, OpenAI, dan Google kini menawarkan diskon 75 hingga 90% untuk prefiks yang di-cache. Disiplin konteks: Anda dapat memotong keluaran alat, memangkas jejak penalaran, dan membatasi kedalaman alat untuk mencegah agen Anda melakukan kesalahan Decoding spekulatif: untuk penerapan yang dihosting sendiri, teknik ini menjamin throughput efektif 2 hingga 3X pada GPU yang sama.”Organisasi yang menggunakan tata kelola berbasis orkestrasi melaporkan peningkatan produktivitas yang lebih kuat — lapisan orkestrasi holistik dikaitkan dengan dampak produktivitas enam kali lebih besar dibandingkan pendekatan hanya kepatuhan” — IBMPerusahaan yang membangun lapisan ini dengan baik mulai memperhatikan kurang seperti operator layanan mikro dan lebih seperti sistem perdagangan keuangan: Setiap keputusan perutean diberi harga, setiap jalur dengan P&L-nya sendiri, setiap penyewa dengan anggaran terukur. Apa yang sebenarnya harus dilakukan oleh para pemimpin perusahaanEmpat langkah memisahkan perusahaan yang masih akan memiliki margin dalam 24 bulan dari perusahaan yang tidak:Membuat biaya inferensi menjadi metrik kelas satu. Lacak kelas per fitur, per penyewa, per kueri dengan cara yang sama seperti pelacakan biaya cloud mulai pertengahan tahun 2010-an. Buat anggaran seperti pembeli media. Tetapkan batas atas biaya per seribu kueri per fitur. Tutupi mereka. Waspada terhadap overruns. Teknik tidak akan memaksakan hal ini dengan sendirinya. Perlakukan router sebagai infrastruktur inti, bukan optimasi. Ini adalah penyeimbang beban baru. Perintah audit dilakukan setiap triwulan. Permintaan sistem 4.000 token yang tumbuh secara organik selama enam bulan adalah tagihan enam digit dalam gerakan lambat. Sebagian besar tim tidak pernah membaca perintah produksi mereka sendiri secara menyeluruh. Negosiasikan komitmen volume lebih awal. Vendor model Frontier kini menawarkan komitmen prabayar bergaya instance cadangan dengan diskon besar. Daftar harga adalah harga terburuk yang pernah dibayar oleh perusahaan mana pun. 24 bulan ke depanPergeseran struktural di bawah AI agen bukan karena biayanya yang mahal. Seperti yang digarisbawahi oleh pemotongan harga DeepSeek hari ini, biaya unit inferensi frontier turun sekitar 3X per tahun, dan kurvanya tidak melambat. Pergeserannya adalah bahwa amplifikasi lebih cepat daripada pemotongan harga. Memotong biaya per token sebesar 75% tidak membantu perusahaan yang agennya menghasilkan token 700X lebih banyak per permintaan pengguna dibandingkan asumsi model penetapan harga. Untuk pertama kalinya sejak era cloud dimulai, keputusan arsitektur kembali menjadi keputusan finansial secara real-time. Desain ulang yang cepat adalah peristiwa margin. Lingkaran agen yang terikat dengan buruk adalah pemadaman yang melibatkan kartu kredit. Perusahaan yang bertahan dalam penetapan harga infrastruktur AI selama 24 bulan ke depan tidak akan menjadi perusahaan yang menjalankan model termurah. Merekalah yang agennya cerdas dan tahu berapa biaya yang harus mereka pikirkan. Itulah masalah 100X. Dan hal ini terjadi lebih cepat daripada yang bisa disembunyikan oleh pemotongan harga. Maitreyi Chatterjee adalah insinyur perangkat lunak senior di sebuah perusahaan teknologi besar. Devansh Agarwal bekerja sebagai insinyur ML di perusahaan teknologi terkemuka. Selamat datang di komunitas VentureBeat! Program posting tamu kami adalah tempat para pakar teknis berbagi wawasan dan memberikan penjelasan mendalam yang netral dan tidak terikat pada AI, infrastruktur data, keamanan siber, dan teknologi mutakhir lainnya yang membentuk masa depan perusahaan. Baca lebih lanjut dari program posting tamu kami — dan lihat pedoman kami jika Anda tertarik untuk menyumbangkan artikel Anda sendiri!
Diterbitkan : 2026-07-12 16:00:00
sumber : venturebeat.com
