TabFM Google melewatkan pelatihan per kumpulan data dan masih memprediksi tabel yang belum pernah dilihatnya
Sebagian besar data bisnis berbentuk tabel — berada di gudang data, CRM, dan buku besar keuangan — namun membangun model yang andal dari data tersebut tetap berarti melatih model baru dari awal untuk setiap kumpulan data, kemudian mempertahankan loop penyetelan hyperparameter, rekayasa fitur, dan melatih ulang pipeline untuk melawan penyimpangan data. Google Research mengusulkan solusinya: model dasar baru yang disebut TabFM yang memperlakukan prediksi tabular sebagai masalah pembelajaran dalam konteks. Model ini dapat menghasilkan prediksi untuk tabel baru yang tidak terlihat dalam satu forward pass. Bagi pengembang perusahaan dan insinyur AI, hal ini mengurangi waktu produksi dari rekayasa saluran yang berminggu-minggu menjadi satu panggilan API. Tantangan dengan ML tradisional Untuk mengekstrak prediksi yang andal dari pohon yang ditingkatkan gradien, ilmuwan data harus membangun dan memelihara saluran data yang kompleks. Mereka harus membersihkan input yang berantakan, memasukkan nilai yang hilang, mengkodekan variabel kategori ke dalam format numerik, dan merekayasa persilangan fitur khusus. Setelah data siap, mereka harus menjalankan loop pengoptimalan hyperparameter berulang, menelusuri kecepatan pembelajaran, kedalaman pohon, rasio subsampling, dan grid regularisasi untuk menemukan konfigurasi terbaik. Setelah diterapkan, model tradisional ini “menimbulkan utang operasional yang berkelanjutan melalui pemantauan penyimpangan data dan pelatihan ulang jalur pipa agar tetap akurat,” kata Weihao Kong, Ilmuwan Riset di Google Research, kepada VentureBeat. Sementara itu, industri AI lainnya telah bergerak maju. Model AI generatif untuk teks dan visi komputer telah beralih ke inferensi zero-shot, di mana model dapat melakukan tugas yang benar-benar baru hanya dengan diminta berdasarkan konteks. Model bahasa besar (LLM) sudah unggul dalam pembelajaran dalam konteks, jadi mengapa kita tidak memasukkan tabel saja ke dalam LLM siap pakai? Karena LLM dilatih dalam bahasa alami dan bukan data terstruktur, mereka kesulitan memproses tabel secara langsung. Pertama, batas konteksnya akan cepat habis karena tabel berukuran sedang yang hanya berisi beberapa ribu baris dan ratusan kolom. Kedua, LLM mengalami inefisiensi tokenisasi, pemisahan nilai numerik yang tidak tepat, dan merusak presisi matematika. Akhirnya, mereka menderita kebutaan struktural. Ketika tabel 2D diserialkan sebagai string teks 1D, LLM kehilangan jejak nilai mana yang termasuk dalam baris dan kolom mana seiring pertumbuhan tabel. “Itulah sebabnya, saat ini, jauh lebih efektif menggunakan LLM untuk menulis kode yang menangani rekayasa fitur dan memanggil XGBoost daripada meminta LLM membaca tabel itu sendiri,” kata Kong. Apa itu TabFM? Untuk menjalankan inferensi dengan TabFM, Anda tidak memperbarui bobot model apa pun. Sebagai gantinya, Anda mengambil contoh historis (baris pelatihan dengan label yang diketahui) dan baris target (data baru yang ingin Anda prediksi) dan meneruskannya ke model sebagai satu perintah terpadu. Model ini belajar menafsirkan hubungan antara kolom dan baris secara langsung dari konteks ini pada waktu proses. Misalnya, pertimbangkan seorang analis perusahaan yang mencoba memprediksi churn pelanggan. Daripada membangun saluran data khusus dan melatih model XGBoost, mereka cukup meneruskan sampel data sesi pengguna historis bersama sesi baru dan aktif ke TabFM. Dalam satu forward pass, model mengembalikan probabilitas churn instan. Arsitektur TabFM (sumber: Google Research) TabFM mengatasi keterbatasan LLM dengan memperlakukan data sebagai grid, menjaga integritas strukturalnya tanpa memaksanya menjadi string teks satu dimensi. Untuk secara efektif memproses beragam struktur tabel sekaligus memungkinkan prediksi zero-shot yang dapat diskalakan, TabFM menggabungkan kekuatan arsitektur eksperimental sebelumnya, TabPFN dan TabICL. TabPFN, yang dikembangkan oleh Prior Labs, pertama kali membuktikan bahwa arsitektur transformator dapat melakukan klasifikasi zero-shot pada tabel kecil, meskipun ia kesulitan untuk menskalakan secara komputasi ke kumpulan data yang lebih besar. Kemudian, TabICL, yang dikembangkan oleh Institut Penelitian Sains dan Teknologi Digital Nasional Perancis, mengatasi hambatan ini dengan memperkenalkan kompresi baris, memungkinkan pembelajaran dalam konteks memproses tabel yang jauh lebih besar secara efisien. TabFM menggabungkan kontekstualisasi fitur mendalam TabPFN dengan kompresi efisien TabICL ke dalam desain hibrid baru yang dibangun berdasarkan tiga mekanisme utama:1. Perhatian baris dan kolom bergantian: Tabel mentah pertama-tama diproses melalui modul perhatian multilapis yang bergantian di kolom (fitur) dan baris (contoh). Dengan terus memperhatikan kedua dimensi ini, model ini secara asli menangkap interaksi fitur yang kompleks. Kontekstualisasi mendalam ini melakukan pekerjaan berat yang biasanya memerlukan pembuatan fitur manual yang membosankan oleh para ilmuwan data.2. Kompresi baris: Setelah kontekstualisasi ini, informasi lintas-perhatian untuk setiap baris dikompresi menjadi representasi vektor tunggal yang padat. TabICL memelopori hal ini dengan menggunakan token CLS untuk mengompresi informasi kaya suatu baris menjadi satu vektor, “berbeda dengan TabPFN v2, v2.5, dan v2.6, yang hadir melalui grid sel penuh di seluruh jaringan,” jelas Kong. Hal ini secara drastis mengurangi jejak komputasi.3. Pembelajaran dalam konteks (ICL): Transformator kausal kemudian beroperasi pada rangkaian penyematan terkompresi ini. Model Transformer ini menggunakan mekanisme perhatian TabICL untuk menangani vektor baris padat ini, sehingga mengurangi biaya komputasi secara drastis dan memungkinkan model memproses kumpulan data besar secara efisien. Nilai jual utama TabFM adalah resep pra-pelatihannya. Model ini dilatih sepenuhnya pada ratusan juta kumpulan data sintetis. Kumpulan data ini dihasilkan secara dinamis menggunakan model kausal struktural (SCM) yang menggabungkan beragam fungsi acak. Dengan melatih secara eksklusif tentang SCM sintetik, TabFM mempelajari dasar matematis dasar tentang bagaimana fitur tabular berinteraksi tanpa menyerap file CSV rahasia di dunia nyata. Tindakan TabFM Untuk menguji kemampuan model, peneliti Google membuat tolok ukur TabFM di TabArena, rangkaian evaluasi komprehensif yang mencakup 51 kumpulan data tabular yang beragam dalam 38 tugas klasifikasi dan 13 regresi. Pada tolok ukur publik ini, prediksi zero-shot TabFM telah menyamai atau mengalahkan garis dasar yang diawasi dengan ketat. Namun, Google dengan hati-hati mencatat bahwa hal ini tidak secara otomatis berarti TabFM akan secara universal melengserkan model produksi yang dipesan lebih dahulu dan sangat dioptimalkan pada setiap beban kerja perusahaan. Kinerja TabFM pada tolok ukur industri (sumber: Google Research)”Daripada menggantikan model produksi yang sangat dioptimalkan, nilai bisnis praktis sebenarnya yang dihasilkannya bagi tim lean engineering adalah kecepatan,” kata Kong. “Hal ini memungkinkan analis data dan insinyur backend untuk secara instan menghasilkan model dasar berkualitas tinggi tanpa tim ilmu data khusus yang mengelola siklus hidup yang kompleks.” Bagi praktisi tingkat lanjut yang ingin mendapatkan akurasi maksimum, tim peneliti juga memperkenalkan konfigurasi “TabFM-Ensemble”. Dengan menjalankan model melalui 32 variasi berbeda dan memadukan hasilnya, TabFM mendorong kinerja lebih jauh lagi. Memulai, trade-off, dan masa depan cloud Peralihan ke pembelajaran tabel dalam konteks memperkenalkan trade-off ekonomi baru yang harus dipertimbangkan oleh tim teknik. Dengan algoritme tradisional, pelatihan menjadi lambat dan mahal, namun inferensi sangat cepat dan murah. TabFM membalikkan dinamika ini. Saat waktu pelatihan turun ke nol, inferensi menjadi jauh lebih berat. Karena model harus memproses seluruh kumpulan data historis sebagai konteks selama setiap prediksi, model memerlukan lebih banyak komputasi dan memori pada waktu proses. Dalam paradigma baru ini, “pelatihan pembelajaran mesin tradisional menjadi fase ‘pengisian awal’ (caching KV) di jendela konteks,” kata Kong. Meskipun biaya pengisian awal ini mahal, biaya ini hanya dibayarkan satu kali per tabel, dan cache digunakan kembali pada kueri berikutnya. “Hasil tangkapannya adalah latensi prediksi, yang tidak dapat dihapus oleh cache sebanyak apa pun,” tambah Kong. Setiap prediksi baru memerlukan melewati trafo besar. “API produksi apa pun yang memerlukan waktu respons satu digit milidetik tidak dapat menoleransi overhead forward-pass TabFM.” Bagi pengembang yang ingin mengevaluasi model saat ini, hambatan untuk masuk ke dalamnya rendah. Google merancang TabFM sebagai pengganti alur kerja ML tradisional, menawarkan API yang kompatibel dengan scikit-learn (TabFMClassifier dan TabFMRegressor). Ini secara asli menangani kolom numerik dan kategorikal campuran, bekerja langsung dengan pandas DataFrames, dan tidak memerlukan pembuat enkode ordinal manual atau penskala numerik. Pustaka mendukung backend JAX dan PyTorch. Namun, tim perusahaan perlu menyadari keterbatasan dan pembatasan lisensi saat ini. Arsitektur model memiliki batas maksimum 10 kelas keluaran untuk tugas klasifikasi, dan dioptimalkan untuk tabel dengan hingga 500 fitur. Yang lebih penting lagi, meskipun Google merilis basis kode yang mendasarinya di bawah lisensi Apache 2.0 yang permisif, bobot model yang telah dilatih sebelumnya dipublikasikan di Hugging Face di bawah lisensi tabfm-non-commercial-v1.0 yang ketat. Pengembang dapat mengevaluasi model ini secara internal, namun model tersebut belum dapat diterapkan pada produk komersial. Ke depan, Google akan mengatasi hambatan penerapan komersial melalui ekosistem cloud-nya. TabFM sedang diintegrasikan langsung ke Google BigQuery, memungkinkan analis menjalankan prediksi zero-shot secara asli melalui perintah “AI.PREDICT”. Dengan menempatkan inferensi model dasar tepat di samping gudang data, TabFM dapat segera membuat pembelajaran mesin tabel yang kompleks dapat diakses seperti kueri basis data dasar. Dalam praktiknya, TabFM unggul dalam pembuatan prototipe cepat, lingkungan penyimpangan data yang tinggi, dan kumpulan data berukuran kecil hingga menengah dengan jumlah baris kurang dari 100.000 baris. Sebaliknya, tim harus tetap menggunakan model tradisional untuk API latensi yang sangat rendah dan ketat, atau tabel besar yang melebihi satu juta baris, yang saat ini memerlukan pengambilan sampel baris secara agresif sehingga menurunkan keunggulan kompetitif model dasar.
Diterbitkan : 2026-07-10 16:14:00
sumber : venturebeat.com
