bytedaily - Melansir laporan dari cnnindonesia.com, teknik pelatihan model kecerdasan artifisial (AI) bernama model distillation tengah menjadi sorotan dalam persaingan teknologi antara Amerika Serikat (AS) dan China. AS menuding perusahaan-perusahaan di China menggunakan metode ini untuk menyalin kemampuan dari model AI milik perusahaan AS.
Model distillation memungkinkan pengembang untuk mentransfer sebagian kapabilitas dari model AI berukuran besar ke dalam sistem yang lebih kecil, hemat biaya, dan efisien. Teknik ini sebenarnya sudah lama ada dalam penelitian AI dan bukan merupakan praktik yang melanggar aturan secara inheren. Namun, kontroversi muncul ketika metode ini diduga dimanfaatkan untuk mengambil kemampuan model AI yang bersifat tertutup tanpa izin dari pembuatnya.
Pemerintah AS bersama beberapa perusahaan AI Amerika menuduh perusahaan China menggunakan hasil keluaran (output) dari model mereka sebagai materi pelatihan untuk sistem pesaing. Anthropic, misalnya, menuding beberapa entitas China seperti DeepSeek, Moonshot, dan MiniMax melakukan upaya besar-besaran untuk memperoleh kemampuan dari model Claude. OpenAI juga melaporkan adanya upaya dari aktor-aktor China untuk menggunakan model mereka demi keperluan distillation.
Model AI tercanggih atau frontier model memerlukan sumber daya yang signifikan dalam bentuk data, investasi, dan daya komputasi untuk proses pelatihannya. Model distillation hadir sebagai solusi untuk menciptakan sistem AI yang lebih ringkas dengan memanfaatkan model besar sebagai 'guru' dan model kecil sebagai 'murid'. Model guru akan menghasilkan berbagai contoh, seperti jawaban, penjelasan, atau kode, yang kemudian digunakan untuk melatih model murid.
Dalam proses ini, model murid tidak mewarisi bobot, arsitektur, atau seluruh kapabilitas dari model asalnya. Sebaliknya, model murid hanya mempelajari perilaku spesifik agar dapat menyelesaikan tugas dengan lebih efisien. Keunggulan utama distillation terletak pada kemampuannya untuk membuat sistem AI menjadi lebih terjangkau dan mudah dioperasikan. Model AI terdepan umumnya memerlukan pusat data besar dan chip mahal, sedangkan model hasil distillation dapat dijalankan pada perangkat yang lebih sederhana dan dapat disesuaikan untuk kebutuhan spesifik.
Oleh karena itu, teknik ini sangat menarik bagi perusahaan dan pemerintah yang ingin mengimplementasikan AI pada berbagai perangkat, seperti di pabrik, kendaraan, atau jaringan privat. Selain menghasilkan jawaban akhir, model AI terbaru juga mampu menunjukkan tahapan penalaran yang digunakan untuk menyelesaikan suatu masalah. Tahapan ini, yang dikenal sebagai reasoning traces atau jejak penalaran, dapat membantu model kecil mempelajari cara mengatasi masalah yang kompleks, bukan hanya menghafal solusi akhirnya.
Florian Tramèr, seorang asisten profesor di ETH Zurich yang fokus pada keamanan pembelajaran mesin, menyamakan proses ini dengan pembelajaran manusia. Ia menjelaskan bahwa mempelajari soal matematika rumit hanya dengan jawaban akhir akan jauh lebih sulit dibandingkan jika diberikan solusi terperinci yang memaparkan seluruh langkah penyelesaiannya. Dengan semakin berharganya jejak penalaran, akses terhadap keluaran model AI menjadi lebih sensitif karena dapat mengungkap cara sistem canggih menangani persoalan kompleks.
Teknik distillation sendiri telah digunakan secara luas oleh para peneliti dan perusahaan AI di berbagai negara. Proyek Alpaca dari Stanford University dan riset Orca dari Microsoft merupakan contoh yang pernah memanfaatkan keluaran model yang lebih canggih untuk meningkatkan kapabilitas model mereka.
