bytedaily - Melansir laporan dari cnnindonesia.com, teknik pelatihan model kecerdasan artifisial (AI) bernama model distillation menjadi sorotan dalam persaingan teknologi antara Amerika Serikat dan China. Amerika Serikat menuding beberapa perusahaan di China menggunakan metode ini untuk menyerap kemampuan dari model AI milik perusahaan AS.
Model distillation memungkinkan pengembang untuk memindahkan sebagian kapabilitas dari model AI berukuran besar ke dalam sistem yang lebih kecil, hemat biaya, dan efisien. Meskipun teknik ini sudah lama dikenal dalam penelitian AI dan bukan praktik ilegal, kontroversi muncul ketika diduga digunakan untuk mengambil kemampuan model tertutup tanpa izin.
Pemerintah AS dan beberapa perusahaan AI Amerika menuduh perusahaan China memanfaatkan keluaran dari model mereka sebagai materi pelatihan untuk sistem pesaing. Laporan menyebutkan Anthropic telah menuding entitas China seperti DeepSeek, Moonshot, dan MiniMax melakukan upaya besar untuk memperoleh kemampuan dari model Claude. OpenAI juga melaporkan adanya deteksi upaya dari aktor China yang menggunakan model mereka untuk keperluan distillation.
Proses pelatihan model AI tercanggih atau frontier model memerlukan data, investasi, dan daya komputasi yang sangat besar. Model distillation hadir sebagai solusi untuk menciptakan sistem AI yang lebih ringkas dengan memanfaatkan model besar sebagai 'guru' dan model kecil sebagai 'murid'. Model guru menghasilkan berbagai contoh seperti jawaban, penjelasan, atau kode, yang kemudian digunakan untuk melatih model murid.
Penting untuk dicatat bahwa model murid tidak mewarisi arsitektur, bobot, atau seluruh kemampuan dari model asalnya. Model murid hanya mempelajari perilaku spesifik agar mampu menyelesaikan tugas dengan lebih efisien. Keunggulan utama distillation terletak pada kemampuannya menurunkan biaya dan mempermudah penggunaan sistem AI. Model AI terdepan umumnya memerlukan pusat data besar dan chip mahal untuk operasionalnya, sementara model hasil distillation dapat dijalankan pada perangkat yang lebih sederhana dan dapat disesuaikan untuk kebutuhan spesifik.
Oleh karena itu, teknik ini sangat menarik bagi perusahaan dan pemerintah yang ingin mengimplementasikan AI pada berbagai perangkat, pabrik, kendaraan, maupun jaringan privat. Model AI terbaru tidak hanya memberikan hasil akhir, tetapi juga mampu menunjukkan tahapan atau 'jejak penalaran' (reasoning traces) dalam menyelesaikan suatu masalah. Jejak penalaran ini sangat berharga bagi model kecil untuk mempelajari cara mengatasi persoalan kompleks, bukan sekadar menghafal solusi akhir.
Florian Tramèr, asisten profesor di ETH Zurich yang fokus pada keamanan pembelajaran mesin, menyamakan proses ini dengan pembelajaran manusia. Ia berpendapat bahwa mempelajari cara menyelesaikan soal matematika rumit dengan solusi terperinci akan jauh lebih efektif daripada hanya diberikan soal beserta jawaban akhirnya. Karena jejak penalaran semakin bernilai, akses terhadap keluaran model AI menjadi lebih sensitif karena dapat mengungkap cara sistem canggih menangani persoalan kompleks.
Distillation telah diadopsi secara luas oleh peneliti dan perusahaan AI di berbagai negara. Contohnya, proyek Alpaca dari Stanford University dan riset Orca dari Microsoft pernah memanfaatkan keluaran model yang lebih canggih untuk meningkatkan performa model mereka.
