Microsoft baru saja merilis model bahasa (Large Language Model/LLM) terbaru mereka bernama Phi-4, yang hadir dengan kapasitas sebesar 14 miliar parameter. Untuk menjalankan model sebesar ini, diperlukan ruang penyimpanan sekitar 11 GB, belum termasuk kebutuhan daya komputasi tinggi. Coba bayangkan, apakah bisa menjalankan raksasa AI ini di perangkat mungil seperti Raspberry Pi? Jelas tidak bisa. Yuk ketahui bagaimana cara membuat AI sendiri.
Tapi ada kabar baik dari Microsoft yang merilis Phi-4-mini-reasoning, sebuah versi ringan dari model itu. Dengan 3,8 miliar parameter dan kebutuhan memori sekitar 3,2 GB model ini cukup ramah untuk dieksplorasi oleh para penggemar komputer mini seperti Raspberry Pi. Dalam sebuah video terbaru, content creator bernama Gary Explains mendemonstrasikan bagaimana cara membuat AI dengan LLM versi mini ini bisa dijalankan di Raspberry Pi, meski tentu saja ada beberapa kompromi besar yang harus diterima.
Apa Itu Phi-4-Mini?
Phi-4-mini-reasoning menggunakan kuantisasi 4bit, teknik kompresi yang memungkinkan bobot model disimpan dalam format yang jauh lebih kecil dari versi aslinya. Dalam dunia LLM, kuantisasi ini menjadi kunci untuk menurunkan jejak memori model besar tanpa mengorbankan terlalu banyak akurasi.
Sebagai gambaran, setiap parameter dalam model biasanya disimpan dalam format floating point 16-bit atau 32-bit. Namun dalam kuantisasi 4bit, ukuran data menjadi seperdelapan dari format aslinya. Ini memungkinkan model raksasa seperti Phi-4-mini untuk dimampatkan hingga muat dalam memori 8 GB Raspberry Pi 5.
Namun meski bisa dijalankan, performanya jangan berharap terlalu tinggi. Karna dengan membuat AI sendiri dengan Raspi, maka artinya Anda merupakan seorang yang suka ngoprek (bukan pengguna awam).
Untuk menguji kemampuan model ini, Gary menggunakan pertanyaan yang ia sebut “The Alice Question”. Bunyi pertanyaannya:
“Alice memiliki lima saudara laki-laki dan tiga saudara perempuan. Berapa banyak saudara perempuan yang dimiliki oleh saudara laki-laki Alice?”
Jika Anda menjawab 3, maka logika dasar Anda bekerja. Menariknya, Phi-4-mini juga bisa menjawab dengan benar — meskipun butuh waktu 10 menit untuk menghasilkan jawabannya di Raspberry Pi 5!
Dalam video tersebut, Gary pertama kali menjalankan model di PC dengan GPU, hasilnya tentu jauh lebih cepat. Namun saat dipindahkan ke Raspberry Pi 5 dengan 4 core dan RAM 8GB, waktu inferensi untuk satu pertanyaan sederhana melonjak drastis.
Apakah Ini Berguna?
Jika ada pertanyaan, apakah masuk akal membuat AI pakai LLM lambat seperti ini di Raspberry Pi? Jawabannya tergantung siapa Anda. Bagi pengguna awam, mungkin tidak praktis. Namun bagi para programmer AI rumahan, atau penggemar open-source, ini ide menarik dalam kemampuan edge computing. Bayangkan memiliki asisten AI sederhana yang bisa berjalan tanpa koneksi internet yang sepenuhnya lokal dan berada di saku Anda.
Proyek seperti ini bisa membuka wawasan tentang bagaimana LLM bekerja, bagaimana cara mengoptimalkannya dan bagaimana perangkat keras kecil bisa ikut bersaing di ranah kecerdasan buatan.
Phi-4-mini-reasoning adalah bukti nyata kemajuan kompresi dan optimalisasi model AI, hingga akhirnya bisa dijalankan di perangkat sekelas Raspberry Pi. Meski performa belum bisa diandalkan untuk aplikasi nyata, ini jadi lompatan penting menuju AI yang lebih inklusif dan terdesentralisasi.
Kalau Anda bisa menjalankan LLM di Raspberry Pi, untuk apa Anda menggunakannya? Asisten pribadi? Proyek sekolah? Atau hanya untuk pamer ke teman? Begitulah cara membuat AI sendiri dengan perangkat ras-pi, semoga tulisan ini berguna dan bisa menjadi referensi bagi Anda yang membutuhkan.
