Kini, menjalankan Large Language Models (LLMs) secara lokal di komputer bukan lagi hal asing. Kemampuannya yang lebih privat karena tidak perlu mengirim data ke cloud dan bisa berfungsi offline menjadi daya tarik tersendiri. Namun, membawa kecanggihan AI ini ke ponsel ternyata tidak semudah di desktop. Meski demikian, seiring perkembangan teknologi, mayoritas ponsel modern kini memiliki kekuatan pemrosesan yang memadai, ditambah dengan model AI yang semakin efisien, sehingga memungkinkan LLM berjalan praktis di genggaman.
Manfaatnya sama seperti di komputer: Anda mendapatkan akses AI yang selalu tersedia, sepenuhnya privat, tanpa data yang dikirim ke Google, OpenAI, Anthropic, atau pihak lainnya. Tentu ada kompromi. Kinerja AI akan lebih lambat dan terbatas karena model yang digunakan lebih kecil dan kurang bertenaga. Penggunaan baterai juga berpotensi terkuras lebih cepat mengingat sifat AI yang intensif sumber daya.
Meskipun demikian, LLM lokal yang bisa Anda jalankan di ponsel tetap mampu menangani tugas sehari-hari dan percakapan ringan. Ini berarti Anda bisa mengistirahatkan Gemini atau Siri, bahkan mungkin langganan AI Anda.
Untuk menjalankan LLM lokal, ponsel Android atau iPhone yang dirilis dalam dua tahun terakhir umumnya sudah mumpuni. Produsen perangkat kini mulai mempertimbangkan penggunaan AI secara spesifik dalam desain ponsel mereka. Ponsel yang lebih tua pun masih bisa digunakan, namun mungkin memerlukan model yang lebih kecil dan performa yang lebih rendah.
Faktor terpenting dalam menjalankan model AI bukanlah performa chipset, melainkan kapasitas RAM. Anda membutuhkan minimal 6GB RAM untuk kinerja yang memuaskan, dan 8GB atau lebih direkomendasikan untuk model yang lebih besar. Jika RAM di bawah 8GB, sebaiknya gunakan model 1-2B (miliar parameter), yang menentukan kecerdasan dan fleksibilitas model.
Mengenai ruang penyimpanan, Anda tidak perlu terlalu khawatir. Model terbesar sekalipun, yang berukuran 7-8B, hanya memakan sekitar 5GB ruang. Anda bahkan bisa menyimpan beberapa model AI dan beralih antar model sesuai kebutuhan.
Ponsel flagship terbaru, baik iPhone maupun Android, biasanya sudah dilengkapi model AI lokal pra-instal untuk tugas cepat tanpa perlu koneksi cloud. Namun, model buatan Apple dan Google ini tidak dapat diakses langsung oleh pengguna, melainkan digunakan secara otomatis oleh Siri AI dan Gemini saat dianggap paling sesuai.
Beberapa aplikasi siap pakai seperti Atomic Chat (Android/iOS) dan PocketPal AI (Android/iOS) dapat membantu Anda menjalankan LLM di ponsel. Atomic Chat lebih fleksibel untuk LLM desktop, sementara PocketPal AI lebih ringan. Keduanya sangat baik untuk memulai.
Pilihan model AI, yang juga disebut Small Language Models (SLMs) karena dirancang untuk lingkungan terbatas, sangat beragam. Google menyediakan model open-source bernama Gemma, beberapa di antaranya dirancang khusus untuk berjalan di perangkat dengan sumber daya terbatas seperti ponsel. Meta memiliki model open-source Llama, dan Microsoft menawarkan Phi-4 yang terkenal efisien. Cari model dengan jumlah parameter terendah (misalnya, angka ‘B’ kecil atau nama ‘mini’) untuk kompatibilitas terbaik dengan ponsel Anda.
Saat ini, mayoritas SLMs hanya berbasis teks. Namun, beberapa model terbaru yang lebih besar dapat menganalisis gambar dan dokumen. Untuk menghasilkan gambar dan video, Anda masih perlu mengandalkan LLM berbasis cloud konvensional, setidaknya hingga ada lompatan teknologi selanjutnya.
Pengujian LLM lokal di Pixel 9 Pro dengan PocketPal AI dan model Gemma kecil menunjukkan kinerja yang memuaskan. Asisten pemilihan model di PocketPal AI sangat membantu menemukan model yang cocok. Setelah mengunduh dan menginstal, memuat model dan memulai percakapan sangatlah mudah. Opsi ‘pals’ seperti Pip di PocketPal AI dapat menyesuaikan model AI dengan kebutuhan Anda, berfungsi baik sebagai pengganti Gemini atau Siri.
Perlu dicatat adanya kelambatan respons yang wajar saat menjalankan LLM di ponsel, dan perbedaan kecepatan yang signifikan antar ukuran model. Model yang lebih kecil memberikan jawaban lebih cepat, meskipun mungkin kurang cerdas atau lengkap. Bereksperimen dengan beberapa model disarankan untuk menemukan keseimbangan optimal antara performa dan kecepatan.
Karena keterbatasan akses internet dan pengetahuan terkini, LLM lokal sangat ideal untuk brainstorming, menganalisis dan menyempurnakan teks, menyusun tulisan baru, serta mendapatkan fakta atau perbandingan cepat. Namun, tetap waspadai potensi ‘halusinasi’ AI dan selalu verifikasi akurasi informasi yang diberikan.
