Mengubah Laptop Biasa Jadi Ai Canggih!

Di tulisan kali ini saya bakal berbagi sedikit tips gimana mengubah laptop alias PC nan kita punya, menjadi mesin AI nan canggih — agar kita bisa memanfaatkan AI ini sepuasnya, sebebasnya, tanpa bayar, dan full bisa kita kontrol secara penuh — lantaran kita bakal setup AI Model apapun nan kita suka, langsung kedalam PC alias laptop nan kita punya.

Kelebihan Install AI Model di Laptop

Ada beberapa kelebihan menginstall AI Model langsung ke laptop / pc nan kita punya, dibandingkan dengan menggunakan layanan-layanan online seperti ChatGPT, Gemini, alias nan lainnya.

Pertama, kita bebas memilih model AI apa nan kita suka. Kita bisa install model AI nan tidak disensor dan tidak bias, bisa juga memilih sendiri LLM (Large Language Model) nan teroptimasi untuk keperluan tertentu, seperti buat coding, nulis, dsb.

Tentu disini AI model nan kita install merupakan AI model nan open source ya, tapi jangan salah..LLM Open Source ini perkembangannya sangat pesat! Seperti Meta, perusahaan dibalik facebook, nan baru saja ngerilis LLaMa 3. Dari hasil benchmarknya, LLaMa 3 ini nggak kalah dengan Google Gemini Pro 1.5 dan Claude 3 Sonnet untuk jenis parameter 70B. Untuk jenis kecilnya dengan 8B parameter, kemampuannya apalagi diatas banyak LLM Open Source lainnya. Saya sendiri sudah coba dan hasilnya memang mantap.

Kedua, info dan privasi kita jauh lebih terjaga lantaran semua chat, pertanyaan, ataupun jawaban dari AI nya tersimpan di local komputer kita. Gak ada pihak lain nan menyimpan percakapan kita, menggunakannya untuk info training, dsb. Jadi kalo kita pake AI untuk hal-hal nan sifatnya rahasia alias melibatkan data-data penting, AI lokal ini jauh lebih aman.

Ketiga, tentu kita bebas pake semaunya, sepuasnya, gak perlu bayar per sekian token alias bayar per bulan. Kita juga bebas pake kapanpun kita mau, nggak tergantung dengan jasa AI nan kadang servernya downtime, aksesnya lagi penuh, alias terjebak dengan perubahan-perubahan nilai dan ketentuan layanannya. Karena AI lokal betul-betul dijalankan langsung dari laptop kita dan apalagi bisa kita akses secara offline.

Keempat, kita bisa lebih bebas melakukan custom ke AI model nya dengan keahlian tertentu untuk membantu kita melakukan pekerjaan nan kita mau.

Cara Install LLM Open Source di Laptop / PC

Ada banyak langkah untuk install AI model di laptop alias PC kita sendiri, tapi disini saya bagikan langkah nan paling simple dan paling mudah untuk pemula — jadi teman2 bisa langsung mempraktekkan tanpa kudu diribetkan dengan terminal command alias hal-hal nan terlalu teknis lainnya.

Pertama nan kita perlukan adalah laptop alias desktop, mau itu Windows, Mac, alias Linux, bebas. Disini specs nya semakin tinggi semakin bagus, terutama RAM dan GPU nya. Karena semakin besar kapabilitas RAM alias VRAM GPU nya, maka kita bisa jalankan AI model nan parameternya lebih besar dengan quantization bit nan lebih besar, dengan kualitas output nan lebih baik.

Laptop alias desktop dengan 8GB RAM udah cukup oke untuk menjalankan beberapa AI model nan mini dan ringan. Tapi 16GB RAM lebih mantap lagi lantaran bisa menjalankan lebih banyak pilihan AI model dengan parameter nan lebih besar. Tanpa discrete GPU tetap bisa menjalankan AI model — lantaran bisa dijalankan melalui RAM, tapi kalo ada discrete GPU apalagi dengan VRAM nan besar, performanya bakal jauh lebih baik.

Kalo udah siap, langsung aja kita mulai.

Pertama kita install dulu aplikasi LM Studio. Temen2 bisa download di LMStudio.ai. Setelah itu tinggal install aja.

Begitu dibuka bakal muncul tampilan Home nan juga berisi highlight beberapa AI model nan terkenal seperti Llama 3 8B Instruct nan baru dirilis oleh Meta. Ada keterangan juga kalo LLM ini butuh 8GB RAM alias lebih. Ada juga Google Gemma dengan 2B parameter nan cukup ringan untuk dijalankan di laptop alias desktop dengan RAM 8GB alias kurang. Serta tetap ada beberapa pilihan lainnya.

Nah kita juga bisa mencari dan memilih sendiri AI model nan kita mau. Tinggal search aja di kolom pencarian, dan bandel disuguhi beberapa sumber LLM Open Source dari Hugging Face. Kita bisa sort berasas like alias download untuk memudahkan memilih mana nan paling populer. Untuk penjelasan AI Modelnya bisa kita baca melalui Readme alias tinggal klik aja tombol Open Model Card.

Tips Memilih AI Model nan Tepat

Dalam memilih AI model nan tepat buat kita, ada beberapa perihal nan perlu diperhatikan.

Pertama adalah besarnya parameter, kayak 8B artinya ada 8 billion alias 8 milyar parameter, nan artinya ada 8 milyar variabel nan dipelajari oleh AI ini saat training untuk membuatnya lebih jeli dalam memahami konteks dan memprediksi jawaban. Tentu semakin besar parameternya semakin bagus, lantaran prediksi AI nya juga semakin akurat. Seperti LlaMa 3 70Billion Parameter jelas lebih bagus outputnya daripada nan jenis 8B. Tapi lantaran parameternya jauh lebih besar — maka file size AI modelnya pun lebih besar dan butuh resource komputer nan lebih besar juga. Misalnya disini LM studio memprediksi LLama 3 70B parameter ini terlalu besar untuk laptop saya. Jadi saya bakal download jenis AI model nan lebih mini ialah LLAMA 3 dengan 8B parameter.

Kedua, disini terlihat ada beberapa pilihan nan bisa didownload. Misalnya ada nan Q3, Q4, Q5, Q6, sampai Q8. Q ini adalah quantization, semacam kompresi dari floating point 32-bit ke 3 bit kalo nan Q3, alias 4-bit untuk nan Q4 dst. Semakin mini bit nya, maka ukuran file nya juga semakin kecil, AI modelnya juga semakin ringan, tapi kecermatan dan kualitas output nya juga semakin kurang. Saran saya sih, untuk AI model apapun jangan download nan dibawah Q4. Karena hasil outputnya terasa kurang. Q5 lebih recommended lantaran seimbang antara performa dan kualitas output. Kalo laptop nya kuat, download nan Q8 juga boleh karen, hasil outputnya lebih jeli dan lebih baik — meskipun secara performa juga lebih berat dan butuh resource nan lebih besar. Disini saya bakal download nan Q8.

Ketiga, disini ada perincian offload GPU nya. Full GPU Offload Possible artinya AI model bisa dijalankan sepenuhnya dari VRAM GPU dengan performa nan paling kencang dan optimal. Partial GPU offload possible alias Some GPU Offload Possible artinya sebagian komponen AI bisa di running dari VRAM GPU, memberikan performa nan sedikit lebih baik daripada sekedar dijalankan dari RAM. Dan ada juga nan Likely to large for this Machine, nan artinya LLM terlalu besar dan terlalu berat, sebaiknya pilih jenis lain dengan parameter alias quantization lebih kecil.

Setelah menemukan AI nan cocok tinggal download aja. Disini kita bakal download beberapa AI model lain seperti Dolphin LLaMa 3 nan merupakan jenis uncensored dari LLaMa 3, jadi kalo di chatGPT alias di jasa AI lain biasa gak mau ngasih jawaban untuk pertanyaan2 tertentu, kalo pake jenis dolphin ini bakal dijawab semua. Gak ada sensor, gak ada penolakan, alias nasehat2 etik. Kita juga bakal download Mistral, salah satu AI model favorit saya nan jawabannya juga bagus, terutama untuk asisten brainstorming. Terus untuk asisten coding, kita bakal download Codellama 7B Parameter nan memang teroptimasi untuk aktivitas coding.

Buat temen2 nan laptopnya punya specs pas-pasan, bisa download beberapa AI model nan mini dan ringan seperti Gemma dari Google nan ngebut buat laptop dengan specs pas-pasan. Gemma 2B dengan Q4 aja cuman 1.5GB. Untuk nan Q8 juga cuman 2.67GB. Ringan banget. Ada juga Phi-3 Mini dari Microsoft nan jenis Q4 nya cuman 2.32GB.

Semua proses download ditampilkan dibawah, kita tinggal nunggu aja sampai prosesnya selesai. Dan semua model nan sudah didownload bisa kita lihat di berkas MyModel. Total model dan total storage juga ditampilkan dan kita bisa hapus juga AI model nan udah gak kita pake lagi.

Menjalankan Local LLM Langsung dari Laptop

Nah sebenernya gini aja udah bisa langsung kita gunakan. Kita tinggal buka fitur chat, load aja AI model apa nan pengen dipake. Misal disini saya pengen belajar coding pake LLaMa 3 terbaru, dan begitu sudah ter-load. Tinggal chat aja seperti saat kita menggunakan ChatGPT alias Google Gemini.

Saya sudah coba test untuk dibuatkan game snake pake Python. Hasilnya sangat bagus. Code bisa langsung dijalankan tanpa error. Kita bisa minta juga revisi-revisi alias tambahan-tambahan tertentu dan AI ini bakal mengupdate code nya sesuai permintaan kita. Kalo ada bagian coding nan gak kita pahami, juga bisa tinggal tanya aja dan bakal langsung dijelaskan dengan detail.

Di laptop saya LLAMA 3 dengan 8B parameter dan Q8 bisa mendapatkan sekitar 3 token per detik. Bukan kecepatan nan ngebut, tapi not bad lah untuk local AI nan dijalankan di sebuah laptop.

Lalu kita bisa pake juga AI local ini untuk bertanya hal-hal nan biasanya tidak mau dijawab oleh AI online alias AI model nan standar lantaran kadang terlalu sensitif dengan sensor dan batas etik. Tapi di local AI ini kita kita bisa tukar ke jenis Dolphin nan merupakan jenis uncensored nan bisa ngebantu kita mendapatkan jawaban nan gak bias dan gak nolak pertanyaan alias perintah kita.

Tentu gak cuman dalam Bahasa Inggris aja, kita juga bisa tanya dalam Bahasa Indonesia. Tinggal kasih system prompt aja ke AI nya untuk selalu jawab dalam Bahasa Indonesia. Cuman memang bagaimanapun juga, keahlian terbaik AI model untuk saat ini tetap dalam bahasa inggris. Karena saat di-training kebanyakan menggunakan info dalam bahasa inggris. Tapi kalo mau pake dalam Bahasa Indonesia dia tetap bisa handle dengan cukup baik, meskipun belum selevel saat kita bertanya dalam Bahasa Inggris.

Kita juga bisa bandingin performa dan kualitas beberapa model AI lewat fitur Multi-Model session di Playground. Tapi ini sangat berat temen2, lantaran load beberapa model AI sekaligus, tapi dengan mudah kita bisa lihat perbedaan kualitas output untuk memilih model AI nan tepat sesuai nan kita butuhkan.

Menambahkan Fitur Ekstra ke AI Model

Nah meskipun sudah bisa langsung digunakan di LM Studio ini, tapi fungsinya tetap sangat terbatas. Misalnya saya sering menggunakan local AI ini untuk merangkum tulisan nan panjang dan mengubahnya menjadi list poin krusial nan lebih mudah dipahami. Nah LM Studio, kita kudu copy paste artikelnya secara manual. Cukup panjang dan melelahkan.

Begitu juga kalo pengen upload arsip untuk diproses oleh AI, seperti upload file Excel untuk dianalisa alias upload PDF untuk dijadiin knowledge based dan kita tanya-tanya isinya — itu juga gak bisa di LMStudio ini. Karena disini chat nya bener2 sangat basic. Cuman bisa hubungan dengan AI nya aja tanpa ada fitur upload file, upload dokumen, alias nan lainnya. Karena itu kita bakal memanfaatkan satu aplikasi lagi biar local AI kita lebih optimal, ialah AnythingLLM.

Tinggal download aja AnythingLLM di useanything.com/download. Tinggal download dan install aja sesuai laptop alias desktop temen2. Saat diinstall mungkin bakal muncul notifikasi warning lantaran dari unknown publisher, tap aja more info dan OK in aja.

Begitu dibuka tinggal klik Get Started, pilih LM Studio untuk stream local AI nya. Untuk base URL, kita bisa dapatkan dari local server LM studio. Tinggal buka aja tab local server di LM studio. Pilih AI model apa nan mau di stream. Disini saya pake LLaMa 3 terbaru. Setelah itu tinggal start server aja. Dan base url nya copy dari http://localhost ini sampai ke v1. Jika temen2 menggunakan port default, maka base url nya adalah http://localhost:1234/v1 dan paste di AnythingLLM. Model AI nya langsung muncul dan kedetect. Untuk token context bisa masukkan aja 4096. Lalu next dan biar kan semua settingnya default.

Untuk workspace kita bisa bikin dengan nama nan bebas, dan bisa membikin sebanyak mungkin workspace nan kita mau. Dan disinilah kelebihan Anything LLM, dimana kita bisa upload file alias link website — jadi gak perlu lagi copy paste konten secara manual ke AI nya.

Misalnya disini kita tinggal masukkan aja laman URL Wikipedia Guatemala, lampau fetch dan masukkan ke workspace untuk di embed. Bisa pin juga biar AI nya nge-load isi konten nya. Habis itu udah deh, kita bisa langsung tanya-tanya ke AI nya seputar guatemala. AI bakal menjawab berasas konten nan udah kita embed, plus dikombinasikan juga dengan knowledge nan AI punya. Kita bisa minta poin kebenaran krusial tentang Guatemala misalnya, bisa minta timeline sejarah berdirinya Guatemala, dsb.

Kita bisa merangkum tulisan web juga tanpa kudu copy paste manual. Tinggal fetch aja link tulisan nya.

Tapi nan lebih keren lagi, kita bisa memberikan knowledge based ke Workspace ini. Misal kita bisa upload paper PDF tentang akibat sosial media. Tinggal kita upload aja arsip nya. Dan selain PDF dia juga support file CSV, teks, audio, apalagi support epub juga kalo pengen masukin ebook. Dan setelah diupload tinggal masukkan paper nya ke workspace, dan di pin aja. Habis itu kita bisa tanya-tanya tentang paper nya, poin-poin krusial nya apa dsb.

Dan disini kita gak cuman bisa masukin satu dokumen, tapi bisa banyak arsip dan file sekaligus kedalam workspace, sehingga pas tanya-tanya AI nya, AI bakal mencari dari sumber arsip nan ada. Kalo di AI ini disebut Retrieval-Augmented Generation alias RAG, dimana kita bisa memasukkan info dari arsip ataupun file sebagai sumber rujukan AI diluar info nan dia miliki dari hasil trainingnya, meskipun batasannya adalah panjang konteks nan disupport oleh AI modelnya.

Dan disini temen2 bisa berkreatif aja, mau dipake buat apa local AI nya ini, satu perihal nan pasti, lantaran AI nya ada di laptop kita secara local, kita bebas menggunakannya untuk apapun keperluan kita, dengan data-data nan juga tetap tersimpan local di komputer kita.

Itu nan bisa saya share hari ini. Semoga aja informatif dan berfaedah buat temen2 nan pengen mengakses dan bereksperimen dengan AI model di laptop alias desktopnya masing-masing. Kalo laptop temen2 specs nya tidak bisa untuk menjalankan local AI nan terkecil sekalipun, tetap ada langkah pengganti lainnya ialah menggunakan API kayak dari Groq alias OpenRouter, dimana biaya token untuk open source LLM ini sangat-sangat murah, apalagi di Groq sendiri tetap cuma-cuma sampai saat ini. Tapi ya beda dengan nan dijalankan lokal nan bener2 bisa kita pake sebebas-bebasnya, AI nan menggunakan API tetap diproses di server mereka, bukan di komputer kita, nan artinya data-data kita juga ditransmisikan kesana, dan ada ketentuan-ketentuan nan bertindak kayak batas request, batas token, alias perubahan-perubahan nilai di kemudian hari. Karena memang kita pake resource komputing di server mereka.

Kalo ada pertanyaan silakan sampaikan di kolom komentar, sampai berjumpa lagi di tutorial selanjutnya.