Llama3, model terbaru dari Meta AI, telah menarik perhatian besar di kalangan pengembang. Banyak yang penasaran apakah model Llama3 70B bisa dijalankan secara lokal hanya dengan GPU berkapasitas 4GB. Jawabannya adalah bisa, dan di artikel ini kita akan membahas caranya.

Llama3 70B bukan hanya tentang efisiensi komputasi, tetapi juga kualitas data yang digunakan untuk melatih model ini. Apa yang membuat Llama3 begitu kuat? Bagaimana perbandingannya dengan GPT-4, salah satu model AI terpopuler saat ini? Apakah ini menjadi tanda bahwa model open-source mulai menyalip model closed-source?

Cara Menjalankan Llama3 70B pada GPU 4GB

Menjalankan Llama3 70B dengan hanya 4GB VRAM mungkin terdengar mustahil bagi banyak orang. Namun, berkat AirLLM, hal ini bisa dilakukan dengan mudah, bahkan bisa berjalan di MacBook. AirLLM adalah framework open-source yang memungkinkan pengguna menjalankan model Llama3 70B dengan sumber daya minimal. Inilah caranya:

Install AirLLM

Sebelum memulai, Anda perlu menginstal AirLLM dengan perintah berikut

pip install airllm

Contoh code

Setelah AirLLM terinstal, Anda bisa menjalankan Llama3 70B dengan beberapa baris kode Python berikut:

from airllm import AutoModel
MAX_LENGTH = 128
model = AutoModel.from_pretrained("v2ray/Llama-3-70B")
input_text = [        
  'What is the capital of United States?'    
]
input_tokens = model.tokenizer(input_text,    
  return_tensors="pt",     
  return_attention_mask=False,     
  truncation=True,     
  max_length=MAX_LENGTH,     
  padding=False)

generation_output = model.generate(    
  input_tokens['input_ids'].cuda(),     
  max_new_tokens=20,    
  use_cache=True,    
  return_dict_in_generate=True)

output = model.tokenizer.decode(generation_output.sequences[0])
print(output)

Dengan kode ini, Anda dapat menjalankan Llama3 70B tanpa membutuhkan GPU besar. Namun, penting untuk diingat bahwa ini lebih cocok untuk skenario pemrosesan data asinkron dibandingkan penggunaan secara real-time seperti chatbot.

Perbandingan Llama3 70B dengan GPT-4

Llama3 70B telah dibandingkan dengan GPT-4 dan Claude3 Opus pada lmsys leaderboard, dan hasilnya cukup mengejutkan. Llama3 70B berada sangat dekat dengan GPT-4, meskipun perbandingan yang lebih tepat mungkin adalah dengan model 400B yang masih dalam tahap pelatihan.

Dalam hal performa, meskipun ukuran Llama3 70B lebih kecil, model ini mampu mendekati GPT-4 berkat peningkatan data latih yang luar biasa, baik dari segi kuantitas maupun kualitas. Dengan peningkatan hingga 15 triliun data latih, Meta AI berhasil melakukan deduplikasi dan penyaringan data yang sangat ketat. Bahkan, total data sebelum disaring mencapai lebih dari 100 triliun.

Teknologi di Balik Llama3

Salah satu peningkatan kunci di Llama3 adalah penerapan teknik pelatihan berdasarkan Direct Preference Optimization (DPO). Teknik ini kini menjadi standar dalam pelatihan model besar dan secara signifikan meningkatkan akurasi hasil model. Namun, rahasia utama kekuatan Llama3 terletak pada penggunaan data berkualitas tinggi.

Meta AI telah menyaring dan membersihkan datanya dengan cermat, menggunakan model besar seperti Llama2 untuk membantu memilih data yang relevan. Hal ini membuat model seperti Llama3 tidak hanya dilatih pada data yang besar, tetapi juga data yang bersih dan terstruktur, memberikan performa yang lebih baik.

Apakah Llama3 Menandakan Dominasi Open-Source?

Munculnya Llama3 70B yang bisa dijalankan secara efisien dengan GPU 4GB menandakan kemajuan besar dalam dunia open-source AI. Namun, apakah ini berarti model open-source mulai mendominasi model closed-source seperti GPT-4?

Meskipun Llama3 menunjukkan kekuatan model open-source, pertarungan antara open-source dan closed-source masih jauh dari selesai. Melatih model besar seperti ini membutuhkan investasi yang sangat besar. Tidak banyak perusahaan yang memiliki sumber daya untuk mengelola proyek sebesar ini. Namun, semangat berbagi dalam komunitas open-source AI tetap menjadi kunci kemajuan pesat yang kita saksikan selama ini.

Dalam beberapa bulan ke depan, kita mungkin akan melihat banyak perusahaan kecil yang berfokus pada pengembangan model besar mulai menghilang karena tantangan finansial. Di sisi lain, perusahaan besar yang bisa terus menginvestasikan sumber daya mungkin akan menjadi pemain dominan di masa depan.

Kesimpulan

Llama3 70B membawa perubahan signifikan dalam dunia AI, terutama bagi komunitas open-source. Kemampuannya untuk dijalankan pada GPU kecil seperti 4GB membuka peluang bagi lebih banyak orang untuk terlibat dalam pengembangan AI. Dengan teknologi pelatihan seperti DPO dan kualitas data yang jauh lebih baik, Llama3 mendekati model AI closed-source seperti GPT-4 dalam hal performa.