දැනටම ඔයාගේ phone එකේ ChatGPT, Gemini වගේ apps තියෙනවනේ. ඒවගෙන් වැඩ කරන්න internet ඕන. එහෙමත් නැත්නම් data/wifi on එකේ තියෙන්න ඕන. ඒ ඇයි?
මොකද ඔයා chat කරන AI එක තියෙන්නේ ඔයාගේ phone එකේ නෙවෙයි. ඒක තියෙන්නෙ වෙනම රටක/ වෙනම තැනක. ඔයා කරන්නේ app එක හරහා ඒ AI model එකට request එකක් දාන එක විතරයි. මොකද AI model එකක් run කරන්න නම් අධි බලයක් තියෙන විශාල පරිගණකයක් ඕන වෙනවා. ඔයාගේ phone එකේ තියෙන්නේ, ඒවත් එක්ක සංසන්දනය කරනකොට බොහොම පොඩි බලයක්.
හැබැයි ඔය පොඩි බලය යටතේ වුණත් run කරවන්න පුළුවන් AI model තියෙනවා කිව්වොත්? ඔව්, එහෙම ඒවා තියෙනවා. අර කලින් කිව්ව වර්ගේ ඒවා තරම් නම් බුද්ධිමත් නෑ ඒත් බොහොම හොඳ output ලබාදෙන ඉතාම කුඩා AI models තියෙනවා.
සාමාන්ය විදියට AI පාවිච්චි නොකර ඇයි අපි මේ පුංචි model පාවිච්චි කරන්නේ? මූලිකම දේ තමයි පෞද්ගලිකත්වය. අපි internet එක හරහා පාවිච්චි කරන AI වලදී අපේ පෞද්ගලික විස්තර තුන්වන පාර්ශවයකට යනවා. අපි සමහර අතිශය පෞද්ගලික දේවල් පවා AI එක්ක කතා කරනවා, මොකද මනුස්සයෙක් එක්ක කියන්න බැරි දෙයක් වුණත් AI එකක් එක්ක අපිට නිදහසේ කියන්න පුළුවන්. ඉතින් අපේ AI එක ඉන්නේ අපි ළඟම නම්, මේ විස්තර පිටතට යයි කියලා අපිට කිසිම බයක් වෙන්න දෙයක් නෑ. මෙන්න මේ හේතුව නිසා තමයි සංවේදී දත්ත එක්ක වැඩ කරන සමාගම් එයාලාගේම AI model භාවිතයට ගන්නේ. එයාලගේ සේවකයන්ට අනික් AI භාවිතය තහනම් පවා කරන්නේ.
අනික් දේ තමයි limitations. වෙන කෙනෙක් ගේ system එකක දුවන AI එකක්, අපිට පාවිච්චි කරන්න එයාලා දෙන්නේ කොන්දේසි ගොඩාක් එක්ක. සමහර AI models වලට limitations ගොඩක් තියෙනවා, ටික වෙලාවක් chat කළාට පස්සේ අපිට කියනවා මුදල් ගෙවලා package එකක් ගන්න කියලා. ඒත් අපි ගාව run කරන free AI models වලට අපි සතයක් වත් ගෙවන්න ඕන නෑ.
අතිශය සංවේදී දත්ත handle කරන AI models තමන් ළඟ තියෙන උපාංග වලම run කරවන්න මිනිස්සු ක්රමයෙන් පුරුදු වෙමින් ඉන්නවා. මෙන්න මේ හේතුව නිසා තමයි නවීන ජංගම දුරකථන වල NPU එකක් එහෙමත් නැත්නම් Neural Processing Unit එකක් සම්බන්ධ කරලා එවන්නේ. අලුතින් නිකුත් කරන Snapdragon chip set වල (Snapdragon 7/8) මේ NPU අඩංගු වෙනවා. මෙන්න මේ NPU එකේ උදවුවෙන් අපිට පුළුවන් කාර්යක්ෂමව AI model එකක් phone එකේම run කරවන්න. ඒ විතරක් නෙවෙයි, NPU එකක් නැති phone එකක වුණත් GPU එකේ සහ CPU එකේ උපකාරයෙන් AI models, ටිකක් හෙමින් වුණත් run කරන්න පුලුවන්.
මේ විදියට AI model එකක් තමන්ගේ phone එකේම run කරවන්න උපකාරී වෙන apps කීපයක් ගැන තමයි අද කියන්න යන්නේ.
Google AI Edge Gallery
Research at Google
මේ App එකෙන් ඔයාට පුළුවන් LLM එකක්, එහෙමත් නැත්නම් Large Language Model එකක් ඔයාගේ phone එකේම run කරවන්න. මේක Google සමාගමේ පර්යේෂණාත්මක project එකක්, තාම full release කරලා නෑ. මේක install කරගෙන, app එකෙන් recommend කරන AI model එක download කරලා පොඩි ටෙස්ට් එකක් දාලා බලන්න. මම මේ app එකෙන් Google Gemma 4 try කරලා බැලුවා, සිංහල භාෂාවෙන් පවා chat කරන්න පුළුවන්. මම හිතුවට වඩා සෑහෙන්න ඉස්සරහින් තියෙන AI model එකක් මේක. ඊට අමතරව තවත් AI models ගණනාවක් මේ app එක එක්ක ලබාගන්න පුලුවන්.
ToolNeuron
sonar2377
මේක AI Enthusiast Developer කෙනෙක් හදපු Open Source app එකක්. මේක Google AI Edge Gallery එකට වඩා ටිකක් සංකීර්ණයි. හැබැයි LiquidAI ලාගේ LFM වගේ ඉතාමත් කුඩා ප්රමාණයේ AI model වල ඉඳන් ඉතාම විශාල ප්රමාණයේ AI model දක්වා මේකේ download කරන්න පුළුවන්. හැබැයි ඒ විශාල models ඔයාගේ phone එකේ නම් වැඩ කරයිද කියලා මුලින් පොඩ්ඩක් බලලා ඉන්න. මම Try කළේ LFM 2, 350MB වගේ ඉතාමත් කුඩා ප්රමාණයේ model එකක්. ඉතා වේගවත්, slow වෙන්නේ නැති හරිම සරල AI model එකක්. ඔයත් AI enthusiast කෙනෙක් නම් අනිවාර්යෙන් try කරලා බලන්න.
මේ App එකේ LLM විතරක් නෙවෙයි, Image generation කරන්න පවා models download කරන්න පුළුවන්. මම ඒක නම් try කළේ නෑ මොකද image generation වලට මේකට වඩා හොඳ app එකක් මම පාවිච්චි කරනවා. ඒක ගැන තමයි ඊළඟට කියන්න යන්නේ.
Local Dream
xororzමේ app එකෙන් අපිට පුළුවන් Stable Diffusion models අපේ phone එකේ run කරවලා images generate කරන්න. මේ app එක හදලා තියෙන developer නොමිළේම බොහොම ප්රසිද්ධ stable diffusion models රාශියක් අපේ phone වල run කරන්න පුළුවන් විදියට ප්රතිනිර්මාණය කරලා තියෙනවා, ලොකු වෙහෙසක් වෙලා. NPM chip එකක් තියෙන නවීන දුරකථන වලට ගැලපෙන වෙනම model versions පවා තියෙනවා. මම models කීපයක්ම NPM Chip එකක් තියෙන device එකක try කළා. සාපේක්ෂව ගත්තම, වේගවත්ව මේකෙන් images generate කරන්න පුළුවන් වගේම image quality එකත් සෑහෙන්න හොඳයි. මම නම් මේක download කළේ GitHub releases පිටුවෙන්, ඒත් මේක play store එකෙත් තියෙනවා.
xororzdev
හැබැයි මේ Play Store version එකේ යම් යම් restrictions තියෙනවා කියලයි ආරංචි.
සාමාන්යයෙන් 3rd party services වල image generation වලට free ලැබෙන්නේ පොඩි quota එකක් නිසා hobby එකට image generation කරන අයට මේක සුපිරි වැඩක්. හැබැයි මේ apps තුනටම battery power නම් ගොඩක් ඕන. ඒක එහෙම වෙන්නත් ඕන ඉතින් මේ model එකක් run කරවන්න ලොකු processing power එකක් ඕන වෙනවනේ.
මේ ලිපිය ගොඩක් වැදගත් වෙන්නේ AI ගැන ආසාවක් උනන්දුවක් තියෙන අයට තමයි. එහෙම අය අනිවාර්යෙන් මේ apps ට්රයි කරන්න. මේ වගේ තව apps ඇති, ඒවත් comment කරන්න. ගිහින් එන්නම්, ජය වේවා!
