Aplikacioni im financiar FinMan VHWorx lexon matësit e utiliteteve, faturat e karburantit dhe deklaratat bankare nga fotografitë dhe skedarët. Të gjitha këto funksionojnë me LLM-të e vizionit/tekstit përmes OpenRouter — dhe shumë prej tyre me modele të nivelit falas.
Modelet falas janë të shkëlqyera përveç një gjëje: ato ndryshojnë vazhdimisht. Ato shfaqen, zhduken, rinovohen ose deprecohen në heshtje. Nëse kodoni një id modeli, dhe funksioni juaj vdes në heshtje një të martë të rastësishme.
Prandaj FinMan ndaloi së trajtuari modelet si konstanta. Modelet janë të dhëna:
- Një punë e përditshme sinkronizon listën e modeleve të drejtpërdrejta nga OpenRouter. Modelet e reja të vizionit falas shtohen automatikisht; ato që kanë humbur deaktivizohen.
- Rezervat e paguara radhiten sipas çmimit çdo ditë. Familja Gemini Flash mbështet nivelin falas, më e lira e para — kështu që një kalim nuk e befason kurrë faturën.
- Njohja ecën listën e prioritetit. Nëse një model gabon ose është zhdukur, modeli tjetër merr përsipër. Një model i vdekur kurrë nuk e prish një fotografi të përdoruesit.
- Aplikacioni përmirëson veten. Një punë e veçantë ngjit modelin më të mirë nga një renditje publike të komunitetit si prioritet #1 — kështu që detyrat e tekstit lëvizin qetësisht në atë që është aktualisht më e mira.
- Ndryshimet më njoftojnë në Telegram. Asnjë panel për të kontrolluar.
Rezultati pas muajsh në prodhim: nuk kam prekur një id modeli që nga atëherë. Çdo valë deprecimi kaloi pa u vënë re — nga unë dhe nga përdoruesit.
Nëse po ndërtoni mbi LLM-të (veçanërisht nivelet falas), kjo është ndryshimi më i lartë i leverdisë që njoh: modelet si të dhëna, jo konstanta. Një tabelë, një cron i përditshëm, një ecje prioriteti. Kjo është e gjithë truku.