Mano finansų programa FinMan VHWorx skaito komunalinius skaitiklius, degalų kvitus ir banko išrašus iš nuotraukų ir failų. Visa tai veikia per vizijos/teksto LLMs per OpenRouter — ir dauguma to veikia nemokamų modelių pagrindu.
Nemokami modeliai yra puikūs, išskyrus vieną dalyką: jie nuolat keičiasi. Jie atsiranda, dingsta, pervadinami arba tyliai atnaujinami. Įtvirtinkite modelio ID, ir jūsų funkcija tyliai miršta atsitiktinę antradienį.
Todėl FinMan nustojo traktuoti modelius kaip konstantas. Modeliai yra duomenys:
- Kiekvieną dieną sinchronizuojamas gyvas modelių sąrašas iš OpenRouter. Nauji nemokami vizijos modeliai automatiškai pridedami; dingę modeliai deaktyvuojami.
- Mokami atsarginiai kasdien perrikiuojami pagal kainą. Gemini Flash šeima palaiko nemokamą lygį, pigiausi pirmiausia — todėl atsarginiai modeliai niekada nenustebina sąskaitos.
- Atpažinimas vaikšto prioritetų sąrašu. Jei modelis klaidingas arba dingęs, kitas perima. Vienas miręs modelis niekada nesugadina vartotojo nuotraukos.
- Programa atnaujina save. Atkirtas darbas fiksuoja geriausią modelį iš viešo bendruomenės reitingo kaip prioritetą #1 — todėl teksto užduotys tyliai pereina prie to, kas šiuo metu geriausia.
- Pokyčiai praneša man Telegram. Nėra prietaisų skydelių, kuriuos reikia tikrinti.
Rezultatas po mėnesių gamyboje: aš nepalietiau modelio ID nuo tada. Kiekviena atnaujinimo banga praėjo nepastebėta — man ir vartotojams.
Jei kuriate LLM (ypač nemokamų lygių), tai yra didžiausio poveikio mažas pokytis, kurį žinau: modeliai kaip duomenys, o ne konstantos. Lentelė, kasdienis cron, prioritetų vaikščiojimas. Tai visas triukas.