A pénzügyi alkalmazásom FinMan VHWorx olvassa a közműmérőket, üzemanyag számlákat és banki kivonatokat fényképekből és fájlokból. Mindez az OpenRouter-en keresztül működik látás/szöveg LLM-eken — és sok ingyenes szintű modellen.
Az ingyenes modellek nagyszerűek, kivéve egy dolgot: folyamatosan változnak. Megjelennek, eltűnnek, átnevezik őket vagy csendben elavulnak. Ha hardcode-ol egy modell azonosítót, a funkciója csendben meghal egy véletlenszerű keddi napon.
Ezért a FinMan abbahagyta a modellek konstansként való kezelését. A modellek adatok:
- Egy napi feladat szinkronizálja az élő modell listát az OpenRouter-ből. Új ingyenes látásmodellek automatikusan hozzáadódnak; eltűntek deaktiválva.
- A fizetett tartalékok napi szinten újrarendeződnek ár szerint. A Gemini Flash család támogatja az ingyenes szintet, a legolcsóbbtól kezdve — így egy failover soha nem lepheti meg a számlát.
- A felismerés végigjárja a prioritási listát. Ha egy modell hibázik vagy eltűnik, a következő átveszi. Egy halott modell soha nem törheti meg a felhasználó fényképét.
- Az alkalmazás önállóan frissíti magát. Egy külön feladat rögzíti a legjobb modellt egy nyilvános közösségi ranglistáról prioritás #1-ként — így a szöveges feladatok csendesen átkerülnek a jelenleg legjobbra.
- A változások értesítenek Telegramon. Nincs szükség irányítópultok ellenőrzésére.
A hónapok gyártásának eredménye: azóta nem érintettem meg egy modell azonosítót sem. Minden elavulási hullám észrevétlenül ment át — általam és a felhasználók által.
Ha LLM-eken (különösen ingyenes szinteken) épít, ez a legmagasabb hatású kis változás, amit ismerek: modellek mint adatok, nem konstansok. Egy táblázat, egy napi cron, egy prioritási séta. Ez az egész trükk.