Ứng dụng tài chính của tôi FinMan VHWorx đọc đồng hồ tiện ích, biên lai nhiên liệu và sao kê ngân hàng từ ảnh và tệp. Tất cả đều chạy trên các LLM tầm nhìn/văn bản qua OpenRouter — và nhiều thứ trong số đó trên các mô hình miễn phí.
Các mô hình miễn phí rất tuyệt trừ một điều: chúng liên tục thay đổi. Chúng xuất hiện, biến mất, được đổi tên hoặc bị giảm giá một cách im lặng. Nếu mã hóa cứng một id mô hình, tính năng của bạn sẽ chết một cách im lặng vào một thứ Ba ngẫu nhiên.
Vì vậy, FinMan đã ngừng coi các mô hình như là hằng số. Các mô hình là dữ liệu:
- Một công việc hàng ngày đồng bộ danh sách mô hình trực tiếp từ OpenRouter. Các mô hình tầm nhìn miễn phí mới được thêm vào tự động; những mô hình đã biến mất sẽ bị vô hiệu hóa.
- Các mô hình trả phí được xếp hạng lại theo giá hàng ngày. Gia đình Gemini Flash hỗ trợ cho tầng miễn phí, rẻ nhất trước — vì vậy một chuyển đổi không bao giờ gây bất ngờ cho hóa đơn.
- Nhận diện đi theo danh sách ưu tiên. Nếu một mô hình gặp lỗi hoặc biến mất, mô hình tiếp theo sẽ đảm nhận. Một mô hình chết không bao giờ làm hỏng ảnh của người dùng.
- Ứng dụng tự nâng cấp. Một công việc riêng biệt gán mô hình hàng đầu từ bảng xếp hạng cộng đồng công khai làm ưu tiên #1 — vì vậy các nhiệm vụ văn bản sẽ chuyển sang bất kỳ thứ gì hiện đang tốt nhất.
- Thay đổi sẽ ping cho tôi trên Telegram. Không có bảng điều khiển nào để kiểm tra.
Kết quả sau nhiều tháng sản xuất: Tôi chưa chạm vào một id mô hình nào kể từ đó. Mỗi làn sóng giảm giá đã trôi qua mà không ai nhận thấy — cả tôi và người dùng.
Nếu bạn đang xây dựng trên các LLM (đặc biệt là các tầng miễn phí), đây là thay đổi nhỏ có tác động lớn nhất mà tôi biết: các mô hình như dữ liệu, không phải hằng số. Một bảng, một cron hàng ngày, một danh sách ưu tiên. Đó là toàn bộ mẹo.