Ommabop sun’iy intellekt modellari shaxsiy moliya bo‘yicha savollarga bergan javoblarining o‘rtacha 57% ida xatoga yo‘l qo‘ygan. Bu fintech kompaniyasi Saturn tadqiqotida qayd etilgan.
Tadqiqotchilar ChatGPT, Claude, Gemini, Copilot va Grok kabi 18 ta modelni pensiya, soliqlar, qarzlar va jamg‘armalar bo‘yicha 121 ta savol orqali sinovdan o‘tkazgan. Javoblar barqarorligini tekshirish uchun har bir savol besh martadan berilgan va jami 10 mingdan ortiq javob olingan.
Bir nechta hisob-kitobni talab qiladigan murakkab savollarda o‘rtacha xatolik darajasi 88% ga yetgan. Ayrim modellar bunday savollarning 99% iga noto‘g‘ri javob bergan, deb yozadi Financial Times.
Tadqiqotchilar javobni faqat hisob-kitob yoki fakt noto‘g‘ri bo‘lsa emas, balki muhim tafsilotlar yoki ogohlantirishlar e’tibordan chetda qolganida ham xato deb baholagan.
Saturn ma’lumotlariga ko‘ra, chatbotlar hisob-kitoblarda xatolarga yo‘l qo‘ygan, soliq qonunchiligidagi kutilayotgan o‘zgarishlarni e’tibordan chetda qoldirgan va ayrim hollarda mavjud bo‘lmagan qoidalarni o‘ylab topgan.
- Hisobotdagi natijalarga ko‘ra, eng ko‘p xatoga Claude Haiku 4.5 yo‘l qo‘ygan — javoblarining 82% i xato deb topilgan;
- Gemini 3.1 Pro — 73%;
- Grok 4.5 — 59%;
- GPT-5.6 Luna — 58%.
Eng aniq natijani fikrlash rejimidagi Claude Opus 5 ko‘rsatgan, biroq uning javoblarining ham 39% i xato deb baholangan.
Bepul modellar pullik modellarga qaraganda ko‘proq xato qilgan: mos ravishda 63% va 49%. Eng murakkab savollarda bepul modellarning noto‘g‘ri javoblari ulushi 93% gacha yetgan.
Masalan, Claude Haiku 4.5 Buyuk Britaniyada pensiyalarni soliqqa tortish qoidalarini noto‘g‘ri tushuntirgan. Saturn bahosiga ko‘ra, foydalanuvchi model tavsiyasiga amal qilganida, bu 17 500 funt sterling miqdorida qo‘shimcha soliq to‘lashiga olib kelishi mumkin edi.
Boshqa bir holatda esa Claude bitiruvchi chet elga ko‘chib ketganidan so‘ng talaba kreditini to‘lashni to‘xtatishi mumkinligi haqida mavjud bo‘lmagan qoidani o‘ylab topgan.
Avvalroq Anthropic tadqiqotchisi SI kelgusi o‘n yilda insoniyatni yo‘q qilishi ehtimoli 10% dan yuqori ekanligi haqida aytgandi.
