Raqamli texnologiyalar vazirligi o‘zbek tilidagi yirik ochiq matnli ma’lumotlar korpusini ishlab chiqib, Hugging Face platformasida foydalanish uchun joylashtirdi. Bu haqda vazirlik matbuot xizmati xabar berdi.
Vazirlik korpus Shavkat Mirziyoyevning 2025-yil 21-oktabr kuni sun’iy intellekt texnologiyalarini rivojlantirish masalalariga bag‘ishlangan yig‘ilishda bergan topshirig‘i doirasida yaratilganini qayd etdi. Unda davlat rahbari sun’iy intellekt dasturlari samarali ishlashi uchun o‘zbek tilini mukammal tushunishi zarurligini ta’kidlagan edi.
Korpus jami 5,6 mln ta hujjat va qariyb 6 mlrdga yaqin so‘zni o‘z ichiga oladi. Undagi ma’lumotlar o‘zbek tilining lotin va kirill yozuvlaridagi matnlarni qamrab oladi.
Korpus 10 ta manbadan shakllantirilgan. Unga skanerlangan kitoblar, gazeta va arxiv materiallari, qonunchilik hujjatlari, Vikipediya maqolalari, veb-sahifalar hamda ochiq Telegram postlari kiritilgan.
Eng katta ulush Milliy kutubxonaga tegishli bo‘lib, undagi kitoblar, davriy nashrlar va dissertatsiyalar 1,83 mlrd so‘zni yoki jami ma’lumotlarning 30,1% ini tashkil etadi. Tahrirchi platformasidagi kitoblar 1,28 mlrd so‘z (21,1%), internet sahifalari 1 mlrd so‘z (16,6%), Uzarxiv hujjatlari esa 889 mln so‘z (14,7%) bilan keyingi o‘rinlarda turadi.
Ma’lumotlar qayta ishlanib, sifati bo‘yicha saralangan va soha hamda mavzular kesimida tasniflangan. Shaxsiy ma’lumotlar esa [PHONE], [NAME] kabi maxsus belgilar bilan almashtirilgan.
Loyiha o‘zbek tilidagi raqamli ma’lumotlar bazasini kengaytirish, sun’iy intellekt modellarining tilni tushunish, qayta ishlash va sifatli matnlar yaratish imkoniyatlarini oshirishga qaratilgan.
Vazirlik hozirda korpusni katta til modellari (LLM) ishlab chiquvchilariga taqdim etish ustida ishlamoqda. Xususan, Qwen modeli bilan hamkorlik boshlangan.
Ochiq ma’lumotlar korpusi bilan Hugging Face platformasida tanishish mumkin.
Avvalroq Spot Raqamli texnologiyalar vazirligi IT sohasidan 2027-yil uchun takliflar yig‘ayotgani haqida yozgan edi.