Ibteda Digital Library: 526.000 libri rari digitalizzati grazie a Nikon e machine learning
Un team pakistano salva testi Urdu rari con fotocamere consumer e una pipeline AI personalizzata per l'archiviazione digitale.
Nel corso di un decennio, tre amici in Pakistan hanno affrontato la sfida di digitalizzare oltre 1.800 libri rari in lingua Urdu, molti dei quali introvabili e sotto forma di lithograph. Il progetto, denominato Ibteda Digital Library, è stato avviato senza budget dedicato, utilizzando fotocamere Nikon D5300 e D3300, LED artigianali e semplici strumenti per la scansione delle pagine.
Il processo si è rivelato complesso, soprattutto nella fase di post-processing: ogni pagina richiedeva correzioni specifiche per margini, prospettiva e pulizia, rese più difficili dalla natura eterogenea dei testi e dalla complessità della scrittura Urdu. Le tecniche di computer vision tradizionali si sono dimostrate inadeguate a causa dell'estrema variabilità dei layout e della presenza di elementi come diacritici, simboli e annotazioni a margine.
Per superare queste difficoltà, uno dei membri ha sviluppato una pipeline di machine learning addestrata sulle correzioni manuali precedenti, utilizzando come label le pagine già elaborate in Photoshop. Il sistema richiede ancora un breve set di calibrazioni manuali per ogni nuovo libro, ma consente la digitalizzazione automatica delle restanti pagine.
I volumi digitalizzati sono oggi conservati su un pool ZFS con manifesti BLAKE3, e resi accessibili tramite l'Internet Archive, preservando un patrimonio culturale unico grazie all'innovazione tecnologica e all'iniziativa personale.
