The dataset described here is intended to be released with the accepted paper (currently under review for ICASSP 2027) titled "Hindi Oral Reading Miscue Detection with Semi-supervised Fine-tuning".
The dataset contains audio recordings and text transcripts of 1908 utterances of read aloud text across 1036 unique speakers. These audios were collected as part of a benchmarking exercise in December 2023 for testing reading levels in Grades 3 students across a government school network predominantly from the North Indian Hindi speaking states on Hindi level-appropriate texts. The text prompts which comprise of 3 stories of 2 paragraphs each have also been provided. The total audio duration of the dataset is 21.3 hours with speakers uniformly distributed across the three stories. The dataset is fully labeled with filler/non-speech events and word-level transcriptions using a semi-automated transcription process. Additionally, word miscue labels are provided for each utterance.
Ethics clearance was obtained for the audio recording with anonymised speaker information. The students, who come with diverse home languages, are introduced to both Hindi and English reading and writing in Grade 1.
The grade-appropriate text passages were chosen by a working group of teachers from the government school network from Open Content sources such as Panchatantra and Story Weaver. The 3 passages chosen for Grade 3 are given below. Note that each story has been split up into 2 paragraphs of 50-70 words each. Each paragraph serves as the text prompt for one utterance in our dataset. So while most children recorded both paragraphs of any one story, there were a few who recorded only one of the two paragraphs.
एक राजा था। उसका एक बड़ा-सा राज्य था। एक दिन उसे देश घूमने का विचार आया और उसने देश भ्रमण की योजना बनाई और घूमने निकल पड़ा। जब वह यात्रा से लौट कर अपने महल आया, उसने अपने मंत्रियों से पैरों में दर्द होने की शिकायत की। राजा का कहना था कि मार्ग में जो कंकड़-पत्थर थे, वे मेरे पैरों में चुभ गए और इसके लिए कुछ इंतजाम करना चाहिए।
कुछ देर विचार करने के बाद उसने अपने सैनिकों व मंत्रियों को आदेश दिया कि देश की संपूर्ण सड़कें चमड़े से ढक दी जाएं। राजा का ऐसा आदेश सुनकर सब सकते में आ गए। लेकिन किसी ने भी मना करने की हिम्मत नहीं दिखाई। यह तो निश्चित ही था कि इस काम के लिए बहुत सारे रुपए की जरूरत थी। लेकिन फिर भी किसी ने कुछ नहीं कहा।
सालों पहले एक घंटाघर में टींकू चिड़िया अपने माता-पिता और पाँच भाइयों के साथ रहती थी। टींकू चिड़िया छोटी सी थी। उसके पंख मुलायम थे। उसकी माँ ने उसे घंटाघर की ताल पर चहकना सिखाया था। घंटाघर के पास ही एक घर था, जिसमें पक्षियों से प्यार करने वाली एक महिला रहती थी। वह टींकू चिड़िया और उसके परिवार के लिए रोज रोटी का टुकड़ा डालती थी।
एक दिन वह बीमार पड़ गई और उसकी मौत हो गई। टींकू चिड़िया और उसका पूरा परिवार उस औरत के खाने पर निर्भर था। अब उनके पास खाने के लिए कुछ नहीं था और न ही वो अपने लिए खाना जुटाने के लिए कुछ करते हैं। एक दिन भूख से बेहाल होने पर टींकू चिड़िया के पिता ने कीड़ों का शिकार करने का फैसला किया।
मीमी एक छोटी सी लड़की थी जो एक भीड़-भाड़ वाले शहर में रहती थी। उसे कहानियाँ बहुत पसंद थीं, पर उसे कहानियाँ सुनाने के लिए किसी के पास समय नहीं था। मीमी ने जिससे भी कहानियाँ सुनाने की बात कही, उनके पास कहानियाँ सुनाने की फ़ुर्सत नहीं थी। किसी के पास मीमी के लिए समय नहीं था। कहानियों के लिए तो बिल्कुल नहीं।
एक दिन दीदी मीमी के स्कूल आईं। दीदी टीचर नहीं थीं और वे पढ़ती भी नहीं थीं। वे बच्चों से तो बड़ी थीं लेकिन टीचर से छोटी ही थीं। दुबली पतली सी, चमकीली आँखें। चेहरे पर हल्की सी मुस्कान। दीदी रोज़ स्कूल आने लगीं और बच्चों की दोस्त बन गईं और टीचर की भी।
The procedure for manual transcription is as follows:
The collected audio recordings are first passed through an in-house ASR [Kaldi TDNN with Language Model trained on the text prompts and a garbage model] to get the decoded text. Using the alignment of the decoded text with the text prompts and further using the time-stamps, sentence-level transcripts are created in an Audacity label track format. The audio and the label track are then opened in Audacity by the transcriber for sentence level transcription. The transcribers are expected to label each word based on what they perceive as uttered in the audio. They type in Devanagari (phonetic alphabet easily convertible to phone symbols) using the Microsoft’s Indic Language Input Tool (ILIT) installed on the transcriber’s machine. Additionally, the transcriber is trained to use the following labels for certain common events encountered in the recordings.
| Transcription Label | Description |
|---|---|
| SIL | Silence (>200ms) |
| BR | Breath (inhalation/exhalation), sniffling |
| ON | Other noise appearing in isolation e.g. Noise of birds, mobile, vehicles, bell, mic noise, clearing of throat |
| FP | Filled pauses like uh, hmm, umm, etc. |
| IR | Irrelevant speech (background speaker) present at the start or end of the recording |
| MB | Unintelligible words or mumbling |
| WH | Child whispering a word (many a times this can be heard when the child is trying to spell out the word) |
| HS | Hesitation while uttering a word. It is used as a suffix for words where the child hesitated while reading. |
The completed transcriptions are further quality-checked by an expert who is comfortable with both spoken Hindi and Devanagari orthography and is aware of the labelling conventions. These non-speech labels are retained in the raw transcription files but are removed during the preprocessing steps for the automatic system development. Before phone-level scoring, only the actual word tokens are passed to the lexicon for phone sequence generation.
For the reading assessment task, the Ground-truth miscue labels (Correct/Substitution/Deletion/Insertion) are derived by comparing the manual transcription with suitably aligned text prompts using a phonetically oriented alignment. The figure below shows an example of this alignment containing the different miscue types using a Hindi sentence. The prompt text (top) is aligned with the ground-truth text to obtain the miscues - substitution (दादी → दीदी), deletion (रोज़ omitted), and insertion (भी added). The other words are correctly uttered.
The table below contains the details of the Indian language universal phone set that we have considered, along with word examples.
| Phone | Devanagari Symbol | Hindi Example Word | English Example Word |
|---|---|---|---|
| aa | अ | अनार | up |
| AA | आ / ा | आम | father |
| ii | इ / ि | दिन | sit |
| II | ई / ी | गीत | see |
| uu | उ / ु | तुम | put |
| UU | ऊ / ू | दूध | moon |
| ee | ए / ऐ / े / ै / ॆ | एक | bake |
| ae | ऍ / ॲ / ॅ | बॅट (loanword) | cat |
| oo | ओ / ो / ऒ / ॊ | सोना | go |
| OO | औ / ौ / ऑ / ॉ / ॏ / ॕ | कौन | caught |
| aw | - | - | cow |
| ay | - | - | my |
| ex | - | - | bed |
| oy | - | - | boy |
| --- | --- | --- | --- |
| k | क / क़ | कमल | kettle |
| kh | ख / ख़ | खाना | - |
| g | ग / ग़ | गाँव | go |
| gh | घ | घर | - |
| c | च | चलो | change |
| ch | छ | छत | - |
| j | ज | जल | jug |
| jh | झ | झूठ | - |
| T | ट | टमाटर | top |
| Th | ठ | ठंडा | - |
| D | ड / ड़ | डमरू/लड़का | dog |
| Dh | ढ / ढ़ | ढाल | - |
| N | ण | बाण | - |
| t | त | तब | - |
| th | थ | थाली | Thorium |
| d | द | दिन | they |
| dh | ध | धन | - |
| n | न / ऩ | नया | number |
| p | प | पानी | parrot |
| ph | फ | फल | full |
| b | ब | बच्चा | bat |
| bh | भ | भारत | - |
| m | म | माँ | mango |
| q | ं / ँ | माँ | - |
| H | ः | दुःख | - |
| z | ज़ | ज़मीन | zoo |
| f | फ़ | फ़सल | - |
| y | य / य़ | यह | yak |
| r | र / ऱ | राम | right |
| l | ल / ळ | लड़का | light |
| w | व | वन | wear |
| sh | श / ष | शहर | share |
| s | स | सत्य | sea |
| hh | ह | हाथ | head |
| jz | - | - | jazz |
| ng | - | - | sing |
| v | - | - | vase |
| zh | - | - | vision |
Each of the above 52 phones is a token in the output vocabulary. In addition to these, we use an additional 5 special tokens (Total: 57) which are given below.
| Token | Description |
|---|---|
| * | Word boundary token |
| SIL | Silence segment |
| (space) | Phone-boundary marker |
| [UNK] | Unknown token |
| [PAD] | Padding token |