8000 GitHub - DAP-Lab/g3h_dataset · GitHub
[go: up one dir, main page]

Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

11 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 

Repository files navigation

Grade 3 Hindi (G3H) Dataset

The dataset described here is intended to be released with the accepted paper (currently under review for ICASSP 2027) titled "Hindi Oral Reading Miscue Detection with Semi-supervised Fine-tuning".

Dataset details

The dataset contains audio recordings and text transcripts of 1908 utterances of read aloud text across 1036 unique speakers. These audios were collected as part of a benchmarking exercise in December 2023 for testing reading levels in Grades 3 students across a government school network predominantly from the North Indian Hindi speaking states on Hindi level-appropriate texts. The text prompts which comprise of 3 stories of 2 paragraphs each have also been provided. The total audio duration of the dataset is 21.3 hours with speakers uniformly distributed across the three stories. The dataset is fully labeled with filler/non-speech events and word-level transcriptions using a semi-automated transcription process. Additionally, word miscue labels are provided for each utterance.

Ethics clearance was obtained for the audio recording with anonymised speaker information. The students, who come with diverse home languages, are introduced to both Hindi and English reading and writing in Grade 1.

Text Prompts

The grade-appropriate text passages were chosen by a working group of teachers from the government school network from Open Content sources such as Panchatantra and Story Weaver. The 3 passages chosen for Grade 3 are given below. Note that each story has been split up into 2 paragraphs of 50-70 words each. Each paragraph serves as the text prompt for one utterance in our dataset. So while most children recorded both paragraphs of any one story, there were a few who recorded only one of the two paragraphs.

Story 1: जूता (ID: HI-G3H-001, 138 words)

एक राजा था। उसका एक बड़ा-सा राज्य था। एक दिन उसे देश घूमने का विचार आया और उसने देश भ्रमण की योजना बनाई और घूमने निकल पड़ा। जब वह यात्रा से लौट कर अपने महल आया, उसने अपने मंत्रियों से पैरों में दर्द होने की शिकायत की। राजा का कहना था कि मार्ग में जो कंकड़-पत्थर थे, वे मेरे पैरों में चुभ गए और इसके लिए कुछ इंतजाम करना चाहिए।

कुछ देर विचार करने के बाद उसने अपने सैनिकों व मंत्रियों को आदेश दिया कि देश की संपूर्ण सड़कें चमड़े से ढक दी जाएं। राजा का ऐसा आदेश सुनकर सब सकते में आ गए। लेकिन किसी ने भी मना करने की हिम्मत नहीं दिखाई। यह तो निश्चित ही था कि इस काम के लिए बहुत सारे रुपए की जरूरत थी। लेकिन फिर भी किसी ने कुछ नहीं कहा।

Story 2: भूखी चिड़िया (ID: HI-G3H-002, 132 words)

सालों पहले एक घंटाघर में टींकू चिड़िया अपने माता-पिता और पाँच भाइयों के साथ रहती थी। टींकू चिड़िया छोटी सी थी। उसके पंख मुलायम थे। उसकी माँ ने उसे घंटाघर की ताल पर चहकना सिखाया था। घंटाघर के पास ही एक घर था, जिसमें पक्षियों से प्यार करने वाली एक महिला रहती थी। वह टींकू चिड़िया और उसके परिवार के लिए रोज रोटी का टुकड़ा डालती थी।

एक दिन वह बीमार पड़ गई और उसकी मौत हो गई। टींकू चिड़िया और उसका पूरा परिवार उस औरत के खाने पर निर्भर था। अब उनके पास खाने के लिए कुछ नहीं था और न ही वो अपने लिए खाना जुटाने के लिए कुछ करते हैं। एक दिन भूख से बेहाल होने पर टींकू चिड़िया के पिता ने कीड़ों का शिकार करने का फैसला किया।

Story 3: कहानियों का शहर (ID: HI-G3H-003, 119 words)

मीमी एक छोटी सी लड़की थी जो एक भीड़-भाड़ वाले शहर में रहती थी। उसे कहानियाँ बहुत पसंद थीं, पर उसे कहानियाँ सुनाने के लिए किसी के पास समय नहीं था। मीमी ने जिससे भी कहानियाँ सुनाने की बात कही, उनके पास कहानियाँ सुनाने की फ़ुर्सत नहीं थी। किसी के पास मीमी के लिए समय नहीं था। कहानियों के लिए तो बिल्कुल नहीं।

एक दिन दीदी मीमी के स्कूल आईं। दीदी टीचर नहीं थीं और वे पढ़ती भी नहीं थीं। वे बच्चों से तो बड़ी थीं लेकिन टीचर से छोटी ही थीं। दुबली पतली सी, चमकीली आँखें। चेहरे पर हल्की सी मुस्कान। दीदी रोज़ स्कूल आने लगीं और बच्चों की दोस्त बन गईं और टीचर की भी।

Manual transcription process

The procedure for manual transcription is as follows:

The collected audio recordings are first passed through an in-house ASR [Kaldi TDNN with Language Model trained on the text prompts and a garbage model] to get the decoded text. Using the alignment of the decoded text with the text prompts and further using the time-stamps, sentence-level transcripts are created in an Audacity label track format. The audio and the label track are then opened in Audacity by the transcriber for sentence level transcription. The transcribers are expected to label each word based on what they perceive as uttered in the audio. They type in Devanagari (phonetic alphabet easily convertible to phone symbols) using the Microsoft’s Indic Language Input Tool (ILIT) installed on the transcriber’s machine. Additionally, the transcriber is trained to use the following labels for certain common events encountered in the recordings.

Transcription Label Description
SIL  Silence (>200ms) 
BR  Breath (inhalation/exhalation), sniffling
ON  Other noise appearing in isolation e.g. Noise of birds, mobile, vehicles, bell, mic noise, clearing of throat  
FP  Filled pauses like uh, hmm, umm, etc. 
IR  Irrelevant speech (background speaker) present at the start or end of the recording  
MB  Unintelligible words or mumbling 
WH  Child whispering a word (many a times this can be heard when the child is trying to spell out the word) 
HS  Hesitation while uttering a word. It is used as a suffix for words where the child hesitated while reading. 

The completed transcriptions are further quality-checked by an expert who is comfortable with both spoken Hindi and Devanagari orthography and is aware of the labelling conventions. These non-speech labels are retained in the raw transcription files but are removed during the preprocessing steps for the automatic system development. Before phone-level scoring, only the actual word tokens are passed to the lexicon for phone sequence generation.

Ground-truth miscue labels

For the reading assessment task, the Ground-truth miscue labels (Correct/Substitution/Deletion/Insertion) are derived by comparing the manual transcription with suitably aligned text prompts using a phonetically oriented alignment. The figure below shows an example of this alignment containing the different miscue types using a Hindi sentence. The prompt text (top) is aligned with the ground-truth text to obtain the miscues - substitution (दादी → दीदी), deletion (रोज़ omitted), and insertion (भी added). The other words are correctly uttered.

image

Vocabulary Token details

The table below contains the details of the Indian language universal phone set that we have considered, along with word examples.

Phone Devanagari Symbol Hindi Example Word English Example Word
aa अ अनार up
AA आ / ा आम father
ii इ / ि दिन sit
II ई / ी गीत see
uu उ / ु तुम put
UU ऊ / ू दूध moon
ee ए / ऐ / े / ै / ॆ एक bake
ae ऍ / ॲ / ॅ बॅट (loanword) cat
oo ओ / ो / ऒ / ॊ सोना go
OO औ / ौ / ऑ / ॉ / ॏ / ॕ कौन caught
aw - - cow
ay - - my
ex - - bed
oy - - boy
--- --- --- ---
k क / क़ कमल kettle
kh ख / ख़ खाना -
g ग / ग़ गाँव go
gh घ घर -
c च चलो change
ch छ छत -
j ज जल jug
jh झ झूठ -
T ट टमाटर top
Th ठ ठंडा -
D ड / ड़ डमरू/लड़का dog
Dh ढ / ढ़ ढाल -
N ण बाण -
t त तब -
th थ थाली Thorium
d द दिन they
dh ध धन -
n न / ऩ नया number
p प पानी parrot
ph फ फल full
b ब बच्चा bat
bh भ भारत -
m म माँ mango
q ं / ँ माँ -
H ः दुःख -
z ज़ ज़मीन zoo
f फ़ फ़सल -
y य / य़ यह yak
r र / ऱ राम right
l ल / ळ लड़का light
w व वन wear
sh श / ष शहर share
s स सत्य sea
hh ह हाथ head
jz - - jazz
ng - - sing
v - - vase
zh - - vision

Each of the above 52 phones is a token in the output vocabulary. In addition to these, we use an additional 5 special tokens (Total: 57) which are given below.

Token Description
* Word boundary token
SIL Silence segment
(space) Phone-boundary marker
[UNK] Unknown token
[PAD] Padding token

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

0