首页 -> 2007年第7期

听障学生唇读语音识别编码方式的实验研究

作者：雷江华　熊　琪　张军华　梅艳红



　　
　　
　　4 讨论
　　
　　4.1 编码方式在唇读语音识别中的作用
　　实验结果发现，听障学生运用三种编码方式进行唇读汉字语音识别在正确率上差异不显著，在反应时上差异显著，且差异主要来源于手指语编码和口形运动编码，即运用手指语编码识别的反应速度要显著慢于运用口形运动编码识别的反应速度。这说明了听障学生运用三种编码方式唇读语音识别的效果相当，但加工速度存在差异。唇读语音识别效果相当的原因可能主要有：(1)听障学生可能通过日常的口语教学与手语教学形成了口形运动编码、手语编码(包括手指语编码)、语音编码且三者共同作用于听障学生的语言认知。(2)听障学生可能运用了一个一般编码表征进行了唇读汉字语音识别，一般编码表征将语音编码、口形运动编码和手指语编码等三种编码进行了有机结合，在唇读汉字语音识别中发挥着中间转换器的功能，调节着听障学生唇读汉字语音识别的过程，致使三种编码方式之间在正确率上未能表现出显著差异，而一般编码表征的特征则需要深入研究。他们运用三种编码方式唇读语音识别加工速度差异的原因可能主要是：(1)实验对象所在的聋校在小学阶段长期以来强调的是以口语教学为主手语教学为辅，导致了实验中随机选取的听障学生通过口语教学所获取的口形运动编码与语音编码比通过手语教学获取的手势语编码与手指语编码更容易被激活；(2)因唇读主要依赖口形运动来识别，故听障学生表现出了最快的反应速度；(3)在聋校教学中教师尽管经常使用手语，但高年级听障班教师使用更多的是手势语而非手指语，且手势语编码并非建立在手指语编码的基础上(手指语编码与手势语编码并非一一对应的关系)，即手势语不是通过手指语的声母与韵母组合形成的，这容易造成听障学生运用手指语编码进行唇读汉字语音识别时速度变慢。尽管实验采取的是被试内实验设计，但实验随机选取的被试接受语言教育情况的个体差异可能对实验结果存在一定的影响，因此需要扩大样本数量进一步设计精致化的系列实验来验证该实验的结果，并探讨在不同语言教育情况下不同编码方式在听觉障碍学生唇读汉字语音识别中的作用。
　　
　　4.2 音素的可见性在聋生唇读语音识别中的作用
　　听障学生在不同音素水平之间的唇读效果存在极其显著的差异，单韵母的识别正确率高于声母，识别反应速度则快于声母。这说明音素的可见性在听障学生的唇读语音识别过程中发挥很强的作用。在唇读语音识别中，单韵母和声母识别正确率与反应时差异显著源于由元音构成的单韵母可见性程度高，而由辅音构成的声母可见性程度低，导致了聋生对单韵母识别既快又准确。可见，听障学生唇读语音识别的难点在声母。因此，提高听障学生唇读的效果需要着眼于唇读声母的训练，鉴于声母的可见性程度低，可考虑构建唇读声母训练的辅助支持策略，如视觉上的手指语辅助、听觉上的助听器辅助、触觉上的触觉辅助器等[3，4]。
　　
　　5 结论
　　
　　5.1 音素的可见性在听障学生唇读语音识别过程中发挥了很大的作用，表现为听障学生无论运用何种编码方式识别单韵母的正确率都显著高于声母，识别单韵母反应速度皆快于声母，音素的可见性表现出全面的影响。
　　5.2 听障学生运用三种编码方式进行唇读语音识别的效果基本相当，但加工速度存在差异，差异主要来源于手指语编码与口形运动编码的识别。
　　
　　参考文献
　　1 朴永馨．特殊教育辞典．北京：华夏出版社，1996．188
　　2 洪雪立．聋哑学校语言教学商讨．人民教育，1954，(8)：49
　　3 雷江华，张凤琴，方俊明．字词条件下聋生唇读汉字语音识别的实验研究．中国特殊教育，2004，53(11)：37-39
　　4 雷江华，甘琳琳，方俊明．助听器对听障学生唇读汉字语音识别的作用．心理科学，2006，29(6)：1442-1443
　　5 Dodd Barbara. Interaction of auditory and visual information in speech perception. British Journal of Psychology, 1980, 71: 546
　　6 Van Uden, Antoine M. Interrelating reception and expression in speechreading training. Volta Review, 1988, 90(5): 261-272
　　7 雷江华．听障学生唇读汉字语音识别的实验研究．博士论文．上海：华东师范大学，2006
　　8 Barbara Dodd., Ruth Campbell. Hearing by eye: the psychology of lip-reading. London: Lawrence Erlbaum Associates Ltd., Publishers,1987.69-81
　　
　　Empirical Research on Encoding Ways of Chinese Phonetic Identification for Hearing Handicapped Students in Lipreading
　　LEI Jianghua1,2 XIONG Qi1 ZHANG Junhua3 MEI Yanhong4
　　(1.College of Education, Hua Zhong Normal University, Wuhan, 430079；
　　2.College of Education Science, Nan Jing Normal University, Nanjing, 210097；
　　3.Library, Hua Zhong Normal University, Wuhan, 430079；
　　4.Wuhan No.2 Deaf School, Wuhan, 430079)
　　Abstract The study explores the influence of encoding ways and the visibility of phonemes exerted on phonetic identification for hearing handicapped students. It is found that interaction between encoding ways and visibility of phonemes is neither significant in correctness nor in response time. The visibility of phonemes plays an important role in phonetic identification. Three coding modes make almost no difference in phonetic identification, but there exists difference in response time whose root reason lies in the identification of finger language code and mouth moving code.
　　Key words hearing handicapped students lipreading phonetic identification encoding ways phonemes
　　(责任编校：杨希洁)
　　

[1]