使用电生理学的视觉单词识别中语音和语义过程的相互作用

我们提出了一个协议来探索视觉单词识别中语音学和语义学的相对激活序列。结果表明，与交互式帐户一致，语义和语音表示可以交互处理，而更高级别的语言表示可能会影响早期处理。

在与阅读能力相关的研究中一直存在争议;关于印刷文字是否以基于正字法信息的前馈方式被感知，之后，其他表示，如音韵学和语义学被激活，或者这些是否完全互动，高级语义信息会影响早期处理。在所提出的语音和语义判断任务协议中实现了干扰范式，该协议使用相同的前置目标对来探索语音和语义激活的相对顺序。高频和低频目标词前面有三个条件:语义相关，语音相关（同音字）或不相关。结果表明，在语义和语音任务中，低频词对的诱导P200分量明显大于高频词。此外，与控制条件相比，语义任务中的同音字和语音任务中的语义相关对都导致N400的减少，字频独立。值得注意的是，对于语音判断任务中的低频对，语义相关词对释放的P200明显大于对照条件下的P200。总体而言，在高频和低频单词中都发现了语音任务中的语义处理和语义任务中的语音处理，这表明语义和语音学之间的相互作用可能以与任务无关的方式运行。但是，此交互发生的特定时间可能已受到任务和频率的影响。

任何单词识别模型中的关键问题是理解语音学在语义访问过程中的作用¹。对于字母语言，许多研究一致认为音韵学在语义访问中起着重要作用，包括英语^2，3，4，希伯来语^5，法语⁶和西班牙语^7。换句话说，书面单词识别不仅涉及正字法，还涉及语音和语义处理。交互式连接主义模型中的这一观察结果可以通过在整个网络中激活的扩展来解释，其中正字法通过加权连接与语音和语义表示相关联^8。这种激活的激增为视觉单词识别模型提供了核心机制，该模型假设语音和语义表示在响应正字法输入⁹时自动激活。

然而，目前支持交互式自动化假设的经验证据仍然存在争议。一些研究声称，语音和语义表征的激活可以通过任务需求或注意力来调整或阻止，这意味着对单词感知中涉及的高级过程有一定的自上而下的影响^10，11。然而，上述描述受到许多研究结果的质疑，这些发现报告了视觉单词识别中的语音和语义效果，即使这些表示与任务完全无关或不能直接访问^12，从而支持语义和语音学可以在阅读过程中自动和强行访问的观点¹³.因此，视觉单词识别中的语音和语义激活是否取决于特定任务，或者它是否以与任务无关的方式强制和自动发生，存在不确定性。

上述问题的答案对中国读者来说很难。与英语相比，中文是一种文字，其字符代表语素而不是音素^14。目前，语音学在汉语单词语义访问中的作用仍然存在争议。一些研究声称，音系学在汉语单词的语义获取中起着重要作用^{15，16，17。}然而，其他人则持相反的观点^18，19。在评估了上述汉语语音处理研究后，我们发现实验范式和具体研究方法不同。总的来说，它主要分为两种范式:词启动^15，18，19和句子^17，20，21中的违规范式。目标词通常嵌入在违反范式²²的句子末尾。就语言机制而言，一个简短的两个单词短语比一个难以处理的完整句子更易于管理的单元²³。此外，在句子中难以控制的变量，例如语法，上下文或其他因素，可能会导致不同的结论^24。单词启动范式是一种通常用于探索单词识别模型的方法，无论是在字母语言还是中文中。这个范式的任务是判断素数前面的目标词是实词还是伪词;也就是说，此范例通常只包含一个词法任务。然而，单个词汇决策任务可能不是解决语音学和语义学的激活是否取决于任务问题的最佳选择。因此，两个不同的任务可能更适合探讨这个问题。

因此，本研究旨在探索语音学在汉语单词识别中的作用，同时试图确定语音学和语义学的激活是否与任务无关。我们的研究包括使用干扰范式的两个任务:语义判断和语音判断。据我们所知，这是第一个使用这种干扰范式的汉语双字符复合识别事件相关电位（ERP）研究，这种方法很少出现在字母语言的研究中。具体来说，在语义判断任务中，参与者必须判断目标单词与其先例是否语义相关，而在语音任务中，他们必须判断配对单词是否具有相同的发音。

前者是不需要先验语音处理的语义匹配任务，后者是不需要先验语义处理的语音判断任务。因此，我们在语义判断任务中比较了同音字对和不相关的对照组，以揭示语音学是否以及如何影响语义处理。同样，我们在语音判断任务中比较了语义相关的单词对和不相关的控制条件，以揭示语义是否以及如何影响语音处理。此外，上述问题在高频和低频单词中得到了验证。因此，这种互补的语义和语音判断任务不仅可以揭示语音处理在汉语单词识别中的重要性，还可以揭示语音学和语义学是否以及如何相互作用。

如果音韵学和语义过程是早期、自动和交互式的，那么在两个任务的响应时间中应该观察到语音和语义激活的效果。对于ERP，语音和语义过程触发两种不同的电生理标记^2，7。此外，它们的时间轨迹和空间分布应该不同。早期的正分量（P200）应反映语音处理，并且典型的语义处理标记N400也应标识^{为20，21。}我们假设语义任务中的语音相关对和语音任务中的语义相关对都会导致N400的显着减少，这表明语音处理可能导致在词汇 - 语义水平上进行一定程度的激活。此外，我们还监测了表征语音处理的P200是否出现在语义判断任务或语音判断任务中。在语音判断任务中，语义相关条件触发了P200，这可以看作是语义学对语音处理的早期影响的证据。

本研究采用的协议已获得清华大学机构评审委员会的批准。

1. 刺激的构建和呈现

1. 刺激建设
   1. 刺激准备:准备包含约140个汉语双字符化合物的目标单词，其中低频和高频单词占一半。在每个目标前面有三个类似物:语音上相同的单词（同音词），具有相关含义的单词和不相关的控制词。
      1. 确保高频目标之前始终有高频先验，低频目标之前始终有低频先例，无论是在相关条件下还是不相关的对照组。此外，请确保前置-目标对在冲程数和频率上相似。
         注:本研究的所有词词均选自《现代汉语频词典》。低频单词的频率低于百万分之八，高频单词的频率超过每百万800次。
   2. 刺激评估:招募一组大约30名学生，以七分制评估单词对之间的语义相关性程度，其中1表示相关性最低，7表示相关性最高。
   3. 最终刺激确定:删除不适当的单词对，例如在语义相关条件下得分较低的单词对，以及在同音和不相关条件评分中得分较高的单词对。
      1. 计算高频和低频语义相关词对的相应平均分数，并确保两者之间没有显著差异。
      2. 此外，确保同音字对和不相关对的分数在高频和低频下没有显著差异。最后，确定最终的实验刺激材料（见 表材料）。
         注:对于本实验中语义相关对的语义相关值，高频对和低频对的最终平均值为5.62和5.73，两者之间没有显著差异（p>.1）。此外，同音对和不相关对之间的语义相关性没有显着差异（p > .1）。
2. 刺激呈现
   1. 构建一个程序，向受试者展示任务并填写上述材料（程序可以用E-prime或其他编程语言编写）。
   2. 确保程序的每个核心结构都以显示持续300毫秒的"+"号的屏幕开始，之后前一个单词必须出现140毫秒，两者之间没有间隔。
   3. 之后，设置一个持续360毫秒的空白屏幕，然后设置目标单词，该单词将显示500毫秒。最后，设置一个问号（？），该问号将继续显示，直到参与者决定了刚刚显示的单词对，并尽可能快速准确地按下按钮。
   4. 提前告诉参与者，他们需要判断语义判断任务中的单词对是否语义相关，以及语音判断任务中的语音学是否相同。
   5. 练习课程设置:设置两个练习组，分别包括语义判断和语音判断任务，每个任务不少于10个单词对。告知参与者他们可以重复练习，以确保练习会话的准确性超过70%。
   6. 形式化实验设置:将整个实验分为6个块，语义判断任务和语音判断任务各占一半。
      1. 确保每个块中没有重复的目标单词，并且每个块中的启动类型数相同。此外，设置一些填充剂试验，以减少由需要阳性或阴性反应的不相等数量的测试引起的反应偏差。
      2. 随机化每个块中物品的顺序，并平衡主体之间的区块顺序。
         注:整个实验也可以根据要准备的实验材料数量分为八个或十个或更多块，从而最大限度地减少每个块中目标单词的重复。

2. 实验准备和电生理记录

1. 招募右撇子母语为中文的人，他们的视力正常，以前可能已经纠正过。
   1. 排除患有任何神经系统或精神疾病的参与者。
   2. 确保在所需年龄范围（18-28岁）中女性和男性参与者的数量均衡。
   3. 确保参与者在过去两个月中没有任何烫发或染发的历史。
   4. 告知参与者，在实验之前，他们需要有足够的睡眠和休息时间^25。
   5. 参与实验时，请确保参与者在进行实验时处于健康状态。
2. 当参与者到达实验室时，介绍实验设备，任务和时间成本。解释要求（如不困、不动、不眨眼），帮助他们了解整个过程，消除不必要的后顾之忧。
3. 如果参与者对实验没有其他问题，请他们填写爱丁堡偏手查询表，该表用于确认所有参与者都有相同的右撇子习惯。
4. 向参与者提供知情同意书，并要求他们仔细阅读并签名。如果参与者对同意书的内容有疑问，请向他们提供必要的解释。
5. 指导参与者在实验室中正确清洁头皮并擦干头发。在等待参与者的同时，请准备所有实验材料。
   注:脑电图（EEG）信号使用带通为0.01至100 Hz的放大器系统进行放大，并以500 Hz连续采样。
6. 邀请参与者舒适地坐在进行实验的房间的椅子上。指示他们不要移动椅子。
7. 使用棉签和面部磨砂膏清洁参与者左眼下方的皮肤（用于垂直眼电图电极），靠近右眼外眶（用于水平眼电图），以及左右乳突骨周围（用于Tp9和Tp10，将用作新的离线参考）。
   注:电极的分布可能因所使用的瓶盖而异。
8. 将弹性帽放在参与者的头上，并确保Cz电极位于头顶的中心。小心地将电极帽带固定在下巴下方，以确保它不会太紧或太松。
9. 确保电容和放大器已连接到录音系统。接下来，将记录软件切换到阻抗监控接口。
10. 确保所有电极的阻抗不超过5 kΩ或10 kΩ，从基准（Ref）和接地（Gnd）电极开始。
11. 将充满导电凝胶的注射器通过电极的小孔传递到头皮，然后推动柱塞将少量导电凝胶注入头皮，同时注意不要造成溢出。同时，实时监控显示阻抗的显示系统，直到阻抗降至阈值。
12. 制备出Ref和Gnd电极后，以相同的方式降低其他电极的阻抗。仔细处理眼电的阻抗降低。
    1. 用胶带将小孔粘在两个眼电电极的一侧，以防止注射的导电凝胶泄漏。用胶带将它们固定在左眼的底部和右眼的外侧。
13. 准备好所有电极后，指示参与者为实验做好准备。指导参与者在实验过程中放松，避免过度眨眼和身体运动。
14. 通过刺激演示程序呈现刺激，让参与者在练习部分练习。
    注意:练习结束后，如果参与者对如何继续有任何疑问或疑问，可以提出问题。
15. 开始正式实验并记录脑电图信息。在录制过程中监视录制系统。如果电极松动或电阻超过阈值，请在参与者休息时重新填充电极。
    注意:参与者可以在每个块后休息4-10分钟。
16. 实验完成后，保存脑电信号并关闭记录系统和放大器等设备。然后摘下参与者的帽子，并指示参与者洗掉头发和皮肤上的导电凝胶。最后，奖励参与者并感谢他们的合作。

3. 脑电预处理

1. 利用半自动眼部校正和独立的成分分析。
2. 在目标字开始后 100 毫秒到 600 毫秒（目标前基线 100 毫秒）计算 ERP。
3. 将 EEG 带通滤波设置为 0.05 至 30 Hz 离线（零相移模式，24 dB/oct）。
4. 通过伪影抑制丢弃超过±80 μV的时代，并消除错误响应的试验。

该协议在最近的一项研究中被用于调查语音学在汉语双字符复合识别中的作用，并推断单词识别模型^26。本研究中使用的所有刺激物均已完全披露²⁶.根据全局场功率（GFP）选择了三个时间窗口:N1，P200和N400分量分别为100-150 ms，160-280 ms和300-500 ms，分别为^26。通过方差（ANOVA）、频率（低、高）、关系类型（语音或语义相关或不相关）和横向区域（左半球和右半球×前、中、后区域=共6个区域）或中线电极（Fz、Cz、Pz）等重复测量分析，分析了上述两个时间窗的平均振幅，这是参与的三个参与者内因素。更详细的结果和图表可以在Wang等人（2021）26中找到。

语义判断任务的ERP结果
100-150毫秒周期（N1）
对于中线电极，方差分析产生了频率[F（1，23）= 9.451，P = .005，ƞ ²p = .291]的主要效应，表明高频对引发的负波形明显多于低频条件。 ).在侧位点也观察到频率的类似显着主效应。此外，对于高频对，还观察到关系类型的显着主效应[F（1，23）= 8.826，P = .007，ƞ ²p = .277]，表明不相关的对引发的负波形明显多于同音字条件。在左半球也观察到高频对的关系类型类似的显着主要效应。

160-280 ms 周期 （P200）
对于中线电极，方差分析产生了频率[F（1，23）= 5.546，P = .027，ƞ ²p = .194]的主要效应，表明低频对比高频条件引起的正波形明显更多。 在中线电极中未观察到其他显着效应或相互作用。此外，频率的主要作用也存在于侧位。

300-500 ms 周期 （N400）
在300-500 ms时间窗口内，方差分析在中线电极中产生了关系类型[F（1，23）= 27.783，P <.001，ƞ ²p = .547]的显着主效应，表明由同音字引爆的目标比不相关条件引起的负振幅显着小（见图1）。在侧位观察到关系类型的类似显着主效应。

图1:来自代表性电极（Fz，Cz，Pz）的响应目标词的大均值事件相关电位，用于语义任务中的同音和对照。该图取自Wang等人（2021）26，表明在语义判断任务中，无论高频和低频如何，同音字对释放的N400分量都比不相关的条件小。请点击此处查看此图的放大版本。

同音判断任务的 ERP 结果
100-150毫秒周期（N1）
在中线电极或侧位未发现显着的影响或相互作用。

160-280 ms 周期 （P200）
在前额叶电极上没有观察到关系类型或频率（ps>.1）的显着主效应。然而，在频率和关系类型之间发现了显着的交互效应[F（1，23）= 7.951，P = .010，ƞ ²p = .257]。进一步分析发现，关系型的影响仅在低频条件下对额叶前电极显著（FPz: P =.055;FP1: P =.027;FP2: P =.004;AF3: P =.060;AF4: P =.021;AF8: P =.009），表明在P200时间窗口内，ERP信号在语义相关条件下明显比在不相关条件下更积极（见图2）。

此外，分析表明，频率的影响在两个区域中显着（左中心:F（1，23）= 4.506，P = .045，ƞ ²_p = .164和左后方:F（1，23）=10.470，P = .004，ƞ ²p = .313）。

图2:来自六个前额叶电极（Fpz，Fp1，Fp2，AF3，AF4，AF8）的响应目标词的大平均事件相关电位，用于同音字任务中低频的语义相关和对照对。 该图取自Wang et al. （2021）^26，表明在语音判断任务中，低频语义相关词释放出比不相关词更积极的P200成分。 请点击此处查看此图的放大版本。

300-500 ms 周期 （N400）
在N400时间窗口内，在中线电极中发现了关系类型[F（1，23）= 9.082，P = .006，ƞ²p = .283]的显着主效应，表明由语义相关词引发的目标释放的负振幅明显小于不相关的素数（见图3）。此外，在侧位点观察到关系类型的显着主效应。

图3:来自代表性电极（Fz，Cz，Pz）的响应目标词的大均值事件相关电位，用于同音字任务中的语义相关和控制对。该图取自Wang等人（2021）26，表明在语音判断任务中，无论高频和低频如何，语义相关的对释放的N400分量都比不相关的条件小。请点击此处查看此图的放大版本。

实验结果及意义:
该协议的目的是推断以下内容:1）单词识别模型是前馈模型还是交互模型，2）不同任务下汉语双字符复合识别中高低频语音和语义模式之间的相互作用。采用ERP技术对语音和语义匹配任务进行干扰范式。在语义判断任务中比较了ERP响应之前的同音字和不相关的单词与目标，这些任务不需要先验语音处理来揭示语音学何时以及是否影响语义处理。同样，对于不需要先验语义处理的语音判断任务，比较由语义和不相关单词触发的目标单词的ERP响应，以揭示语义是否和语义干扰语音处理。接下来，根据相关ERP组件的延迟，比较语义和语音处理的相对时间过程，并检查词频对此类处理模式的影响。

我们的结果表明，无论词频如何，语音任务中由语义相关先例引发的目标和语义判断任务中由同音字引发的目标都比不相关的前置者触发的负N400分量要少得多。因此，对于高频单词，数据表明，在识别不同任务中的汉语双字符化合物期间，语义激活发生得更早或至少不晚于语音处理。此外，在语义和语音任务中，低频单词对的诱导P200分量明显高于高频词对。其他研究也得出结论，早期的ERP组件可能对词频^27、28敏感。最早的N1和P200效应也可以，至少部分是由于前一个单词的语义处理。然而，对于语音判断任务中的低频单词，发现语义相关的对释放的P200明显大于对照条件。相反，研究发现，在语音判断任务中，由低频语义相关词对触发的P200明显比低频控制条件更积极。对于低频单词来说，这个结果似乎并不难解释，因为在语音判断任务中，语音激活是预期的，但明显的P200成分是由语义先例触发的，这再次加强了语义处理可能不会晚于语音处理的假设。

上述语义学与音韵学的交互作用证实了词语识别的交互模型，提出该系统可以完全交互，低级信息从下到上流向整个词汇信息，高级信息从上到动，形成早期的视觉文字处理^{1 。}此外，P200在两项任务中引起的频率效应也证实了更高层次的语言信息可能在早期处理过程中已经发挥其影响力的猜测。请注意，无论高频和低频条件如何，在这两个任务中发现的交互都支持在阅读过程中自动且可能强制访问语音和含义。但是，发生此交互的特定时间可能已受到任务和频率的影响。例如，对于低频单词，发现交互发生在语音任务的P200时间窗口，而在语义判断任务的N400时间窗口中。然而，对于高频单词，在N400时间窗口中观察到语义或语音任务的相互作用。总之，目前的研究结果表明，语义学和语音学以独立于任务的方式自动交互，同时考虑到交互时间和模式可能受到任务，频率等的影响。

该方法的有效性
一般来说，这种干扰范式可以更全面地探索语音和语义处理的交互模式。我们的实验包括不需要先验语义处理的语音匹配任务和不需要先验语音处理的语义匹配任务。通过这种方式，可以更清楚地观察到语义学对语音处理的影响或语音学对语义处理的影响。此外，由于需要在两个任务中比较先例和目标单词的音系或语义，因此在两个任务中强行激活了音韵学或语义学。因此，如果发生任何干扰效应，会更加明显。探索单词识别的常用方法是包含启动条件的词法决策任务。具体来说，只需要判断目标词是真词还是伪词。首先，词汇决策任务的语义激活可能不够强，其次，单个判断任务无法探索不同任务下的交互模式。因此，这两个任务的干扰范式可能更适合于探索单词识别模型。对于干扰范式的两个截然不同的任务，一个需要强力激活语义处理，另一个需要强力激活语音处理，这更有利于探索音韵学和语义学之间的交互是否与任务无关，以及如何在不同任务下进行交互。

该技术的未来应用
本方案是最早利用干扰范式探索高频和低频汉字复合体的语义访问的协议。目前，双任务干扰范式很少出现在字母语言的单词识别研究中。因此，这种方法可能为不同语言提供新的机会，这些语言的特征在于正字法，语音学和语义学之间的不同关系，以探索单词识别模型。

没有相互竞争的经济利益。

这项工作得到了国家自然科学基金重大项目（62036001）的支持。