六、实验测试
实验8.1a 二元词汇的形成
难度:1
描述:这个实验考察AI是否能在词汇识别留下的句子片段中发现重复多次出现的二元组合,建立新词,从而能主动询问词义。
需要支持功能:基础应答反射
测试模块:模块8.1a、模块8.1b
测试准备:给出10句包含AI不熟悉的二字词词汇的文字,但其他词汇是已经学习过的。
预期效果:AI在10句读完后能发起询问“AB是什么意思啊”。
实验8.1b 多元词汇的形成
难度:2
描述:这个实验考察AI是否能在词汇识别留下的句子片段中发现重复多次出现的多元组合,建立新词,从而能主动询问词义。
测试模块:模块8.1a、模块8.1b
需要支持功能:基础应答反射、自然语言正转录
测试准备:给出10句包含AI不熟悉的4字成语的文字,但其他词汇是学习过的。
预期效果:AI在10句读完后能发起询问“ABCD是什么意思啊”。
实验8.2a 代词指代
难度:3
描述:这个实验考察AI是否能正确找到句子中代词指代的语境中对象。
测试模块:模块8.2
需要支持功能:基础应答反射、自然语言正转录
测试流程:
Tester:琼斯先生是庄园的主人,他有一个儿子、一个女儿,女孩叫作南茜,男孩叫作杰克。他养了一只鸡,叫作“呵呵哒”,鸡长得很胖。女儿很喜欢这只鸡,而男孩很不喜欢这只鸡。
Tester:谁养了一只鸡?
AI:琼斯先生。
实验8.2b 相对关系指代
难度:3
描述:这个实验考察AI是否能就句子中的相对关系名称找到语境中合适的具体对象替代。
测试模块:模块8.2
需要支持功能:基础应答反射、自然语言正转录
测试流程:
Tester:琼斯先生是庄园的主人,他有一个儿子、一个女儿,女孩叫作南茜,男孩叫作杰克。他养了一只鸡,叫作“呵呵哒”,鸡长得很胖。女儿很喜欢这只鸡,而儿子很不喜欢这只鸡。
Tester:谁喜欢“呵呵哒”?
AI:南茜。
实验8.3a 对象类指代
难度:3
描述:这个实验考察AI是否能为句子中对象类的名称找到语境中合适的具体对象替代。
测试模块:模块8.2
需要支持功能:基础应答反射、自然语言正转录
测试流程:
Tester:琼斯先生是庄园的主人,他有一个儿子、一个女儿,女孩叫作南茜,男孩叫作杰克。他养了一只鸡,叫作“呵呵哒”,鸡长得很胖。女儿很喜欢这只鸡,而男孩很不喜欢这只鸡。
Tester:谁长得很胖?
AI:鸡长得很胖。
Tester:谁不喜欢“呵呵哒”?
AI:杰克。
实验8.3b 对象类名称指代对象类还是具体对象
难度:3
描述:这个实验考察AI是否能够区分同一个对象类名称既用来指代具体对象,又用来指代对象类。
测试模块:模块8.2
需要支持功能:基础应答反射、自然语言正转录
测试流程:
Tester:早上一只猫跑到院子里,猫是白色的,猫真的是很可爱的动物。
Tester:跑到院子里的猫什么颜色?
AI:白色。
Tester:我觉得什么动物很可爱?
AI:猫。
实验8.4a 识别主要意向
难度:3
描述:这个实验考察AI能否把对方表达对象属性,通过意向层面的运算,归类到自己熟悉的属性概念,从而利用熟悉的属性概念的知识,形成对对象的认知。
测试模块:模块8.4、模块8.3a、模块8.3b、模块8.3d
需要支持功能:基础应答反射、自然语言正转录、基础逻辑思维
测试准备:后台为“正气”设置很高的频次强度,建立“纯净”“大”“正”“刚”“真”和“正气”的意向关系,建立“纯净”“正”和“不贪小便宜”的意向关系,建立“正”“真”和“真诚”的意向关系,建立“刚”“大”“纯净”和“做事很有原则”的意向关系。
测试流程:
Tester:正气的人适合当领袖,正气的人是可靠的。
Tester:Mike的朋友从来不贪小便宜,为人真诚,做事很有原则。
AI:Mike的朋友应该很可靠,适合当领袖。
实验8.4b
难度:3
描述:这个实验考察AI是否能从对方表达中形成意向信息参与的因果关系。
测试模块:模块8.3a、模块8.3b、模块8.3d
需要支持功能:自然语言正转录
测试流程:
Tester:水果有利身体健康。
Tester:这个药克感冒病毒。
第一句需要生成信息(事件=水果,创造/维持=身体健康)。
第二句需要生成信息(事件=药A,终止/阻止发生=感冒病毒)。
实验8.4c
难度:3
描述:在这个实验中,AI表达了一个一般疑问句,疑问的内容是对象属性,测试者没有直接回答这个问题,而是做出了一小段相关的具体评价。AI需要能够从这个非直接回答中获取自己需要的答案。
测试模块:模块8.4、模块8.3a、模块8.3b、模块8.3d
需要支持功能:基础应答反射、自然语言正转录
测试准备:赋予“正直”以“直”“正”“真”的意向,赋予“拐弯抹角”以“弯”的意向,赋予“诚实”以“真”的意向,赋予“正”以“真”“直”的意向。
测试流程:
Tester:Mike是个正直的人吗?
Tester:Mike这个人说话不太拐弯抹角,也比较诚实。
Tester:你觉得Mike是个正直的人吗?
AI:是的。
实验8.5a 单层嵌套(指向对象)
难度:2
描述:这个实验考察AI是否能理解单层嵌套,此例子中指向了一个对象。
测试模块:模块8.3a
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:昨晚上最后离开公司的人关了灯。
Tester:Mike是昨晚最后离开公司的人。
Tester:谁关了灯?
AI:Mike。
实验8.5b 单层嵌套(指向时间)
难度:2
描述:这个实验考察AI是否能理解单层嵌套,此例子中指向了一个时间。
测试模块:模块8.3a
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:他回到家的时候天下起了暴雨。
Tester:他是下午3点回到家的。
Tester:昨天几点开始下暴雨的?
AI:3点。
实验8.5c 单层嵌套(指向空间)
难度:2
描述:这个实验考察AI是否能理解单层嵌套,此例子中指向了一个空间。
测试模块:模块8.3a
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:昨天Mike在当年向妻子求婚的地方过结婚30周年纪念日。
Tester:Mike当年在西湖向妻子求婚。
Tester:Mike在什么地方和妻子过结婚30周年纪念日的?
AI:西湖。
实验8.6 多层嵌套
难度:4
描述:这个实验考察AI是否能理解多层嵌套。
测试模块:模块8.3a
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:早上吃了桌上的过期的面包的人的爸爸的猫的体重增加了。
Tester:吃过期面包的人叫Jack,猫叫Kitty,爸爸叫Mike。
Tester:谁的爸爸是Mike?
AI:Jack。
Tester:谁的猫体重增加了?
AI:Mike。
Tester:谁的儿子吃了桌上的面包
AI:Mike。
Tester:哪只猫的主人的儿子吃了过期面包?
AI:Kitty。
实验8.7a 模糊统辖映射
难度:2
描述:这个实验考察AI对不严格表达的适应能力。此例子中,我们给出的样本包含错乱的语序,但仍然在人可理解的范围内,考察AI对句子的理解。
测试模块:模块8.3c
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:过期面包Mike昨天吃了。
Tester:谁昨天吃了过期的面包?
AI:Mike。
实验8.7b 模糊统辖映射
难度:2
描述:这个实验考察AI对不严格表达的适应能力。此例子中,我们给出的样本包含多余的句子成分,但仍然在人可理解的范围内,考察AI对句子的理解。
测试模块:模块8.3c
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:就是昨天啊,那个Mike还是吃了那个过期的面包啊。
Tester:谁昨天吃了过期的面包?
AI:Mike。
实验8.7c 模糊统辖映射
难度:2
描述:这个实验考察AI对不严格表达的适应能力。此例子中,我们给出的样本缺少结构词汇,但仍然在人可理解的范围内,考察AI对句子的理解。
测试模块:模块8.3c
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:昨天晚上Mike饮料喝完。
Tester:谁喝完了饮料?
AI:Mike。
实验8.7d 模糊统辖映射
难度:2
描述:这个实验考察AI对不严格表达的适应能力。此例子中,我们给出的样本语序混乱且包含多余的句子成分,但仍然在人可理解的范围内,考察AI对句子的理解。
测试模块:模块8.3c
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:话说那个Mike那个过期面包他吃掉了呢,而且就在昨天。
Tester:谁昨天吃了过期的面包?
AI:Mike。
实验8.8a 语境省略
难度:2
描述:这个实验考察AI对语境省略的理解能力。这个例子中省略的内容是具体对象。
测试模块:模块8.3a
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:狼叼起一只鸡,逃出农场,跑进了大森林里。
Tester:谁逃出了农场?
AI:一只狼。
实验8.8b 语境省略
难度:2
描述:这个实验考察AI对语境省略的理解能力。这个例子中省略的内容是事件。
测试模块:模块8.3a
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:狼吃了农场的鸡,虽然只吃了一只,导致母鸡都很恐惧。
Tester:什么事情导致母鸡很恐惧?
AI:狼吃了农场的鸡。
实验8.9 常识省略
难度:2
描述:这个实验考察AI对常识省略的补全能力。
测试模块:模块8.3a
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:吃水果能让人的免疫力增强。
Mike:我感冒了,如何增强免疫力?
医生:水果有利免疫。
Tester:你认为医生给的建议是什么?
AI:医生建议Mike吃水果。
实验8.10a
难度2
描述:这个实验考察AI的正转录过程是否能接受有符号指示的显在的并列表达。
测试模块:模块8.3a
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:吃水果能让人的体质、免疫力得到增强。
Tester:什么能增强人的免疫力?
AI:吃水果。
Tester:琼斯先生很强壮、很有钱、很风趣。
Tester:说出一个你知道的很风趣的人。
AI:琼斯先生很风趣。
Tester:他闭上眼,抚摸着、感受着这千年的古树。
Tester:这个人感受着什么?
AI:他感受着古树。
实验8.10b
难度:2
描述:这个实验考察AI的正转录过程是否能接受没有符号指示的并列表达。
测试模块:模块8.3a
前提功能:基础应答反射、自然语言正转录
测试流程:
Tester:吃水果能让人的体质免疫力得到增强。
Tester:什么能增强人的免疫力?
AI:吃水果。