小模型还是大模型?从计算机求解美国司法学院入学考试题谈起

摘要:我通过美国司法学院入学考试LSAT中的三种任务(分析推理、逻辑推理和阅读理解)任务来探讨小模型(这里指符号方法)和大模型(这里指大规模预训练模型)以及两者结合的方法,以此探究未来NLP的研究方向。


简历:周明,现任创新工场首席科学家并于2021年6月创办了澜舟科技。澜舟科技该公司致力于开发最先进的下一代认知智能技术,包括自然语言和多模态信息的理解和生成、机器翻译、知识图谱、问答和推理、行业搜索、知识服务等技术。最近,澜舟科技开发的轻量化预训练模型(孟子)居中文NLP权威评测CLUE的榜首。周明是中国计算机学会副理事长、中国中文信息学会常务理事。他曾任微软亚洲研究院副院长、 国际计算语言学协会(ACL)主席。他还担任哈工大、天津大学、南开大学、北航、中国科技大学等高校的博士导师。他是2018年首都劳动奖章获得者。他长期从事NLP研究,发表了90篇左右的ACL文章(H-index 84)。