第一章 自然语言处理入门
1 什么是自然语言处理(NLP)
NLP:让机器去理解人类的语言
人工智能:让机器模仿甚至超越人,像人一样去看(眼睛,对应CV)、去说(嘴巴,对应NLP)、去听(耳朵,对应ASR)
2 自然语言处理的发展简史
1950 -- 图灵提出“机器能思考吗”,划时代性的话题
1956 -- 达特茅斯会议,提出人工智能,AI的元年,之前都是人类智能(Human )
1957-1970 -- NLP开始出现两大阵营:规则 + 统计
1994-1999 -- 统计学开始占据主导地位
2000-2008 -- 机器学习开始盛行
2015 -- 深度学习占据主导地位
2023 -- 大模型时代
- 基于规则举例:设计语言学规则,解析句子结构,例如一个句子由主谓宾构成。
- 基于统计举例:统计机器翻译模型,收集大量平行语料库,例如中英互译,统计不同短语的分配概率,计算给定源语言翻译为目标语言的可能性。
3 自然语言处理的应用场景
语音助手:小爱同学
机器翻译:谷歌翻译
搜素引擎:百度翻译
智能对话:文心一言
推荐系统:短视频app推荐
。。。