早期NLU类模型(BERT)兴起正是因为相关任务水平大幅提升,而NLG的效果还达不到令人惊艳的程度

  NLU类模型发展至今已有4~5年的时间,已进入到“难啃的骨头”阶段,研究热度逐渐降低

  BERT的出现降低了NLP从业的准入门槛,那么大模型的出现则是进一步降低了各个行业的准入门槛

  以ChatGPT为代表的LLM不是仅停留在模型层面的概念,而是通过指令交互的形式使人人都能体验A

  生成、交互类任务效果已达到效果阀值”,模型生成的东西已不再是“人工智障

  “智慧涌现”现象(emergence)使得人们看到了通用人工智能(AGI的曙光

  大数据:知识的来源,包含各种语言现象及语义知识,直接决定了模型的学习范围

  大模型:容纳大数据的载体,通常由深度神经网络构成,学习大数据中的统计信息与抽象知识

  大算力:处理大数据和大模型的并行计算集群,通常包含GPU、TPU等高性能运算设备