从ChatGPT谈起

ChatGPT来了，Are you ready?

今年以来，以ChatGPT为代表的大模型，掀起了大模型的研究、试用、商用、讨论大浪潮，一浪接一浪，不断出现的大模型让人眼花缭乱，犹如刘姥姥进大观园，冲击着我们过往的认知，一方面让人感叹技术的快速发展，带来了更多的机会和惊喜，另一方面让人思考技术背后的隐患，以及可能会带来的对人类社会的危害。

今天将回到这次大模型浪潮的主角，ChatGPT,让我一起来探索它、使用它、分析它、和它一起成长。

Why

首先，为什么会出现ChatGPT这类预训练大模型呢？
随着预训练模型的发展，NLP技术的快速迭代更新，在探索通用人工智能的征程中，出现了ChatGPT这类智能问答文本生成网站，吸引了来自全球各地的使用者，短时间内，积累了大量的问答数据，让其他后发者难以望其项背，使人们看到了智能问答领域广阔的应用前景以及背后潜在的商业价值，ChatGPT的功能多样性也使得这一网站深入人心，极具发展优势。

让ChatGPT更容易推断出用户的意图，产生质变的根本原因是已在InstructGPT使用的“人类反馈的强化学习（RLHF）”技术。-OpenAI联合创始人、研究科学家John Schulman

一句话小结，可以说是ChatGPT相较于以前的模型，变得更多（数据），更大（模型），更快（运算），更强（能力）。

What

其次，什么是ChatGPT?
这是一个具有智能问答功能的文本生成模型，或者远不止文本生成？感兴趣的话，你可以访问https://chat.openai.com/ 亲自使用一下，相关的使用教程，网上已经有很多了，就不列举了。

How

然后，ChatGPT的技术原理是什么呢？
基于GPT-3.5+Reinforcement learning技术，模型图如图1所示
ChatGPT_Diagram.png

图1：ChatGPT模型框架

更多的技术细节，可以参考官方博客介绍：https://openai.com/blog/chatgpt/

How much

接着，ChatGPT有哪些核心能力呢？

  1. 摘要生成能力：根据一篇文章生成一段摘要
  2. 内容生成能力：根据提示词，创作一篇文章
  3. 文字生成图片：在ChatGPT的Plus版本中可以实现，给出提示词，生成图片
  4. 逻辑能力：回答一些逻辑问题
  5. 常识理解能力：回答一些常识性问题
  6. 代码能力：比如根据提示，编写代码；检查代码中的错误
  7. 数学能力：做数学题
  8. 诗歌能力：中英文写诗
  9. 生活建议：根据你的需求，给出一些建议

当然ChatGPT还也有不少缺点，比如：

  1. 训练数据还是2021年之前的，无法回答之后的问题，现在通过插件、升级，可以回答联网的内容了
  2. 没有联网，没法搜索实时新闻，现在也基本上解决了这个问题
  3. 没有个人意见，只能回答事实性问题，但训练数据会出现事实性错误，导致给出的结果也存在事实性错误，“ChatGPT言无忌”，不用为自己说的话负责
  4. 不适合用于隐私、安全高要求方面的场景
  5. 具有偏见性、欺骗性、对隐私和公共安全可能构成风险
  6. 最重要的是缺少爱的能力，缺少共情的能力，也就是将心比心的能力，关于这一点，之间自己也有思考过人和人工智能的差别（人的优势在于随机应变，归纳推理，临机决断。机器的优势在于常规重复，计算推理，并行处理，除此之外，人还具有吃（食物）住（房子）行（交通）游（旅游）娱（娱乐）购（购物）等生存需求，爱（爱情）亲（亲情）友（友情）等情感需求，个人实现与社会认可等精神需求。人会为了实现这些需求，去思考，去行动，去达成。最后，提及个人觉得最重要的一点，关于人机的区别，人具有爱的能力，爱己爱人爱物。），可以借鉴。https://www.zhihu.com/question/463911897/answer/1935969469

What then

最后，从ChatGPT开始，未来会走向何方？
我们先来看看从ChatGPT出现后，有哪些大模型产品也出现了?

  1. 讯飞星火认知大模型
  2. Perplexity
  3. Forefront Chat
  4. Bing AI
  5. Bard
  6. ChatGLM
  7. Claude
    …
    还有更多

留给我们可以思考的问题，也还有很多，比如：

  1. 中国能否做出ChatGPT这类领跑型的智能问答系统，关键瓶颈在哪里？
  2. 大量可靠准确的中文数据从哪里获得，怎么获得？
  3. 模型是否一定需要大模型（黑盒模型），小模型，可解释性强的模型是否可以？
  4. ChatGPT带来的隐私、安全、伦理问题该如何解决？
  5. ChatGPT以及类ChatGPT的模型，将带来什么样的新型人机关系？
    …

总结

新工具会不断出现、变化，使用工具的人也得适应变化，主动学习，终身学习。

欢迎在评论区给出您的想法和建议，期待和您一起讨论。

“问渠那得清如许？为有源头活水来”

–我在半亩方塘等你 :)

更多资源

  1. 【渐构】万字科普GPT4为何会颠覆现有工作流；为何你要关注微软Copilot、文心一言等大模型 https://www.bilibili.com/video/BV1MY4y1R7EN/?buvid=YD4375DDDB8980D94AB8BF119C31778966FE&is_story_h5=false&mid=XBbQe5CI%2FFgyweFiTv2yEQ%3D%3D&p=1&plat_id=114&share_from=ugc&share_medium=iphone&share_plat=ios&share_session_id=47459377-6B33-4046-825A-76F52E61CB40&share_source=WEIXIN_MONMENT&share_tag=s_i&timestamp=1679115401&unique_k=pxTF5Zl&up_id=344849038&vd_source=ad804d63c4e2c9d24cee23b0c9599379
  2. BERT. https://github.com/google-research/bert
  3. GPT. https://github.com/openai/finetune-transformer-lm
  4. GPT-2. https://github.com/openai/gpt-2
  5. BART. https://github.com/huggingface/transformers
  6. GPT-3. https://github.com/openai/gpt-3
  7. 大模型时代下做科研的四个思路【论文精读·52】 https://www.bilibili.com/video/BV1oX4y1d7X6/
  8. InstructGPT 论文精读【论文精读·48】 https://www.bilibili.com/video/BV1hd4y187CR/
  9. GPT，GPT-2，GPT-3 论文精读【论文精读】https://www.bilibili.com/video/BV1AF411b7xQ/?spm_id_from=333.999.0.0
  10. GPT-4论文精读【论文精读·53】 https://www.bilibili.com/video/BV1vM4y1U7b5/?spm_id_from=333.999.0.0
  11. OpenAI 对 GPT-4的官方解读 https://openai.com/research/gpt-4
  12. 深度学习论文精读-李沐 https://github.com/mli/paper-reading
随笔感悟
#ChatGPT #大模型 #人机关系
从ChatGPT谈起
https://xiepeng21.cn/posts/98df0397/
作者
Peter
发布于
2023年5月29日
许可协议