ML 2023 Spring(chatgpt 原理剖析 (2/3))
I. 预训练的背景和概念
A. 预训练(Pre-train)在自然语言处理领域的利用
自然语言处理(Natural Language Processing, NLP)任务的复杂性和挑战是由于语言本身的多样性和歧义性。例如，同一个辞汇可能有多种区别的含义，而相同的意思可以用区别的表达方式。另外，由于缺少大范围标注数据，构建准确的语言模型和解决语言处理问题变得更加困难。
预训练(Pre-train)是一种处理这些语言处理问题的方法。它通过利用网络上的大量数据进行自我学习，提供更好的语言表示和解决问题的能力。预训练利用了大范围未标注的文本数据集，学习到了丰富的语言知识和语言模式。这些预训练的模型在后续的下游任务中可以进行微调，从而提供更好的性能和效果。
II. 预训练的实现方法和技术
A. 监督学习与自监督学习
传统的监督学习方法在处理自然语言处理任务时面临一些限制。首先，监督学习需要大量标注数据，而人工标注数据是非常昂贵和耗时的。其次，对许多自然语言处理任务，缺少足够的标注数据使得监督学习面临困难。
自监督学习(Self-supervised Learning)是一种解决这些问题的方法，它利用未标注的数据进行预训练，然后通过设计自我监督任务来生成伪标签。自监督学习的目标是学习出成心义的语言表示，同时捕捉文本中的语义和结构信息。
B. Transformer模型的利用
Transformer模型是在预训练中广泛使用的模型之一。它已推动了自然语言处理领域的突破，提供了处理序列数据的有效框架。
Transformer模型具有自注意力机制和编码-解码结构。自注意力机制允许模型在编码器和解码器之间有效地捕捉输入序列和输出序列之间的关系。多层堆叠的Transformer模块进一步增强了模型的表达能力和泛化能力。
III. 预训练进程和技能
A. 数据准备和预处理
在预训练的进程中，数据的准备和预处理是非常重要的。首先，需要搜集和清洗大范围的文本数据，这可以通过从网络上搜集数据或利用已有的语料库来实现。同时，需要过滤和清洗无关或异常的文本，以保证数据的质量和准确性。
在数据准备完成后，需要进行文本分词和向量化表示。文本分词是将文本划分为辞汇单元的进程，可使用现有的分词工具来实现。然后，通过将辞汇单元转化为向量表示，可以将文本转化为计算机可理解的情势，以便进行后续的处理和分析。
B. 自监督预训练任务的选择和设计
自监督预训练任务的选择和设计是预训练进程中的关键步骤。预训练任务需要提供成心义的自监督信号，同时能够捕捉语言的结构和语义信息。
常见的自监督预训练任务包括掩码语言模型(Masked Language Model, MLM)和下一句预测任务(Next Sentence Prediction, NSP)。掩码语言模型要求模型预测在文本中被掩码的辞汇，从而促使模型学习到上下文信息。而下一句预测任务要求模型判断两个句子会不会是连续的，以捕捉句子之间的逻辑关系。
C. 模型训练和微调
预训练模型的训练进程包括两个阶段：预训练和微调。预训练阶段利用自监督任务对模型进行预训练，通过随机初始化模型参数并进行更新来学习到丰富的语言知识和模式。微调阶段使用监督学习任务对模型进行优化和调剂，通常使用少许标注数据来进行微调。
通过本节课的内容，我们可以了解到预训练在生成式AI中的重要性和利用。掌握了预训练的实现方法和技术，和预训练进程中的关键步骤和技能，能够更好地理解和利用生成式AI模型，提高自然语言处理任务的效果和性能。
chatgpt 原理剖析 (2/3)的进一步展开说明
Rules for Homework Submission
- The information provided here is tentative and subject to change. Students are advised to read the requirements for each homework assignment before the deadline.
- Homework assignments should be completed independently, without any external assistance.
- Modifying prediction files manually is strictly prohibited.
- Sharing codes or prediction files with any individuals, including classmates or friends, is strictly prohibited.
- Submitting results more than 5 times a day using any means is strictly prohibited.
- Searching or using additional data or pre-trained models is strictly prohibited.
- If any of the above rules are violated, a 10% penalty will be applied to the final grade.
Responsibilities of Prof. Lee & TAs
- Prof. Lee and the teaching assistants (TAs) have the right to modify the rules and grading criteria as they see fit.
- Any changes made to the rules or grading criteria will be communicated to the students in a timely manner.
- Prof. Lee and the TAs will ensure that the rules are applied consistently and fairly to all students.
- Prof. Lee and the TAs will provide clear instructions and guidelines for each homework assignment to facilitate understanding and completion.
Importance of Following the Rules
The rules for homework submission outlined above are designed to maintain fairness and integrity in the evaluation process. By adhering to these rules, students demonstrate their commitment to academic honesty and their ability to independently complete assignments. It is important to follow these rules to ensure a level playing field for all students and to uphold the credibility of the grading system.
Reasoning Behind Each Rule
The rules for homework submission serve specific purposes:
Tentative Information:
The nature of the information provided necessitates the possibility of changes. By acknowledging this tentative nature, students understand that they should stay updated with the latest requirements and instructions for each homework assignment.
Independent Completion:
Completing homework assignments independently allows students to develop and demonstrate their understanding of the subject matter. It encourages critical thinking and problem-solving skills essential for academic growth.
No Manual Modifications:
Prohibiting manual modifications to prediction files ensures that all students follow the same guidelines and are evaluated based on their ability to apply the concepts taught in class.
No Sharing of Codes or Prediction Files:
Preventing the sharing of codes or prediction files maintains the integrity of individual submissions and avoids instances of plagiarism or unauthorized collaboration.
No Excessive Submissions:
Limiting the number of submissions per day prevents students from relying solely on trial and error. It encourages thoughtful consideration and careful analysis before submitting final results.
No Use of Additional Data or Pre-trained Models:
Prohibiting the use of additional data or pre-trained models ensures a level playing field for all students. It allows the evaluation to focus on the understanding and application of the concepts taught in class.
Penalty for Rule Violations:
The penalty for rule violations serves as a deterrent and reinforces the importance of adhering to academic integrity. It ensures that violations are appropriately addressed and that fairness is maintained in the grading process.
Conclusion
By following the rules for homework submission, students demonstrate their commitment to academic integrity, independent thinking, and ethical behavior. Prof. Lee and the TAs are responsible for ensuring that the rules are applied consistently and fairly. It is essential for all students to understand and adhere to these rules to ensure a fair evaluation and maintain the credibility of the grading system.
chatgpt 原理剖析 (2/3)的常见问答Q&A
问题1：ChatGPT是甚么？
答案：ChatGPT是一种生成式AI模型，它是由OpenAI开发的，可以用于生成文本、回答问题等任务。它的基础是预训练和微调。预训练阶段通过无监督学习在大范围的互联网文本上进行，以学习语言的结构和语义。然后，通过微调阶段在特定的任务上进行有监督学习，以进一步优化模型的性能。
- 预训练是ChatGPT的基础，它通过模型本身来生成标签，从而进行自我监督学习。
- 微调是将ChatGPT在具体任务上进行有监督学习的进程，通过引入任务相关的数据集来进一步提升模型在特定任务上的性能。
- ChatGPT的优点在于可以生成联贯、富有逻辑和语义的文本，被广泛利用于聊天机器人、智能客服等领域。
问题2：ChatGPT的预训练是甚么？
答案：ChatGPT的预训练是模型在大量互联网文本上进行的无监督学习阶段。它通过自我监督学习的方式利用网络上的大量数据进行训练，学习语言的结构和语义。
- 预训练阶段使用了大范围的互联网文本数据，这些数据不需要进行人工标注，可以自动从互联网中搜集。
- 预训练的目标是让模型能够学会推断语句的上下文信息，并生成联贯、富有逻辑和语义的文本。
- 在预训练进程中，模型会根据输入的上下文生成下一个词的几率散布，并通过最大似然估计来优化模型的参数。
问题3：ChatGPT的微调是甚么？
答案：ChatGPT的微调是在预训练的基础上，针对特定任务进行的有监督学习阶段。通过引入任务相关的数据集，让模型在特定任务上进行训练，以进一步优化模型的性能。
- 微调阶段需要准备一个有标注的数据集，其中包括输入和对应的期望输出，例如问题和答案的配对。
- 在微调进程中，模型会根据输入的上下文生成下一个词的几率散布，并通过最大似然估计来优化模型的参数。
- 通过微调，ChatGPT可以根据具体的任务需求，生成特定领域的文本，如智能客服中的回答、新闻文章的生成等。
