XLNet是基于Transformer-XL的广义自回归预训练模型,它通过 Permuted Language Model 拆分LM顺序以结合BERT和GPT的优点。为克服单向信息限制,提出双流自注意力机制。其目标是在部分损坏序列恢复中获取双向上下文,但引入独立性假设及下游任务一致性问题。XLNet旨在优化这两种预训练方法,通过打破自然顺序来提高模型的灵活性和适应性。
研究人员对ChatGPT进行了考试测试,发现AI在研究生法律和商业管理课程中取得了平均成绩C和B-到B的成绩,显示出其在基本规则和理论总结方面强,但在具体案例分析和高级流程问题上表现欠佳。虽然 AI 能勉强通过考试,但专家建议学生应定制学习以提高效果,并指出AI可能被作弊者用于生成标准答案。关于限制技术使用或改变题库的讨论持续进行。极少数AI反对者认为应该限制ChatGPT以防止作弊,而大学教育者则认为基本技能仍需学生亲自掌握。沃顿商学院教授Terwiesch认为技术有可能节省教学时间。