OpenAI publiceert het eerste Generative Pre-trained Transformer model — een taalmodel met 117 miljoen parameters dat aantoont dat ongesuperviseerd voortrainen gevolgd door fine-tuning effectief werkt voor taalbegrip.