我正在使用GPT2LMHeadModel来改变GPT2在一个句子中选择下一个词的方式。在这一点上，我必须给出句子的初始部分，GTP2开始预测更好的下一个词。
我想让GPT2阅读整个句子，然后在此基础上开始一个新的句子（就像它在翻译时那样）。
这是一个关于我如何使用它的例子。
def gera_palavras_candidatas(context, past):
#global model
global enc
global stop_token
if past == None:
context = torch.tensor(context).unsqueeze(0)
else:
context = torch.tensor([context[-1]]).unsqueeze(0)
context = {'input_ids': context}
output = context
prev = context
with torch.no_grad():
logits, past = model(**prev, past_key_values=past, use_cache=True, return_dict=False)
logits = logits[:, -1, :]
probs = F.softmax(logits, dim=-1).tolist()[0]
probs = sorted(enumerate(probs), key=lambda x: x[1], reverse=True)
return probs, past
stop_token = [enc.encoder[x] for x in ('<|endoftext|>', '.', '!', '?')]
initial_sentence= "What I am trying to say is"
context = enc.encode(initial_sentence)
candidate_words, past = generate_candidates(context, None)
print('Candidate words to complete the sentence "', initial_sentence, '": ')
print('Word Probability Score')
for i in range(0, 10):
candidate_word = candidate_words[i]