Atenção é tudo: o Transformer

🎟️ A peça

A peça desta sala é o título de um artigo científico de 2017. Pesquisador costuma dar nome cauteloso e sem graça pro que escreve, cheio de “uma abordagem para” e “um estudo preliminar sobre”. Os autores deste aqui resolveram ser arrogantes:

Atenção é tudo que você precisa.

Oito pesquisadores do Google assinaram embaixo dessa frase (no original em inglês, “Attention Is All You Need”). E ela, sem nenhum exagero, criou o ChatGPT, o Gemini, o Claude e basicamente toda IA que você já usou. Mais do que isso, o nome dessa peça está escondido, em letra garrafal, dentro de uma sigla que você digita o tempo todo. No fim da sala eu te mostro onde.

❓ O gancho

Você já reparou que a IA de hoje é absurdamente boa com linguagem? Ela acompanha um texto longo, entende a sua pergunta cheia de subentendidos, retoma o que foi dito lá atrás, escreve parágrafos que param de pé. As redes neurais que você viu na sala passada já sabiam enxergar fotos em 2012, mas com texto comprido elas ainda tropeçavam, esqueciam o começo da frase quando chegavam no fim. Em 2017 alguma coisa destravou a linguagem de vez. Essa coisa tem nome, atenção, e é a última peça que faltava pra montar a IA que você conhece.

🕰️ A história

Antes de 2017, a melhor rede neural pra texto lia que nem a gente lê em voz alta, arrastando o dedo da esquerda pra direita, uma palavra de cada vez, tentando guardar na cabeça um resuminho do que já tinha passado. Tinha dois problemas nisso. Era lento, porque cada palavra só era processada depois da anterior, sem atalho. E era esquecido, porque quando a frase ficava longa, o resuminho do começo já tinha desbotado lá no fim. Ótimo pra olhar uma foto de uma vez, ruim pra segurar o fio de um parágrafo inteiro.

Aí, em 2017, uma equipe do Google fez uma proposta meio herética. E se a gente jogasse fora a leitura arrastada, palavra por palavra, e deixasse cada palavra olhar pra todas as outras de uma vez só?

Esse “olhar” é a tal da atenção, e ela é mais simples do que parece. Pra processar cada palavra, a máquina pergunta, sobre todas as outras palavras ao mesmo tempo, quais delas importam pra entender esta aqui. E dá um peso pra cada uma. Deixa eu mostrar num exemplo. Pega a palavra “banco” na frase “sentei no banco e fiquei olhando o rio”. Sozinha, “banco” é ambígua, pode ser o de sentar ou o de guardar dinheiro. Pra desfazer a dúvida, a atenção faz a palavra “banco” olhar pras vizinhas e reparar que “sentei” e “rio” estão ali do lado, pesando muito. Pronto, é o banco da praça. Numa frase sobre depósito e gerente, a mesma palavra olharia pros outros vizinhos e viraria o banco do dinheiro. Cada palavra monta o próprio sentido a partir de quem ela resolve prestar atenção.

E aqui está o pulo do gato que mudou o mundo. Como agora todas as palavras são olhadas ao mesmo tempo, sem uma esperar a outra na fila, dá pra rodar tudo em paralelo, espalhado por montanhas das tais GPUs da sala passada. Isso destravou a escala. De repente dava pra treinar redes monstruosamente maiores, com muito mais texto, muito mais rápido. Os autores batizaram esse novo desenho de rede de Transformer. E daí foi ladeira de subida, Transformers cada vez maiores engolindo cada vez mais da internet, até virarem esses modelos de linguagem gigantes que a gente apelidou de LLM.

🔗 A revelação

E agora a revelação que estava escondida desde o título lá em cima. Quando você abre o ChatGPT, aqueles três caracteres do comecinho, G, P, T, são uma sigla. Ela quer dizer Generative Pre-trained Transformer, transformador generativo pré-treinado. Aquele “T” do final, o Transformer, é exatamente o desenho de rede que nasceu naquele artigo de 2017. Você digita o nome desta peça de museu toda santa vez que chama a IA pelo nome.

E com isso o museu termina de montar a ponte que esta ala inteira veio construindo. Olha o tamanho do que você já entende. A sua IA é uma rede neural, a ressurreição da sala passada, empilhada no topo da escada de abstração, que faz lá no fundo o velho jogo do Shannon de adivinhar a próxima palavra, e que consegue fazer isso com a linguagem inteira porque usa a atenção pra pesar, a cada passo, tudo que você já disse. Lembra daquela “memória” que parecia mágica no comecinho da ala? Ela tem nome agora. É a atenção, varrendo o seu texto inteiro a cada palavra nova que a máquina escreve.

🪞 O GEB

Tem uma ideia que o Hofstadter persegue o livro inteiro, e a atenção é a primeira máquina que a realiza de forma escancarada. A ideia é que nenhuma palavra, nenhum símbolo, significa nada sozinho. O sentido de uma coisa é a teia de relações dela com todas as outras. “Rei” só quer dizer alguma coisa por causa de “rainha”, de “trono”, de “reino”, de “súdito”, de “poder”. Corta a teia e a palavra vira um chocalho oco.

A atenção é exatamente isso virado conta de matemática. A máquina não guarda o significado de cada palavra numa gavetinha. Ela calcula, o tempo todo, a teia de relações entre todas as palavras, e o sentido brota dessa teia, não das palavras soltas. É a aposta mais profunda do nosso livro-patrono, a de que significado é relação e padrão, construída em silício e rodando bem na sua frente. E isso devolve, mais afiada, aquela pergunta que ronda a ala. Se o sentido mora na teia de relações, e a máquina agora tece essa teia sozinha, o que exatamente ainda falta nela pra ser entendimento de verdade?

🛠️ Leve com você

A máquina lê tudo que você escreve de uma vez e decide sozinha a quais palavras prestar mais atenção. Isso te dá duas consequências bem práticas. O que você enfatiza, ela pesa mais. E o que você enterra no meio de um monte de ruído, ela pesa de menos.

Na prática, isso te entrega um volante pra dirigir a atenção dela. Se tem uma parte do seu pedido que importa mais do que o resto, fala isso com todas as letras, “o mais importante aqui é tal coisa”. Não confie que ela vai adivinhar a prioridade no meio de um parágrafo corrido. E no sentido contrário, prompt limpo rende mais que prompt entulhado. Quando você empilha instrução demais, contexto que não vem ao caso, três pedidos embolados, tudo aquilo disputa a atenção dela, e o que importava acaba diluído. Diz o que importa, destaca o que importa mais, e tira o resto da frente.

🤔 Pra pensar

Lê esta frase devagar, uma vez só. “Eu nunca disse que ele pegou o dinheiro.” Agora lê de novo, várias vezes, cada vez batendo a força numa palavra diferente. Bate em “eu”, e a entonação diz que outra pessoa disse. Bate em “nunca”, e virou uma negação indignada. Bate em “ele”, e o ladrão passou a ser outro. Bate em “pegou”, e talvez tenha sido só emprestado. As palavras não mudaram nenhuma vez. Mudou só onde a sua atenção bateu, e o sentido virou outro a cada leitura. Então fica a pergunta pra você levar pra cama. O sentido daquela frase estava nela, ou estava no holofote que você escolheu jogar em cima dela?

⏭️ Para onde ir agora

Você fez a ponte inteira. Do jogo de palavras do Shannon até a atenção do Transformer, agora você sabe do que a sua IA é feita por dentro. Falta só uma sala nesta ala, e ela é uma virada de chave. Porque essa coisa que parece tão futurista, a máquina que fica adivinhando o que vem em seguida, não é exclusividade da IA. Eu vou te mostrar que o processador comum do seu computador, esse trambolho que você usa sem pensar, já vive adivinhando o futuro faz décadas, milhões de vezes por segundo, e quase ninguém sabe disso. Bem-vindo à máquina que já adivinha.