Construa um Modelo de Linguagem Grande (Do Zero)

Como implementar mecanismos de atenção de LLM e transformadores no estilo GPT.

Em Construa um Modelo de Linguagem Grande (Do Zero), o autor best-seller Sebastian Raschka orienta você passo a passo na criação do seu próprio LLM. Cada etapa é explicada com texto claro, diagramas e exemplos. Você vai desde o projeto e a criação iniciais até o pré-treinamento em um corpus geral e o ajuste fino para tarefas específicas.

Construa um Modelo de Linguagem Grande (Do Zero) ensina você a:
Planejar e programar todas as partes de um LLM
Preparar um conjunto de dados adequado para treinamento de LLM
Fazer ajuste fino de LLMs para classificação de texto e com seus próprios dados
Usar feedback humano para garantir que seu LLM siga instruções
Carregar pesos pré-treinados em um LLM
Construa um Modelo de Linguagem Grande (Do Zero) leva você para dentro da caixa-preta da IA para mexer nos sistemas internos que impulsionam a IA generativa. À medida que você avança por cada etapa essencial da criação de LLM, desenvolverá uma compreensão aprofundada de como os LLMs funcionam, suas limitações e seus métodos de personalização. Seu LLM pode ser desenvolvido em um laptop comum e usado como seu assistente pessoal.

Sobre a tecnologia

O físico Richard P. Feynman supostamente disse: “Eu não entendo nada que não consigo construir.” Com base nesse mesmo princípio poderoso, o autor best-seller Sebastian Raschka orienta você passo a passo enquanto constrói um LLM no estilo GPT que você pode executar no seu laptop. É um livro envolvente que cobre cada etapa do processo, do planejamento e da programação ao treinamento e ao ajuste fino.

Sobre o livro

Construa um Modelo de Linguagem Grande (Do Zero) é uma jornada prática e extremamente satisfatória, com as mãos na massa, pelos fundamentos da IA generativa. Sem depender de nenhuma biblioteca de LLM existente, você programará um modelo base, o evoluirá para um classificador de texto e, por fim, criará um chatbot que pode seguir suas instruções de conversa. E você realmente vai entender isso porque construiu tudo sozinho!

O que há dentro
Planeje e programe um LLM comparável ao GPT-2
Carregue pesos pré-treinados
Construa um pipeline completo de treinamento
Faça ajuste fino do seu LLM para classificação de texto
Desenvolva LLMs que seguem instruções humanas

Sobre o leitor

Os leitores precisam de habilidades intermediárias em Python e algum conhecimento de aprendizado de máquina. O LLM que você criar funcionará em qualquer laptop moderno e pode, opcionalmente, utilizar GPUs.

Sobre o autor

Sebastian Raschka é Engenheiro de Pesquisa Sênior na Lightning AI, onde trabalha com pesquisa em LLM e desenvolve software de código aberto.

O editor técnico deste livro foi David Caswell.

Sumário

1 Entendendo modelos de linguagem grandes
2 Trabalhando com dados de texto
3 Programando mecanismos de atenção
4 Implementando um modelo GPT do zero para gerar texto
5 Pré-treinamento com dados sem rótulos
6 Ajuste fino para classificação
7 Ajuste f