SubQ (Subquadrática), é o primeiro modelo construído sobre uma arquitetura de atenção esparsa totalmente sub-quadrático (SSA). É o primeiro modelo de fronteira com uma janela de contexto de 12 milhões de tokens, que é:
- 52x mais rápido que o FlashAttention em 1MM de tokens
- Menos de 5% do custo do Opus
LLMs baseados em Transformer desperdiçam computação ao processar todas as relações possíveis entre palavras (atenção padrão). Apenas uma pequena fração realmente importa. SubQ encontra e foca apenas nas que importam. Isso é quase 1.000x menos computação e uma nova maneira para os LLMs escalarem.
Vídeo
LLM significa Large Language Model (Modelo de Linguagem de Grande Escala) — um tipo de inteligência artificial treinado para entender e gerar linguagem humana.
Um LLM aprende padrões da língua a partir de enormes volumes de texto (livros, sites, artigos, etc.). Ele consegue:
- Completar frases
- Responder perguntas
- Traduzir idiomas
- Escrever textos (redações, códigos, resumos)
Exemplo: o ChatGPT é baseado em LLMs da família GPT (Generative Pre-trained Transformer).
Os LLMs usam uma arquitetura chamada:
- Transformer (modelo de aprendizado profundo)
Essa arquitetura permite que o modelo:
- Analise o contexto das palavras
- Preveja a próxima palavra mais provável
- Gere textos coerentes
Nenhum comentário:
Postar um comentário