Skip to content
Try Now
PricingFeaturesBrowserDocsBlog

Learning to DeepThink with LLMs

DeepThink accuracy
at test-time

DeepThink accuracy at test-timeTerminal Bench 4.0 scatter plot by test-time compute level. GLM 5.3 (max): 42.12%; low: 44.62%; medium: 46.89%; high: 49.09%; max: 51.52%. Horizontal positions represent ordered effort levels. The vertical axis runs from 40 to 55 percent, rather than zero.040455055Test-time compute (linear scale)

We’re introducing Rogue DeepThink Preview,
a method for solving harder problems with large language models. Built on GLM 5.3, DeepThink uses additional computation at test-time to tackle difficult software-engineering tasks.

Results

Benchmark scores by model, in percent
BenchmarkDeepThink
Preview		GLM-5.3Kimi K3Fable 5.1GPT-6 Astra
Terminal-Bench 4.051.5%41.8%21.5%57.9%58.2%
FrontierSWE v236.8%30.2%25.9%56.3%65.5%
Terminal-Bench-Science 0.111.4%8.1%7.1%40.0%64.6%
DeepSWE v1.175.2%69.0%68.5%67.4%74.1%

How it works

DeepThink uses GLM 5.3 as a base model and spends additional test-time compute on parallel thinking: exploring different approaches to the same problem at once.

On difficult tasks, deciding how to approach the problem is itself part of the work. An initial assumption can shape an entire line of reasoning, even when the subsequent steps are sound. Exploring other approaches creates opportunities to uncover an overlooked constraint or find a solution that the initial framing would have missed.

How it scales

We compared DeepThink with GLM 5.3 at its highest reasoning setting, max, across four benchmarks. DeepThink’s low, medium, high, and max settings use increasing amounts of test-time computation beyond that baseline.

Terminal Bench 4.0

GLM 5.3 (max)Rogue DeepThink Preview
Terminal Bench 4.0: score versus cost per taskThe score axis runs from 40 to 55%. Costs use a logarithmic axis. GLM 5.3 max: $8.27 per task, 42.12%; DeepThink low: $16.63 per task, 44.62%; DeepThink medium: $25.00 per task, 46.89%; DeepThink high: $33.40 per task, 49.09%; DeepThink max: $41.83 per task, 51.52%404550550Score (%)maxlowmediumhighmax$10$20$40Cost per task (USD, log scale)

How much is enough

Coding agents often expand a task as they solve it. A bug fix becomes a refactor; a small feature acquires a new framework. Even when the requested behavior works, the user inherits additional code to understand, review, and maintain.

Knowing when to stop is part of good engineering. Additional reasoning should help an agent judge what a specification requires, what can be left alone, and when the work is complete.

We examined submitted patches on 77 matched DeepSWE v1.1 tasks, measuring both added lines and complete patch bytes. This lets us compare how solution size changes across Fable-5’s reasoning settings and across DeepThink’s low, medium, and high settings, with GLM 5.3 at max as its baseline.

Mean added lines

DeepSWE v1.1 · 77 matched tasks
Fable-5: mean added lines by effortLinear scale from zero to 2,000. low: 548.51 added lines; medium: 782.51 added lines; high: 981.26 added lines; xhigh: 1,189.16 added lines; max: 1,404.17 added lines. Effort settings are model-specific.Fable-505001,0001,5002,0005491,404lowmediumhighxhighmax
DeepThink Preview: mean added lines by effortLinear scale from zero to 2,000. GLM 5.3 (max): 1,567.72 added lines; low: 1,639.33 added lines; medium: 1,642.19 added lines; high: 1,632.85 added lines. Effort settings are model-specific.DeepThink Preview05001,0001,5002,0001,5681,6391,633GLM 5.3(max)lowmediumhigh

Increasing reasoning effort changes how much code Fable-5 produces: its mean added lines more than double from low to max. DeepThink’s output stays nearly constant from low through high, in both added lines and patch bytes.

DeepThink starts from a larger GLM 5.3 baseline and adds modestly to it. The distinction is not smaller patches, but that further increases in effort do not induce even larger solutions.

Knowing when the work is done

A specification leaves many decisions unstated. A coding agent has to determine which parts of the codebase need to change, which constraints must be preserved, and which apparent improvements fall outside the request. Solving the problem includes knowing where to stop.

DeepThink improves benchmark performance as we give it more test-time compute. In our separate patch-size study, increasing its effort leaves the size of its changes nearly constant. Together, these findings point toward something we want from coding agents: more thought invested in a change, without a growing implementation for the user to manage.

At Rogue, we want people to build software by describing what it should do. That requires agents we can trust with the decisions we haven’t specified - not just the instructions we have. DeepThink Preview is available to everyone today at app.rogueon.ai/build, and we hope you enjoy it!

Our coding harness for desktop will be available in the coming weeks...

Public data and citation

Download the author-reported aggregates behind the two interactive figures. This package preserves the plotted values and does not include the cross-model comparison table or current leaderboards.

Version 1.0.0 · packaged October 4, 2026

Benchmark effort and cost

17 reported points across four benchmarks, including the GLM 5.3 baseline. Cost in USD per task; score in percent.

Download effort and cost CSV

Submitted patch size

9 mean measurements on 77 matched DeepSWE v1.1 tasks. Added lines and complete patch bytes.

Download patch-size CSV

Download both tables as JSONDownload BibTeX citation

View all 17 effort and cost points
Author-reported benchmark effort and cost aggregates. Cost in USD per task; scores in percent. FrontierSWE v2 scores are mean fractional reward.
BenchmarkModelEffortCost (USD/task)Score (%)
Terminal Bench 4.0GLM 5.3 (baseline)max8.2742.1212
Terminal Bench 4.0Rogue DeepThink Previewlow16.634444.6212
Terminal Bench 4.0Rogue DeepThink Previewmedium24.999646.8939
Terminal Bench 4.0Rogue DeepThink Previewhigh33.396849.0909
Terminal Bench 4.0Rogue DeepThink Previewmax41.82651.5152
FrontierSWE v2GLM 5.3 (baseline)max97.2230.1814
FrontierSWE v2Rogue DeepThink Previewlow194.534433.5405
FrontierSWE v2Rogue DeepThink Previewmedium291.849634.9002
FrontierSWE v2Rogue DeepThink Previewhigh389.196835.7649
FrontierSWE v2Rogue DeepThink Previewmax486.57636.7775
Terminal Bench Science 0.1GLM 5.3 (baseline)max32.398.0952
Terminal Bench Science 0.1Rogue DeepThink Previewlow64.874410.95
Terminal Bench Science 0.1Rogue DeepThink Previewmedium97.359611.4286
DeepSWE v1.1GLM 5.3 (baseline)max3.9969.0265
DeepSWE v1.1Rogue DeepThink Previewlow8.074472.0501
DeepSWE v1.1Rogue DeepThink Previewmedium12.159672.2345
DeepSWE v1.1Rogue DeepThink Previewhigh16.276875.2212
View all 9 patch-size means
Author-reported patch-size means on 77 matched DeepSWE v1.1 tasks. Added lines and complete patch bytes; no matched accuracy measurements.
ModelEffortMean added linesMean complete patch bytes
Fable-5low548.5122,907.18
Fable-5medium782.5132,251.45
Fable-5high981.2640,305.37
Fable-5xhigh1,189.1649,763.23
Fable-5max1,404.1758,510.24
GLM 5.3 (baseline)max1,567.7261,816.77
Rogue DeepThink Previewlow1,639.3364,855.81
Rogue DeepThink Previewmedium1,642.1965,040.32
Rogue DeepThink Previewhigh1,632.8564,850.79

These are author-reported chart aggregates, not a reproduction package. Task-level data, prompts, configurations, logs and the evaluation harness are not included. Missing points are omitted, not treated as zero or extrapolated.

Costs include inference and additional processing; they are not product prices or measured latency. FrontierSWE v2 scores are mean fractional reward, not a binary task pass rate. The 77-task patch-size study is separate from the 113-task DeepSWE score evaluation and has no matched accuracy measurements.

Cite this data

Rogue (2026). Rogue DeepThink Preview: public chart aggregates. Version 1.0.0, packaged 2026-10-04. https://rogueon.ai/blog/rogue-deep-think-preview/tecnica#public-data

Benchmark definitions

These primary sources describe the benchmarks and their versions.

Aprendendo a pensar fundo com LLMs

Precisão do DeepThink
em tempo de teste

Precisão do DeepThink em tempo de testeGráfico de dispersão do Terminal Bench 4.0 por nível de computação em tempo de teste. GLM 5.3 (max): 42,12%; low: 44,62%; medium: 46,89%; high: 49,09%; max: 51,52%. As posições horizontais representam os níveis de esforço em ordem. O eixo vertical vai de 40 a 55 por cento, e não de zero.040455055Computação em tempo de teste (escala linear)

Apresentamos o Rogue DeepThink Preview,
um método para resolver problemas mais difíceis com grandes modelos de linguagem. Construído sobre o GLM 5.3, o DeepThink usa computação adicional em tempo de teste para enfrentar tarefas difíceis de engenharia de software.

Resultados

Notas nos benchmarks por modelo, em porcentagem
BenchmarkDeepThink
Preview		GLM-5.3Kimi K3Fable 5.1GPT-6 Astra
Terminal-Bench 4.051,5%41,8%21,5%57,9%58,2%
FrontierSWE v236,8%30,2%25,9%56,3%65,5%
Terminal-Bench-Science 0.111,4%8,1%7,1%40,0%64,6%
DeepSWE v1.175,2%69,0%68,5%67,4%74,1%

Como funciona

O DeepThink usa o GLM 5.3 como modelo base e gasta computação adicional em tempo de teste com pensamento paralelo: explora abordagens diferentes para o mesmo problema ao mesmo tempo.

Em tarefas difíceis, decidir como abordar o problema já é parte do trabalho. Uma suposição inicial pode moldar toda uma linha de raciocínio, mesmo quando os passos seguintes estão certos. Explorar outras abordagens cria chances de descobrir uma restrição ignorada ou de achar uma solução que o enquadramento inicial teria deixado passar.

Como escala

Comparamos o DeepThink com o GLM 5.3 no seu nível de raciocínio mais alto, max, em quatro benchmarks. Os níveis low, medium, high e max do DeepThink usam quantidades crescentes de computação em tempo de teste além dessa base.

Terminal Bench 4.0

GLM 5.3 (max)Rogue DeepThink Preview
Terminal Bench 4.0: nota versus custo por tarefaO eixo da nota vai de 40 a 55%. Os custos usam eixo logarítmico. GLM 5.3 max: $8,27 por tarefa, 42,12%; DeepThink low: $16,63 por tarefa, 44,62%; DeepThink medium: $25,00 por tarefa, 46,89%; DeepThink high: $33,40 por tarefa, 49,09%; DeepThink max: $41,83 por tarefa, 51,52%404550550Nota (%)maxlowmediumhighmax$10$20$40Custo por tarefa (USD, escala log)

Quanto basta

Agentes de código costumam ampliar uma tarefa enquanto a resolvem. A correção de um bug vira uma refatoração; uma funcionalidade pequena ganha um framework novo. Mesmo quando o comportamento pedido funciona, quem usa herda código a mais para entender, revisar e manter.

Saber quando parar faz parte da boa engenharia. Raciocínio adicional deveria ajudar um agente a julgar o que uma especificação exige, o que pode ficar como está e quando o trabalho está completo.

Examinamos os patches enviados em 77 tarefas pareadas do DeepSWE v1.1, medindo tanto as linhas adicionadas quanto os bytes do patch completo. Isso permite comparar como o tamanho da solução muda entre os níveis de raciocínio do Fable-5 e entre os níveis low, medium e high do DeepThink, com o GLM 5.3 em max como base.

Média de linhas adicionadas

DeepSWE v1.1 · 77 tarefas pareadas
Fable-5: média de linhas adicionadas por esforçoEscala linear de zero a 2.000. low: 548,51 linhas adicionadas; medium: 782,51 linhas adicionadas; high: 981,26 linhas adicionadas; xhigh: 1.189,16 linhas adicionadas; max: 1.404,17 linhas adicionadas. Os níveis de esforço são próprios de cada modelo.Fable-505001.0001.5002.0005491.404lowmediumhighxhighmax
DeepThink Preview: média de linhas adicionadas por esforçoEscala linear de zero a 2.000. GLM 5.3 (max): 1.567,72 linhas adicionadas; low: 1.639,33 linhas adicionadas; medium: 1.642,19 linhas adicionadas; high: 1.632,85 linhas adicionadas. Os níveis de esforço são próprios de cada modelo.DeepThink Preview05001.0001.5002.0001.5681.6391.633GLM 5.3(max)lowmediumhigh

Aumentar o esforço de raciocínio muda quanto código o Fable-5 produz: a média de linhas adicionadas mais que dobra de low para max. A saída do DeepThink fica quase constante de low até high, tanto em linhas adicionadas quanto em bytes do patch.

O DeepThink parte de uma base maior, a do GLM 5.3, e acrescenta pouco a ela. A diferença não está em patches menores, e sim em que aumentar o esforço não leva a soluções ainda maiores.

Saber quando o trabalho está pronto

Uma especificação deixa muitas decisões sem dizer. Um agente de código precisa determinar quais partes do código precisam mudar, quais restrições devem ser preservadas e quais melhorias aparentes ficam fora do pedido. Resolver o problema inclui saber onde parar.

O DeepThink melhora o desempenho nos benchmarks conforme damos a ele mais computação em tempo de teste. No nosso estudo separado de tamanho de patch, aumentar o esforço deixa o tamanho das mudanças quase constante. Juntos, esses resultados apontam para algo que queremos de agentes de código: mais reflexão investida numa mudança, sem uma implementação cada vez maior para quem usa administrar.

Na Rogue, queremos que as pessoas construam software descrevendo o que ele deve fazer. Isso exige agentes em quem possamos confiar nas decisões que não especificamos, e não só nas instruções que demos. O DeepThink Preview está disponível para todo mundo hoje em app.rogueon.ai/build, e esperamos que você goste!

Nosso ambiente de código para desktop chega nas próximas semanas...

Dados públicos e citação

Baixe os agregados relatados pelo autor que sustentam os dois gráficos interativos. Este pacote preserva os valores plotados e não inclui a tabela comparativa entre modelos nem placares atuais.

Versão 1.0.0 · pacote de 4 de outubro de 2026

Esforço e custo nos benchmarks

17 pontos relatados em quatro benchmarks, incluindo a base GLM 5.3. Custo em USD por tarefa; nota em porcentagem.

Baixar CSV de esforço e custo

Tamanho dos patches enviados

9 médias em 77 tarefas pareadas do DeepSWE v1.1. Linhas adicionadas e bytes do patch completo.

Baixar CSV de tamanho de patch

Baixar as duas tabelas em JSONBaixar citação em BibTeX

Ver os 17 pontos de esforço e custo
Agregados de esforço e custo nos benchmarks relatados pelo autor. Custo em USD por tarefa; notas em porcentagem. FrontierSWE v2 usa média de recompensa fracionária.
BenchmarkModeloEsforçoCusto (USD/tarefa)Nota (%)
Terminal Bench 4.0GLM 5.3 (base)max8,2742,1212
Terminal Bench 4.0Rogue DeepThink Previewlow16,634444,6212
Terminal Bench 4.0Rogue DeepThink Previewmedium24,999646,8939
Terminal Bench 4.0Rogue DeepThink Previewhigh33,396849,0909
Terminal Bench 4.0Rogue DeepThink Previewmax41,82651,5152
FrontierSWE v2GLM 5.3 (base)max97,2230,1814
FrontierSWE v2Rogue DeepThink Previewlow194,534433,5405
FrontierSWE v2Rogue DeepThink Previewmedium291,849634,9002
FrontierSWE v2Rogue DeepThink Previewhigh389,196835,7649
FrontierSWE v2Rogue DeepThink Previewmax486,57636,7775
Terminal Bench Science 0.1GLM 5.3 (base)max32,398,0952
Terminal Bench Science 0.1Rogue DeepThink Previewlow64,874410,95
Terminal Bench Science 0.1Rogue DeepThink Previewmedium97,359611,4286
DeepSWE v1.1GLM 5.3 (base)max3,9969,0265
DeepSWE v1.1Rogue DeepThink Previewlow8,074472,0501
DeepSWE v1.1Rogue DeepThink Previewmedium12,159672,2345
DeepSWE v1.1Rogue DeepThink Previewhigh16,276875,2212
Ver as 9 médias de tamanho de patch
Médias de tamanho de patch relatadas pelo autor em 77 tarefas pareadas do DeepSWE v1.1. Linhas adicionadas e bytes do patch completo; sem medidas de precisão pareadas.
ModeloEsforçoMédia de linhas adicionadasMédia de bytes do patch completo
Fable-5low548,5122.907,18
Fable-5medium782,5132.251,45
Fable-5high981,2640.305,37
Fable-5xhigh1.189,1649.763,23
Fable-5max1.404,1758.510,24
GLM 5.3 (base)max1.567,7261.816,77
Rogue DeepThink Previewlow1.639,3364.855,81
Rogue DeepThink Previewmedium1.642,1965.040,32
Rogue DeepThink Previewhigh1.632,8564.850,79

São agregados dos gráficos relatados pelo autor, não um pacote de reprodução. Dados por tarefa, prompts, configurações, logs e o ambiente de avaliação não estão incluídos. Pontos ausentes são omitidos, não tratados como zero nem extrapolados.

Os custos incluem inferência e processamento adicional; não são preços do produto nem latência medida. As notas do FrontierSWE v2 são médias de recompensa fracionária, não uma taxa binária de tarefas resolvidas. O estudo de tamanho de patch com 77 tarefas é separado da avaliação de nota DeepSWE de 113 tarefas e não contém medidas de precisão pareadas.

Cite estes dados

Rogue (2026). Rogue DeepThink Preview: agregados públicos dos gráficos. Versão 1.0.0, pacote de 2026-10-04. https://rogueon.ai/blog/rogue-deep-think-preview/tecnica#public-data

Definições dos benchmarks

Estas fontes primárias descrevem os benchmarks e suas versões.