More Compute, Mixed Results

FrontierCode (main set): test-time compute scaling GPT-5.6 Sol Claude Opus 4.8 Claude Fable 5 Claude Opus 5 low 35.4% low 35.1% med 39.9% med 40.5% high 41.0% low 41.9% high 45.1% xl high 46.8% max 47.5% low 48.0% med 49.8% high 48.8% max 48.0% xl high 43.6% max 46.5% med 53.4% high 52.7% xl high 53.5% max 51.6% Score (%) Average cost per task (USD, log scale) $2 $3 $5 $7 $10 $15 $20 [Figure 8.4.A] FrontierCode (main set). Scores of Claude Opus 5, Claude Opus 4.8, Claude Fable 5, and GPT-5.6 Sol on the main set of FrontierCode v1.1, a coding evaluation run and scored by Cognition, at each model’s five reasoning-effort settings. Claude Opus 5 reaches its best main-set score, 53.4, at medium effort. FrontierCode (extended set): test-time compute scaling GPT-5.6 Sol Claude Opus 4.8 Claude Fable 5 Claude Opus 5 low 50.0% low 50.8% med 54.7% med 55.4% high 55.6% low 55.8% high 58.7% xl high 60.0% max 60.8% low 60.3% med 62.8% high 58.5% max 58.9% xl high 56.0% max 59.6% med 63.6% high 64.2% xl high 64.0% max 63.6% Score (%) Average cost per task (USD, log scale) $2 $3 $5 $7 $10 $15 [Figure 8.4.B] FrontierCode (extended set). Scores of Claude Opus 5, Claude Opus 4.8, Claude Fable 5, and GPT-5.6 Sol on the extended set of FrontierCode v1.1, a coding evaluation run and scored by Cognition, at each model’s five reasoning-effort settings. Claude Opus 5 reaches its best extended-set score, 63.6, at medium effort.

На изображении показаны два научных графика о том, как увеличение вычислительных усилий при тестировании влияет на результаты моделей Claude и GPT в бенчмарке FrontierCode. Шутка в том, что дополнительные затраты и «размышления» не гарантируют улучшения: некоторые кривые после роста усилий скачут вверх, падают или достигают максимума на среднем уровне. Такой мем отправляют, когда хотят иронично показать закон убывающей отдачи от чрезмерного обдумывания.

• @dev_meme / 8299 2026-07-24