Take a Step Back Prompting (často zkráceně Step-Back Prompting) je technika prompt engineeringu, která vede jazykový model k tomu, aby se nejdřív „odzoomoval“ od konkrétní, detailní otázky a nejprve si vyjasnil obecné principy, zákony, pojmy nebo rámec, které se na problém vztahují. Teprve potom tyto principy použije k řešení původní otázky.
Představte si, že vám někdo položí podrobnou otázku z fyziky. Místo toho, abyste se do ní rovnou ponořili, nejprve pochopíte základní zákon nebo princip, který se na ni vztahuje. Pak toto pochopení použijete k řešení konkrétní otázky.
Na tomto principu je založena technika „Udělej krok zpět“.
Tato metoda umožňuje provádět abstrakce, odvozovat vysokoúrovňové koncepty a první principy z detailních instancí, čímž se výrazně zvyšují jejich schopnosti uvažování.
Step-Back Prompting je dvoufázový proces zahrnující abstrakci a zdůvodňování.
- Ve fázi abstrakce jsou LLM podněcovány k tomu, aby kladly otázky na vysoké úrovni, širší, obecné otázky typu step-back týkající se konceptů nebo principů relevantních pro danou úlohu.
- Fáze uvažování je využívá k tomu, aby vedla LLM k řešení původních otázek.
Proč modely selhávají na složitých otázkách?
Velké jazykové modely mají tendenci k tomu, čemu se říká „přílišné zakotvení v detailech“. Když dostanou velmi specifickou otázku plnou konkrétních čísel, jmen a podmínek, snažíse na ni odpovědět přímo – a přitom přeskočí krok, který by každý dobrý analytik udělal jako první: zamyslet se nad tím, jaký obecný princip nebo koncept se na daný problém vztahuje.
Výsledkem je, že model řeší správný problém špatným způsobem. Má znalosti, má fakta, ale jeho uvažovací cesta vede slepou uličkou, protože nezakotvil konkrétní otázku do správného konceptuálního rámce. Step-Back Prompting tento nedostatek cíleně odstraňuje.
Jak technika funguje: dva kroky místo jednoho
Step-Back Prompting je dvoufázový proces, který probíhá systematicky a opakovaně. Oba kroky jsou navzájem provázané a žádný nelze přeskočit.
Fáze 1: Abstrakce. Namísto přímého zodpovězení konkrétní otázky je model nejprve vyzván, aby si položil širší, obecnější otázku – tzv. „step-back question“. Tato otázka se nezabývá detaily konkrétního problému, ale ptá se po konceptu nebo principu, který za ním stojí. Pokud je například původní otázka „Jaké jsou důsledky Obamacare pro pojištění s existující podmínkou pro občany Texasu?“, step-back otázka zní: „Jaká jsou základní pravidla Obamacare týkající se existujících podmínek?“ Model tímto krokem „povyšuje“ svůj pohled z konkrétního případu na obecnou rovinu.
Fáze 2: Zdůvodňování. Jakmile model formuloval a zodpověděl step-back otázku – tedy identifikoval relevantní principy a koncepty – použije toto obecné porozumění jako kotvu pro řešení původní konkrétní otázky. Funguje to podobně jako scaffolding ve stavebnictví: nejprve se postaví lešení (obecný princip), které pak drží celou konstrukci (konkrétní odpověď).
Příklad z praxe: fyzika a historie
Autoři článku ilustrují techniku na dvou typických oblastech. V případě fyzikální úlohy o chování elektronu v magnetickém poli model nejprve identifikuje obecný fyzikální zákon, který se na situaci vztahuje (Lorentzova síla), a teprve poté aplikuje tento zákon na konkrétní zadané podmínky. Bez kroku zpět by model pravděpodobně začal počítat s konkrétními hodnotami a ztratil by ze zřetele správný fyzikální rámec.
V případě historické otázky – například o konkrétní politické události za určitého prezidenta – model nejprve odpoví na obecnější otázku o historickém kontextu daného období nebo funkci dané instituce, a teprve na základě tohoto kontextu zodpoví specifickou faktografickou otázku. Tento přístup výrazně snižuje riziko, že model poskytne fakticky správné, ale kontextově zcestné odpovědi.
Výsledky: čísla, která překvapí
Step-Back Prompting byl testován na modelech PaLM-2L, GPT-4 a Llama2-70B napříč náročnými benchmarky zaměřenými na vědecké uvažování, znalostní otázky a víceúrovňové odvozování. Výsledky jsou přesvědčivé. Technika zlepšila výkon modelu PaLM-2L na benchmarku MMLU v oblasti fyziky o 7 % a v oblasti chemie o 11 %. Na benchmarku TimeQA, který testuje uvažování o časových vztazích, byl nárůst výkonu dokonce 27 %. Na benchmarku MuSiQue zaměřeném na víceúrovňové odvozování přinesla technika zlepšení o 7 %.
Tato čísla jsou tím pozoruhodnější, že Step-Back Prompting nevyžaduje žádné přetrénování modelu, žádná dodatečná trénovací data ani žádné změny architektury. Jde čistě o změnu způsobu kladení otázek.
Proč to funguje: kognitivní paralela
Step-Back Prompting vlastně replikuje přirozený myšlenkový postup odborníků. Zkušení lékaři při diagnóze nejdříve myslí v kategoriích symptomů a onemocnění (obecná rovina), a teprve poté aplikují tyto kategorie na konkrétního pacienta. Zkušení právníci nejprve identifikují relevantní právní princip, a teprve poté ho aplikují na konkrétní případ. Krok zpět k abstrakci není zdržení – je to zkratka k správnému řešení.
LLM jsou trénovány na obrovském množství textu, kde jsou obecné principy a konkrétní aplikace vzájemně provázány. Step-Back Prompting aktivuje tuto strukturu znalostí tím, že model explicitně nutí nejprve pracovat na úrovni principů, než sestoupí k detailům. Místo toho, aby model prohledával svou paměť způsobem „co vím o tomto konkrétním případu?“, ho technika přesměruje na dotaz „jaký obecný zákon nebo princip zde platí?“ – a to je mnohem produktivnější výchozí bod.
Praktické využití pro každodenní práci s AI
Pro každého, kdo pracuje s jazykovými modely v praxi, plyne z Step-Back Promptingu jednoduchý návod: před tím, než modelu položíte složitou specifickou otázku, přidejte mezikrok. Nejprve se zeptejte na obecný princip, teorii nebo kontext, který se na váš problém vztahuje. Teprve poté formulujte konkrétní otázku a odkažte se na odpověď z prvního kroku.
V marketingové praxi to může vypadat takto: místo přímého dotazu „Jak napsat e-mailovou kampaň pro segment zákazníků 45+ v segmentu prémiové kosmetiky?“ nejprve položte step-back otázku „Jaké jsou klíčové psychologické principy přesvědčování a nákupního chování u zákazníků ve věkové skupině 45+?“ Odpověď na tuto obecnější otázku pak použijte jako základ pro konkrétní copywritingový úkol. Výsledek bude hlubší, lépe ukotvený a konzistentnější.
Step-Back Prompting je elegantním důkazem toho, že klíč k lepším výstupům z AI nespočívá vždy v lepším modelu, ale v lepším myšlení o tom, jak otázku položit. Krok zpět, abyste mohli udělat velký krok vpřed.
