Maieutic Prompting (Maieutické nabádání)

Prompt Engineering Čvc 18, 2024

Maieutika je termín používaný samotným Sókratem pro umění vést dialog. Maieutika je součást sokratovské metody. Jejím jádrem je myšlenka, že pravda je latentně přítomna v rozumu každého člověka už od narození, ale musí se „přivést na svět“ skrz správně položené otázky učitele

Technika maieutického nabádání je způsob, jak testovat konzistenci a integritu odpovědí poskytnutých jazykovým modelem na logické nebo faktické otázky. 

Cílem je zajistit, že odpovědi nejen znějí pravděpodobně, ale že jsou také logicky konzistentní.

V příkladu na obrázku, je zadán výrok „Válka nemůže mít remízu“ a model poskytuje odpověď.

Maieutický strom je vytvořen tak, že se rozvíjí možné argumenty pro a proti této odpovědi, které jsou pak systematicky ověřovány. Každá cesta stromu končí, až když narazí na logicky konzistentní závěr.

V podstatě, po počáteční odpovědi modelu se ptáme další otázky, abychom ověřili, zda model může konzistentně odůvodnit svou odpověď. Pokud model poskytne protichůdné zdůvodnění, jeho původní odpověď nemůže být považována za důvěryhodnou.

Vážení návrhů a vztahů a použití Max-SAT řešiče pak pomáhá určit, která cesta v maieutickém stromu je nejvíce pravděpodobná nebo nejsprávnější, a tím poskytuje konečnou predikci pro původní výrok. V tomto příkladu byl konečný závěr, že výrok „Válka nemůže mít remízu“ je nepravdivý.

Je to tedy způsob, jak posoudit, zda jsou odpovědi jazykového modelu nejen relevantní, ale i vzájemně konzistentní a logicky validní.

Tento obrázek demonstruje další krok v procesu maieutického stromu – definování vztahů mezi různými tvrzeními a následný výklad pomocí Max-SAT Solveru.

  1. Definování vztahů: Každé tvrzení ETE_T, EFE_F, a ETFE_{TF} je porovnáno s původní otázkou QQ. Vztahy jsou definovány jako „Entail“ (naznačuje, že tvrzení vyplývá z otázky) nebo „Contradict“ (tvrzení je v rozporu s otázkou). Každému vztahu je přiřazena váha ww, která vyjadřuje míru důvěry v daný vztah. Na obrázku vidíme, že tvrzení EFE_F a ETFE_{TF} jsou hodnocena jako pravdivá s váhami 0.92 a 0.98.

  2. Inference: Max-SAT Solver je algoritmus používaný k optimalizaci rozhodování založeného na vahách vstupů. V tomto příkladu Max-SAT Solver vyhodnocuje všechny váhy a vztahy a odvozuje konečné pravdivostní hodnoty tvrzení. V tomto případě bylo odvozeno, že ETE_T je nepravdivé, zatímco EFE_F a ETFE_{TF} jsou pravdivé. Na základě těchto pravdivostních hodnot je konečný závěr, že původní otázka QQ je nepravdivá.

Celý proces slouží k tomu, aby se zjistilo, zda je původní tvrzení pravdivé nebo nepravdivé na základě logicky konzistentního zdůvodnění.

Vysvětlení pro laika:

Představ si maieutický strom jako rozhovor s někým, kdo ti pomáhá ujasnit si své názory tím, že klade další otázky a prověřuje tvoje odpovědi. Použijme analogii s detektivem, který vyšetřuje případ.

Krok 1: Položení otázky

Detektiv dostane případ: „Myslíte si, že pan Novák je nevinný?“

Krok 2: Hledání důkazů

Detektiv začne shromažďovat důkazy:

  • Pro nevinu: „Pan Novák má alibi.“
  • Pro vinu: „Pan Novák byl viděn na místě činu.“

Krok 3: Ověřování důkazů

Detektiv začne prověřovat každý důkaz:

  • Alibi: Detektiv zjistí, že pan Novák tvrdí, že byl v kině. Prověří, zda někdo může potvrdit jeho přítomnost v kině.
  • Vidění na místě činu: Detektiv najde svědka, který tvrdí, že viděl pana Nováka na místě činu. Prověří důvěryhodnost tohoto svědka a hledá další svědky nebo důkazy, které by toto tvrzení podpořily.

Krok 4: Získávání dalších informací

Detektiv zjišťuje více detailů:

  • Alibi: Svědek, který má potvrdit alibi pana Nováka, se ukáže být nepřesvědčivý nebo nespolehlivý (například si není jistý časem nebo datumem).
  • Vidění na místě činu: Svědek, který viděl pana Nováka na místě činu, je důvěryhodný a jeho tvrzení je podpořeno dalšími důkazy, jako jsou bezpečnostní kamery nebo jiné svědectví.

Krok 5: Vyhodnocení všech důkazů

Detektiv porovná váhu všech důkazů:

  • Alibi: Není dostatečně přesvědčivé nebo důvěryhodné.
  • Vidění na místě činu: Silné a podporované dalšími důkazy.

Konečný výsledek

Na základě pečlivého zvážení všech prověřených důkazů a argumentů, detektiv dospěje k závěru, že důkazy pro vinu pana Nováka jsou silnější a přesvědčivější než důkazy pro jeho nevinu. Proto se rozhodne pro vinu pana Nováka.

Analogicky v maieutickém stromu

  1. Položíme otázku: „Je pan Novák nevinný?“
  2. Hledáme důvody pro a proti: Argumenty pro nevinu a vinu.
  3. Ověřujeme tyto důvody: Každý argument prověřujeme dalším otázkami a ověřováním.
  4. Získáváme další informace: Pokračujeme v otázkách a ověřování až do hloubky, dokud nejsou všechny argumenty prověřené.
  5. Vyhodnotíme vše dohromady: Použijeme všechna ověřená fakta a argumenty, abychom došli k závěru, zda je původní tvrzení pravdivé nebo nepravdivé.

V tomto procesu jsme zjistili, že důkazy pro vinu pana Nováka byly silnější, konzistentnější a více podpořené než důkazy pro jeho nevinu, což vedlo k rozhodnutí, že je vinen.

VM

Osobní inforrmace

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *