Tato technika je založena na principu vytváření promptů, které jsou konzistentní v rámci sebe sama. To znamená, že všechny části promptu by měly být konzistentní a smysluplné v kontextu celého promptu.
Sebekonzistence je přístup, který jednoduše položí modelu několikrát stejnou otázku a za konečnou odpověď považuje většinový výsledek.
Představte si to jako psaní příběhu. Každá část příběhu by měla být konzistentní s ostatními částmi. Například, pokud začnete příběh tím, že hlavní postava žije v moderním městě, neměli byste v polovině příběhu náhle změnit kontext a tvrdit, že postava žije v pravěku. Stejným způsobem by měl být prompt konzistentní v rámci sebe sama.
- Možná jedna z pokročilejších technik pro rychlé inženýrství je vlastní konzistence. Navrhl Wang et al. (2022) , self-konzistence si klade za cíl „nahradit naivní chamtivé dekódování používané v řetězci myšlenek“. Záměrem je otestovat několik různých způsobů uvažování prostřednictvím několika pokusů CoT a použít generace k výběru nejkonzistentnější odpovědi. To pomáhá zvýšit výkon nabádání CoT u úkolů zahrnujících aritmetiku a logické uvažování.
Pomocí myšlenkového řetězce se vytváří myšlenková cesta, která je následně následována. A naopak autokonzistence využívá intuici, že složitý problém uvažování obvykle připouští více různých způsobů myšlení, které vedou k jeho jedinečné správné odpovědi.
Metoda autokonzistence se skládá ze tří kroků:
- vybídnout LLM ke generování části úvahy řetězce myšlenek (CoT).
- Vygenerovat rozmanitý soubor cest uvažování.
- Vybrat nejkonzistentnější výstup pro konečnou odpověď.
Přístup uplatňovaný metodou autokonzistence může přinést zvýšenou režii; zejména pokud kroky každého CoT zahrnují volání externích nástrojů a API. Tato režie se projeví v podobě dodatečných nákladů a času na dokončení okružních cest.
vstup:
When I was 6 my sister was half my age. Now
I’m 70 how old is my sister?vstup za použití Self-consistency:
Q: There are 15 trees in the grove. Grove workers will plant trees in the grove today. After they are done,
there will be 21 trees. How many trees did the grove workers plant today?
A: We start with 15 trees. Later we have 21 trees. The difference must be the number of trees they planted.
So, they must have planted 21 - 15 = 6 trees. The answer is 6.
Q: If there are 3 cars in the parking lot and 2 more cars arrive, how many cars are in the parking lot?
A: There are 3 cars in the parking lot already. 2 more arrive. Now there are 3 + 2 = 5 cars. The answer is 5.
Q: Leah had 32 chocolates and her sister had 42. If they ate 35, how many pieces do they have left in total?
A: Leah had 32 chocolates and Leah’s sister had 42. That means there were originally 32 + 42 = 74
chocolates. 35 have been eaten. So in total they still have 74 - 35 = 39 chocolates. The answer is 39.
Q: Jason had 20 lollipops. He gave Denny some lollipops. Now Jason has 12 lollipops. How many lollipops
did Jason give to Denny?
A: Jason had 20 lollipops. Since he only has 12 now, he must have given the rest to Denny. The number of
lollipops he has given to Denny must have been 20 - 12 = 8 lollipops. The answer is 8.
Q: Shawn has five toys. For Christmas, he got two toys each from his mom and dad. How many toys does
he have now?
A: He has 5 toys. He got 2 from mom, so after that he has 5 + 2 = 7 toys. Then he got 2 more from dad, so
in total he has 7 + 2 = 9 toys. The answer is 9.
Q: There were nine computers in the server room. Five more computers were installed each day, from
monday to thursday. How many computers are now in the server room?
A: There are 4 days from monday to thursday. 5 computers were added each day. That means in total 4 * 5 =
20 computers were added. There were 9 computers in the beginning, so now there are 9 + 20 = 29 computers.
The answer is 29.
Q: Michael had 58 golf balls. On tuesday, he lost 23 golf balls. On wednesday, he lost 2 more. How many
golf balls did he have at the end of wednesday?
A: Michael initially had 58 balls. He lost 23 on Tuesday, so after that he has 58 - 23 = 35 balls. On
Wednesday he lost 2 more so now he has 35 - 2 = 33 balls. The answer is 33.
Q: Olivia has $23. She bought five bagels for $3 each. How much money does she have left?
A: She bought 5 bagels for $3 each. This means she spent 5
Q: When I was 6 my sister was half my age. Now I’m 70 how old is my sister?
A:Odpovědi:
When I was 6 my sister was half my age, so she was 3. Now I am 70, so she is 70 - 3 = 67. The answer is 67.When the narrator was 6, his sister was half his age, which is 3. Now that the narrator is 70, his sister would be 70 - 3 = 67 years old. The answer is 67.When I was 6 my sister was half my age, so she was 3. Now I am 70, so she is 70/2 = 35. The answer is 35.Jedná se o metodu, která umožňuje použít LLM k vlastní kontrole faktů, a to v případě generativních velkých jazykových modelů s nulovými zdroji (Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models). Jde o jednoduchý ansámblový přístup, kdy je LLM požádán, aby vygeneroval několik odpovědí na stejnou výzvu. Konzistence mezi těmito odpověďmi ukazuje, jak přesná může být odpověď.
Výše uvedený diagram znázorňuje přístup ve scénáři zajištění kvality. V tomto případě se „konzistence“ měří počtem odpovědí na pasáže, které se shodují s celkovou odpovědí.
| Výzva : | Výstup: |
| Moje sestra byla o polovinu mladší, když mi bylo šest. Jak stará je moje sestra v tuto chvíli, 70? | Vaší sestře je 61 let. |
Výsledek je nesprávný! Jak to můžeme zlepšit tím, že se staneme soběstačnými? Pojďme to zkusit. Několik málo výstřelových exemplářů od Wang et al. 2022 bude použit.
| Výzva : | Výstup: |
| Otázka: V háji je 15 stromů. Dnes tam pracovníci háje vysadí stromy. Po dokončení bude 21 stromů. Kolik stromů dnes pracovníci háje zasadili? A: Začneme tím, že máme 15 stromů. Následně je přidáno 21 stromů. Rozdíl musí být v množství stromů, které zasadili. Museli proto vysadit 6 stromů (21 – 15). Odpověď je 6. Otázka: Kolik aut je na parkovišti, když už jsou tři a další dvě přijedou? Otázka: Moje sestra byla o polovinu mladší než já, když mi bylo šest. Jak stará je moje sestra v tuto chvíli, 70? A: | Vaší sestře je 67 let. |
Do výpočtu konečné odpovědi se zapojují další procesy, ale pro zjednodušení vidíme, že většinové řešení se již rýsuje, takže by se fakticky stalo konečnou odpovědí.
