Nepasitikėkite didelio konteksto langais: išmaniosios zonos ir kvailos zonos supratimas LLM

Įvadas

Dideli kalbų modeliai tampa vis didesniais konteksto langais. Nuo 4K prieigos raktų perėjome prie 8K, tada 32K, 100K, 200K, o dabar matome modelius su 1 milijonu žetonų konteksto langų. Skaičiai auga, o pardavėjai toliau reklamuoja šiuos didžiulius kontekstinius langus kaip pagrindinę funkciją.

Tačiau čia yra nepatogi tiesa: dauguma šių žetonų iš tikrųjų nėra tinkami naudoti. Yra „išmanioji zona“, kurioje modelis veikia gerai, ir „nebyli zona“, kurioje našumas labai pablogėja. Ir atskyrimas tarp jų yra daug mažesnis nei reklamuojamas kontekstinio lango dydis.

Išmanioji zona ir kvaila zona

Naujausi tyrimai ir praktinė patirtis atskleidė, kad LLM konteksto langus galima suskirstyti į dvi zonas:

Išmanioji zona

Išmanioji zona yra ta vieta, kur modelis yra ryškus ir veikia optimaliai. Čia modelio dėmesio mechanizmas veikia geriausiai, kur jis gali tiksliai prisiminti informaciją ir efektyviai samprotauti.

Daugumoje modelių išmanioji zona išplečiama iki maždaug 100 000 žetonų. Tai yra apytikslis įvertinimas ir skiriasi priklausomai nuo modelio, tačiau tai yra naudinga taisyklė.

Nebylioji zona

Už išmaniosios zonos slypi nebylioji zona, kurioje nukrenta dėmesys ir modelis pradeda pamiršti tai, ką jam pasakėte anksčiau. Našumas prastėja palaipsniui, kai judate gilyn į kvailą zoną, tačiau pablogėjimas yra tikras ir išmatuojamas.

Problema ta, kad pardavėjai išlaiko 200 000, 1 M, net 2 M žetonų reklamos konteksto langus, tarsi tie skaičiai būtų tinkami naudoti. Jie to nedaro. Tyrimai, tokie kaip RULER ir Chroma ataskaita apie konteksto puvimą, rodo, kad efektyvus kontekstas yra reklamuojamo skaičiaus dalis ir kad užpildžius langą našumas palaipsniui blogėja.

Kodėl tai svarbu kodavimo agentams

Šis išmaniųjų ir kvailų zonų skirtumas tampa ypač svarbus dirbant su kodavimo agentais. Šiuolaikiniai agentai labai greitai sudegina žetonus:

• Keletas failų nuskaitymo gali sunaudoti tūkstančius žetonų
• Ilga derinimo sesija gali sunaudoti dešimtis tūkstančių prieigos raktų
• Išplitęs bandomasis važiavimas gali sunaudoti šimtus tūkstančių žetonų

Prieš pietus lengvai atsidursite prie 100 000 žetonų, prie pat ribos tarp išmaniosios zonos ir nebylios zonos. Ir jei tęsite, pateksite į kvailą zoną, kurioje modelio našumas prastėja.

Ironiška tai, kad pardavėjai parduoda šiuos didelius konteksto langus kaip šios problemos sprendimą, nors iš tikrųjų efektyvus konteksto langas yra daug mažesnis nei reklamuojamas.

Rinkodaros problema

Dideli kontekstiniai langai dažniausiai yra rinkodaros numeris. Už jų esančios architektūros veikia, tačiau jos sprendžia problemą, kurios pagrindinis dėmesio mechanizmas iš tikrųjų neišsprendžia.

Skaičius ant dėžutės didėja kiekvieną kartą. Naudojama dalis neatsilieka.

Tai sukuria klaidingą saugumo jausmą. Kūrėjai mano, kad gali įkelti visą kodų bazę į kontekstą ir dirbti su ja neribotą laiką. Tiesą sakant, jie dirba su daug mažesniu efektyviu konteksto langu ir greičiau nei tikisi.

Praktinės konteksto valdymo strategijos

Atsižvelgiant į šiuos apribojimus, ką kūrėjai gali padaryti, kad efektyviai dirbtų su LLM?

1 strategija: automatinis sutankinimas

Kai kurie įrankiai, pvz., „Claude Code“, dabar sutankinami automatiškai: kai seansas užsitęsia, agentas apibendrina istoriją ir pradeda iš naujo. Tai padeda, bet turi apribojimų:

• Automatinis sutankinimas įsijungia po to, kai jau praleidote laiką kvailoje zonoje
• Pati santrauką sudaro modelis, kuris jau yra sugadintas
• Apibendrinimo procese prarandate tam tikrą kontekstą

Tai geriau nei nieko, bet tai nėra idealu.

2 strategija: rankinis seansų valdymas

Geresnis būdas yra rankiniu būdu valdyti seansus ir perduoti kontekstą tarp jų naudojant rašytines specifikacijas. Štai kaip tai veikia:

1. Dirbkite su modeliu per sesiją, kol pasieksite gerą pažangą
2. Parašykite specifikaciją, ką padarėte ir ką reikia padaryti toliau
3. Pradėkite naują seansą ir pateikite jai specifikaciją
4. Tęskite darbą iš ten

Šis metodas turi keletą privalumų:

• Jūs turite nuspręsti, kokią informaciją svarbu perduoti
• Specifikacija yra didesnis signalas nei automatizuota suvestinė
• Galite optimizuoti kitos sesijos specifikaciją
• Išvengsite degradacijos, kurią sukelia darbas kvailoje zonoje

Tai yra „duonos trupinio“ metodas: palikite artefaktą, kurį kitą seansą arba kitas asmuo gali pasiimti švariai.

3 strategija: struktūrinės darbo eigos

Tokie projektai kaip obra/supergalios ir mattpocock/skills suskirsto visas agento darbo eigas aplink mažus pavadintus artefaktus:

• PRD (produkto reikalavimų dokumentai)
• Planai
• Įgūdžiai
• Subagentų perdavimas

Kiekvienas iš jų yra būdas išlaikyti darbo seansą išmaniojoje zonoje sąmoningai perkeliant informaciją iš seanso į tai, ką gali perskaityti kita sesija.

Šis metodas puikiai tinka dideliems projektams ir užtikrina, kad kiekviena sesija būtų sutelkta ir veiksminga.

Konteksto traktavimas kaip biudžetas

Pagrindinė įžvalga yra traktuoti konteksto langą kaip biudžetą. Turite ribotą konteksto kiekį, su kuriuo galite dirbti, ir turite jį leisti protingai.

Tarkime, kad tik pirmoji dalis jums tikrai tinka. Viskas, ką galite perkelti iš tiesioginio seanso į rašytinį artefaktą, yra dar vienas dalykas, dėl kurio reikia kovoti.

Tai reiškia:

• Neįkelkite visos kodų bazės į kontekstą, jei galite įkelti tik atitinkamas dalis
• Rašykite specifikacijas ir planus, o ne pasikliaukite modeliu, kad viską prisimintumėte
• Norėdami bendrauti tarp seansų, naudokite struktūrinius artefaktus
• Reguliariai peržiūrėkite, kas yra kontekste, ir pašalinkite viską, kas nėra iš karto aktuali

Konteksto degradacijos tyrimas

Konteksto degradacijos samprata nėra tik anekdotinė. Tai patvirtina tikri tyrimai:

LINUOTOJA

RULER tyrime buvo nagrinėjama, kaip LLM dirba skirtingose ​​​​pozicijose savo konteksto lange. Išvados parodė, kad našumas prastėja judant link kontekstinio lango pabaigos, ypač atliekant užduotis, kurioms reikia prisiminti informaciją iš ankstesnės konteksto.

„Chroma“ kontekstinio puvimo ataskaita

„Chroma“ konteksto puvinio tyrimas parodė, kad modelių gebėjimas prisiminti ir samprotauti suprastėja, kai konteksto langas užpildomas. Degradacija yra laipsniška, o ne staigi, bet ji yra reali ir išmatuojama.

Praktiniai pastebėjimai

Be tyrimo, praktinė patirtis patvirtina šias išvadas. Kūrėjai, dirbantys su dideliais kalbų modeliais, nuolat praneša, kad modelio našumas prastėja, kai užpildomi konteksto langai, net ir modeliuose, kuriuose reklamuojami labai dideli kontekstiniai langai.

Konteksto valdymo ateitis

Kadangi LLM ir toliau vystosi, greičiausiai pamatysime patobulinimus, kaip jie tvarko ilgą kontekstą. Tačiau esminis iššūkis išlieka: dėmesio mechanizmai turi apribojimų ir tie apribojimai neišnyksta vien todėl, kad padidinate konteksto langą.

Tikėtina, kad ateitis apima:

1. Geresni dėmesio mechanizmai: Veiksmingesnių dėmesio mechanizmų, kurie neblogėja ilgesniais kontekstais, tyrimas
2. Išmanesnis konteksto valdymas: modeliai, kurie geriau atpažįsta svarbią informaciją ir nustato jos prioritetus
3. Hibridiniai požiūriai: LLM derinimas su kitais metodais, pvz., paieškos papildyta generacija (RAG), kad būtų galima efektyviau valdyti kontekstą
4. Struktūrinės darbo eigos: sudėtingesni įrankiai, skirti valdyti kelių seansų ir agentų kontekstą

Praktinės rekomendacijos

Jei dirbate su LLM, pateikiame keletą praktinių rekomendacijų:

Individualiems kūrėjams

1. Susikoncentruokite į sesijas: Nesistenkite visko padaryti per vieną sesiją. Suskaidykite darbą į mažesnes dalis.
2. Rašyti specifikacijas: Pereidami tarp seansų parašykite aiškias specifikacijas, kas buvo padaryta ir ką reikia padaryti toliau.
3. Stebėti žetonų naudojimą: Sekite, kiek žetonų naudojate, ir žinokite, kada artėsite prie išmaniosios zonos ribos.
4. Testuoti reguliariai: Nemanykite, kad modelis vis dar gerai veikia tik todėl, kad jis vis dar generuoja išvestį. Patikrinkite jo argumentus ir reguliariai prisiminkite.

Komandoms

1. Nustatyti darbo eigas: sukurkite standartines darbo eigas, kaip agentai turėtų valdyti kontekstą seansų metu.
2. Naudokite artefaktus: svarbią informaciją saugokite struktūrizuotuose artefaktuose (PRD, planuose, specifikacijose), o ne pasikliaukite kontekstu.
3. Dokumentų sprendimai: saugokite svarbių sprendimų ir motyvų įrašus, kad juos būtų galima naudoti būsimose sesijose.
4. Monitoriaus kokybė: reguliariai peržiūrėkite agento išvesties kokybę ir prireikus koreguokite darbo eigas.

Įrankių kūrėjams

1. Pateikite konteksto valdymo įrankius: kurkite įrankius, padedančius naudotojams efektyviai valdyti kontekstą seansų metu.
2. Vizualizuokite kontekstinį naudojimą: parodykite naudotojams, kiek konteksto jie naudoja ir kur jis vyksta.
3. Automatizuoti artefaktų generavimą: Padėkite vartotojams automatiškai kurti specifikacijas ir planus.
4. Palaikykite struktūrines darbo eigas: palengvinkite struktūrinių darbo eigų įgyvendinimą naudojant kelis seansus ir agentus.

Išvada

Dideli konteksto langai yra naudinga funkcija, tačiau jie nėra stebuklingas darbo su LLM problemos sprendimas. Efektyvus konteksto langas yra daug mažesnis nei reklamuojamas dydis, o našumas pablogėja jį užpildžius.

Norint efektyviai dirbti su LLM, svarbu suprasti šį apribojimą ir dirbti su juo, o ne prieš jį. Su kontekstu elkitės kaip su biudžetu, naudokite struktūrizuotus artefaktus, kad galėtumėte bendrauti tarp seansų, o darbo sesijos bus sutelktos ir veiksmingos.

Nepasitikėkite numeriu ant dėžutės. Pasitikėkite savo patirtimi ir tyrimais, kurie parodo, kaip LLM iš tikrųjų veikia esant skirtingam konteksto dydžiui. Ir atminkite: geriausias kontekstas yra tas kontekstas, kurio jums nereikia naudoti, nes jau užsirašėte jį į aiškų, struktūrinį artefaktą.

AI kūrimo ateitis nėra susijusi su didesniais konteksto langais. Kalbama apie išmanesnį konteksto valdymą.