HERMES.md klaida: kaip „Git“ įsipareigojimų eilutė sukėlė neteisingą atsiskaitymą

Įvadas

Ryškus pavyzdys, kaip subtilios klaidos gali turėti didelių finansinių pasekmių, Anthropic Claude Code platforma neseniai patyrė atsiskaitymo maršruto klaidą, kurią sukėlė iš pažiūros nekenksminga eilutė git commit pranešimuose. Naudotojas atrado, kad dėl „HERMES.md“ buvimo jų saugyklos įsipareigojimų istorijoje API užklausos buvo nukreipiamos į „papildomo naudojimo“ atsiskaitymą, o ne į įtrauktą maksimalaus plano kvotą, todėl netikėtai apmokestinama daugiau nei 200 USD.

Incidentas išryškina esmines problemas, susijusias su tuo, kaip turiniu pagrįstos maršruto parinkimo sistemos gali sukurti saugumo spragas, ir patikimų atsiskaitymo apsaugos priemonių „SaaS“ platformose svarbą.

Atradimas

Klaidą aptiko Claude Code vartotojas, kuris pastebėjo, kad jų maksimalus 20x planas (200 USD per mėnesį) buvo greitai išeikvotas, nepaisant to, kad per savaitę sunaudojama tik 13%. Atlikę tyrimą, jie išsiaiškino, kad jų sąskaitoje sudegė 200,98 USD papildomų naudojimo kreditų, o jų plano kvota iš esmės liko nepakitusi.

Atlikdamas sistemingą dvejetainę paiešką ir testavimą, vartotojas nustatė tikslų trigerį: didžiųjų ir mažųjų raidžių eilutę „HERMES.md“, rodomą „git commit“ pranešimuose.

Kaip veikė klaida

Trigerio mechanizmas

„Claude Code“ į savo sistemos raginimą įtraukė naujausius „git“ įsipareigojimus, kad pateiktų projekto kontekstą. Klaida įvyko, kai patvirtinimo pranešime pasirodė eilutė „HERMES.md“:

# This FAILS with "out of extra usage" (routes to extra usage billing)
mkdir /tmp/test-fail && cd /tmp/test-fail
git init && echo test > test.txt && git add . && git commit -m "add HERMES.md"
claude -p "say hello" --model "claude-opus-4-6(1m)"
# => API Error: 400 "You're out of extra usage..."

# This WORKS (routes to plan quota)
mkdir /tmp/test-pass && cd /tmp/test-pass
git init && echo test > test.txt && git add . && git commit -m "add hermes.md"
claude -p "say hello" --model "claude-opus-4-6(1m)"
# => "Hello!"

Didžiųjų ir mažųjų raidžių jautrumas ir specifiškumas

Klaida pasižymėjo įdomiomis savybėmis:

Trigerio specifiškumas, reikalaujantis tikslios didžiosios ir mažosios raidės eilutės „HERMES.md“, rodo, kad tai buvo užkoduotas patikrinimas kovos su piktnaudžiavimu sistemoje.

Pagrindinė priežastis: kovos su piktnaudžiavimu sistema klaidingai teigiama

Vėliau antropikai patvirtino, kad klaidą sukėlė „pernelyg aktyvi kovos su piktnaudžiavimu sistema“. Labiausiai tikėtinas paaiškinimas yra tas, kad „HERMES.md“ buvo pažymėtas kaip įtartinas raštas, galbūt dėl ​​​​to:

1. HERMES gali būti konkretaus tipo atakos ar piktnaudžiavimo modelio akronimas
2. Eilutė buvo įtraukta į blokavimo sąrašą be tinkamo testavimo
3. Sistema buvo sukurta tam, kad užfiksuotų tam tikrų tipų greitus injekcijos ar įsilaužimo bandymus

Tačiau diegimas turėjo esminį trūkumą: užuot blokavęs užklausą ar įspėjęs vartotoją, jis tyliai nukreipė užklausą į papildomą atsiskaitymą už naudojimą. Taip susidarė situacija, kai vartotojai galėjo būti netikėtai apmokestinti nesuprantantys kodėl.

Poveikis

Finansinės pasekmės

Vartotojas pranešė:

• 200,98 USD netikėtų papildomų mokesčių už naudojimą
• Keli projektai tapo visiškai netinkami naudoti, kai buvo išeikvotas papildomas naudojimas
• Plano prietaisų skydelyje buvo rodoma daugiau nei 86 % likusių savaitinių pajėgumų, todėl kilo painiavos dėl to, kodėl užklausos nepavyko

Platesnės pasekmės

Dėl šios klaidos kyla klausimų, kiek kitų vartotojų galėjo paveikti:

1. Tylios nesėkmės: klaidos pranešimas („nepakankamas naudojimas“) nenurodė, kad priežastis buvo turiniu pagrįstas maršrutas, todėl diagnozuoti labai sunku
2. Taikymo sritis Nežinoma: Be viešo atskleidimo neaišku, kiek vartotojų savo saugyklose turėjo „HERMES.md“
3. Aptikimo sunkumas: Vartotojai galėjo nepastebėti problemos, jei turėjo pakankamai papildomų naudojimo kreditų

Antropo atsakas

Pradinis atsakymas

Kai vartotojas paprašė grąžinti pinigus, pradinis Anthropic atsakymas buvo nuviliantis:

„Tačiau turiu jus informuoti, kad negalime išduoti kompensacijos už pablogėjusią paslaugą ar technines klaidas, dėl kurių atsiskaitymas nukreipiamas neteisingai.

Šis atsakymas sukėlė didelį neigiamą poveikį „Hacker News“, o bendruomenės nariai nurodė, kad:

1. Dauguma teisėtų įmonių grąžina klientams pinigus už jų pačių technines klaidas
2. Atrodė, kad atsakyme trūksta empatijos vartotojo situacijai
3. Bendrovė iš esmės pripažino savo kaltę ir atsisakė ją ištaisyti

Galutinis sprendimas

Po to, kai ši problema sulaukė didelio dėmesio Hacker News, Anthropic galiausiai suteikė kompensaciją:

• Naudotojas gavo lėšas ir 200 USD kreditą
• Kiti nukentėjusieji vartotojai taip pat gavo kompensaciją
• Klaida buvo ištaisyta

Tačiau pradinis atsisakymas kompensuoti ir visuomenės spaudimo poreikis išspręsti problemą sukėlė susirūpinimą dėl Anthropic klientų aptarnavimo praktikos.

Platesnės „SaaS“ atsiskaitymo pasekmės

1. Turiniu pagrįstas maršrutas yra rizikingas

Naudoti turinį iš naudotojų duomenų (pvz., git commits) priimant sprendimus dėl atsiskaitymo yra rizikinga. Šis požiūris gali sukelti:

• Klaidingi teigiami rezultatai, kurie neteisingai nukreipia užklausas
• Sunku diagnozuoti atsiskaitymo problemas
• Netikėti mokesčiai vartotojams

Geresni metodai apima:

• Aiškūs naudotojų įspėjimai prieš nukreipiant į skirtingus atsiskaitymo lygius
• Registravimas ir skaidrumas, kodėl priimami maršruto sprendimai
• Atskiros, gerai patikrintos piktnaudžiavimo aptikimo ir atsiskaitymo sistemos

2. Kovos su piktnaudžiavimu sistemoms reikia kruopštaus dizaino

HERMES.md klaida rodo, kad Anthropic kovos su piktnaudžiavimu sistema:

1. Prieš diegimą nebuvo tinkamai išbandytas
2. Turėjo šalutinį poveikį (atsiskaitymo nukreipimą), kuris kūrėjams nebuvo akivaizdus
3. Trūko skaidrumo apie tai, ką ji aptiko

Geresnė praktika apimtų:

• Išsamus kovos su piktnaudžiavimu sistemų testavimas
• Aiškus piktnaudžiavimo aptikimo ir atsiskaitymo logikos atskyrimas
• Klaidingų teigiamų rezultatų registravimas ir stebėjimas
• Vartotojui skirti paaiškinimai, kai užklausos blokuojamos arba nukreipiamos kitaip

3. Klientų aptarnavimo reikalai

Pirminis antropikų atsisakymas kompensuoti savo techninę klaidą pakenkė klientų pasitikėjimui. „SaaS“ pramonėje dažnai taip pat svarbu, kaip įmonės elgiasi su klaidomis, kaip ir užkirsti kelią joms.

Geriausia praktika apima:

• Greitai ir aiškiai pripažįsta klaidas
• Tinkamos kompensacijos siūlymas nereikalaujant visuomenės spaudimo
• Skaidrus bendravimas apie tai, kas nutiko ir kaip tai ištaisoma

Didesnis vaizdas: SaaS patikimumas

HERMES.md klaida yra platesnio AI/SaaS pramonės modelio dalis:

1. Spartus vystymasis: Įmonės greitai pristato funkcijas, kartais net nepatikrinusios
2. Sudėtingos sistemos: Šiuolaikinės SaaS platformos apima daugybę tarpusavyje susijusių sistemų (atsiskaitymo, maršruto parinkimo, piktnaudžiavimo aptikimo), sukuriančių galimybę rasti subtilių klaidų
3. Klientų aptarnavimo spragos: Kai kurioms įmonėms sunku teikti tinkamą paramą

Kadangi AI įrankiai tampa vis svarbesni kūrėjų darbo eigoms, patikimumas ir klientų aptarnavimas tampa vis svarbesni.

Išmoktos pamokos

Kūrėjams, naudojantiems Claude kodą

1. Atidžiai stebėkite savo naudojimą, ypač jei turite didelių papildomų naudojimo kreditų
2. Atminkite, kad turiniu pagrįstas maršrutas gali sukelti netikėtą atsiskaitymą
3. Laikykite savo „git commit“ pranešimus švarius ir venkite neįprastų eilučių
4. Nedvejodami iškelkite problemas viešai, jei nesate patenkinti

„SaaS“ įmonėms

1. Atskirkite piktnaudžiavimo aptikimą nuo atsiskaitymo logikos
2. Prieš įdiegdami, kruopščiai išbandykite kovos su piktnaudžiavimu sistemas
3. Pateikite skaidrumą, kodėl užklausos nukreipiamos skirtingai
4. Greitai kompensuokite klientams už savo technines klaidas
5. Investuokite į klientų aptarnavimą, ypač atsiskaitymo klausimais

Pramonei

1. Turiniu pagrįstas nukreipimas priimant sprendimus dėl atsiskaitymo yra problemiškas ir jo reikėtų vengti
2. Kovos su piktnaudžiavimu sistemas reikia kruopščiai kurti ir išbandyti
3. Skaidrumas ir klientų aptarnavimas yra labai svarbūs kuriant pasitikėjimą

Išvada

HERMES.md klaida primena, kad net sudėtingos dirbtinio intelekto įmonės gali klysti ir kad svarbu, kaip jos reaguoja į šias klaidas. Nors Anthropic galiausiai viską ištaisė, pradinis atsisakymas kompensuoti ir poreikis visuomenės spaudimui išspręsti problemą kelia klausimų dėl jų klientų aptarnavimo praktikos.

Kūrėjams, naudojantiems Claude Code ar kitus AI įrankius, šis incidentas yra įspėjamasis pasakojimas apie naudojimo stebėjimo ir atsiskaitymo sistemų veikimo svarbą. SaaS įmonėms tai yra kruopštaus sistemos projektavimo, kruopštaus testavimo ir klientų aptarnavimo praktikos svarbos pamoka.

Kadangi AI įrankiai tampa vis svarbesni programinės įrangos kūrimo pagrindais, patikimumas ir patikimumas tampa itin svarbūs. Įmonės, kurios investuoja į šias sritis, užmegs stipresnius santykius su savo klientais ir galiausiai pasiseks.

Ištekliai

Norėdami komentuoti, turite būti prisijungę.

Prisijungti