AI가 답변만 내놓지 않고 신뢰도 점수, 출처 등급, 미해결 갈등까지 보여주도록 강제하는 검증 프레임워크를 만들었습니다.
I built a verification framework that forces AI to show confidence scores, source tiers, and unresolved conflicts — not just answers
핵심 요약
AI의 환각을 줄이고 답변의 신뢰도를 체계적으로 검증할 수 있는 프롬프트 프레임워크 'reClaim'을 소개합니다.
- 신뢰도 점수 — 답변의 출처 강도, 모순 저항성, 완전성을 3개 축으로 분석하여 점수화함.
- 출처 등급제 — 학술지부터 소셜 미디어까지 4단계 계층으로 출처를 분류하여 신뢰도를 평가함.
- 자기 검증 프로세스 — 답변 전 내부 스크래치패드를 활용해 스스로 논리를 검증하고 허점을 찾아냄.
- 다양한 모드 지원 — 간단한 답변부터 심층적인 방법론과 증거 다이어그램까지 필요에 따라 선택 가능함.
working prompt
Most AI answers sound confident even when they shouldn't be. I got tired of that, so I built **reClaim** — a system prompt framework that turns any frontier model into a structured research and verification agent.
**What it does differently:**
- Every claim gets a confidence score broken into 3 axes: Source Strength, Contradiction Resistance, Completeness `[A:xx B:xx C:xx → Overall]`
- Sources are ranked in a 4-tier hierarchy (Tier A = peer-review/gov docs → Tier D = blogs/social media)
- Contradictions between sources are **not averaged** — they're documented and explained
- A mandatory internal scratchpad forces the model to reason *before* it answers
- Built-in adversarial check: the model actively tries to poke holes in its own conclusion
**Modes:**
- `/short` — quick answer + confidence
- `/standard` — result + fact table + evidence base
- `/deep` — full methodology + conflict resolution
- `/deep+` — adds a Mermaid evidence diagram
**Example output snippet (`/standard`):**
```
reClaim Response (Confidence: 85% [A:90 B:78 C:87 → 85])
Fact Table:
| Claim | Status | Confidence | Evidence |
| Aspartame causes cancer | ✗ | 85 | No causal evidence at normal ADI |
| IARC warning exists | ✓ | 95 | IARC 2023: Hazard ≠ Risk |
```
Works with ChatGPT, Claude, or any model that supports system prompts. English and German versions available.
→ https://github.com/tobs-code/prompts/tree/main/reClaim
Happy to answer questions about the design decisions.
