Examination Quality AI

과제 — 판례·심사기준·진단사례·청구범위 등 이질적 자료를 종합해야 하며, 일반 LLM은 도메인 지식 부족·확증 편향·환각·미세 뉘앙스 오해·근거 없는 단정에 취약합니다.

Challenge — we must synthesize heterogeneous sources (case law, guidelines, diagnosis records, claims), while generic LLMs are prone to domain gaps, confirmation bias, hallucination, and unsupported assertions.

課題 — 判例・審査基準・診断事例・請求の範囲など異質な資料を総合する必要があり、 一般的なLLMはドメイン知識不足・確証バイアス・幻覚・細かいニュアンスの誤解・根拠のない断定に弱いです。

EQAI 접근 (2026)

The EQAI approach (2026)

EQAIのアプローチ（2026）

1. Hybrid Retrieval — 키워드(FTS) + 벡터 + 지식그래프/계층 검색을 결합한 고정밀 검색
2. Hybrid Retrieval — keyword (FTS) + vector + graph/hierarchical retrieval
3. Hybrid Retrieval — キーワード(FTS)+ベクトル+知識グラフ/階層検索を組み合わせた高精度検索
4. Agentic 워크플로 — 질의 분해 → 검색 → 근거 검증 → 논리 점검 → 초안 → (필요 시) 재검색
5. Agentic workflow — query decomposition → retrieval → evidence check → logic review → draft → re-retrieval as needed
6. Agenticワークフロー — クエリ分解 → 検索 → 根拠検証 → 論理チェック → 草案 → （必要に応じて）再検索
7. 규칙·심볼릭 가드레일 — 법·심사기준 위반과 필수 체크리스트 누락을 차단
8. Rule & symbolic guardrails — block violations of law/guidelines and missed checklists
9. ルール・記号的ガードレール — 法令・審査基準違反と必須チェックリスト漏れを防止
10. 인용 우선 응답 — 주장마다 조항·판례·사례 ID를 연결하고 링크·스냅샷을 검증
11. Citation-first answers — every claim links to article/case IDs with verified links & snapshots
12. 引用優先の回答 — 主張ごとに条文・判例・事例IDを紐付け、リンク・スナップショットを検証
13. Human-in-the-Loop — 낮은 신뢰도·충돌 근거·고위험 판단은 진단관 검토로
14. Human-in-the-Loop — low confidence, conflicting evidence, or high-risk calls go to human review
15. Human-in-the-Loop — 低い信頼度・根拠の衝突・高リスク判断は診断官のレビューへ
16. 지속 평가 (LLMOps) — 오프라인 골든셋 + 온라인 지표로 회귀 방지
17. Continuous evaluation (LLMOps) — offline golden sets + online metrics prevent regressions
18. 継続的評価（LLMOps） — オフラインのゴールデンセット+オンライン指標で回帰を防止

13종 에이전트가 역할을 나눠 한 건의 답변을 함께 만듭니다. 누가 무엇을 검색·검증·작성했는지 로그로 추적하며, 검증을 통과하지 못하거나 근거를 찾지 못하면 추측하지 않고 “근거 없음”으로 답하거나 진단관 검토로 넘깁니다.

Thirteen agents divide roles to build each answer together. Who searched, verified, and drafted is logged — and anything that fails verification or lacks evidence is not guessed at: we answer “no basis” or escalate to human review.

13種のエージェントが役割を分担して一つの回答を共同で作ります。誰が何を検索・検証・作成したかを ログで追跡し、検証を通過できない、または根拠が見つからない場合は推測せず 「根拠なし」と答えるか、診断官のレビューに回します。

EQAI는 “좋은 AI”라는 주장 대신 측정 가능한 지표로 품질을 관리합니다. 지표는 내부 평가셋(골든셋)과 온라인 로그로 주기적으로 측정하며, 공개 가능한 요약 대시보드를 준비하고 있습니다.

Instead of claiming to be “good AI”, EQAI manages quality with measurable metrics, measured periodically against internal golden sets and online logs. A public summary dashboard is in preparation.

EQAIは「良いAI」という主張ではなく測定可能な指標で品質を管理します。 指標は内部評価セット（ゴールデンセット）とオンラインログで定期的に測定し、公開可能なサマリーダッシュボードを準備しています。

• Groundedness / Faithfulness — 답변이 검색된 근거에 충실한지 — whether answers stay faithful to retrieved evidence — 回答が検索された根拠に忠実か
• Citation Precision · Recall · Faithfulness — 인용이 정확하고 빠짐없으며 내용과 일치하는지 — whether citations are precise, complete, and faithful — 引用が正確で漏れなく内容と一致するか
• 거절률Abstention rate拒否率 — 확신이 없을 때 답 대신 거절하는 비율 — how often uncertain cases abstain instead of answering — 確信がないとき回答の代わりに拒否する割合
• HITL 회수율HITL catch rateHITL回収率 — 신뢰도 임계값 미만 건이 진단관 검토로 넘어가는 비율 — share of below-threshold cases routed to human review — 信頼度しきい値未満の案件が診断官レビューに回る割合
• 업무 완수율 · 응답시간Task success · latencyタスク成功率・応答時間 — 업무 완수율과 평균 응답 시간 — task success and average response time — タスク成功率と平均応答時間

모든 답변·검색에는 기준일·법령 버전·지식베이스 스냅샷을 함께 표기해 낡은 정보의 위험을 줄입니다.

Every answer and search shows its as-of date, statute version, and knowledge-base snapshot to reduce stale-information risk.

すべての回答・検索には基準日・法令バージョン・知識ベースのスナップショットを併記し、古い情報のリスクを軽減します。

NEAR지금 ~ 분기 내Now ~ this quarter今 ～ 今四半期内

• 인용 강제 UI + 링크 무결성 검사
• Citation-enforced UI + link integrity checks
• 引用強制UI + リンク整合性チェック
• Retrieval / Groundedness / Citation 지표 대시보드
• Retrieval / Groundedness / Citation metrics dashboard
• Retrieval / Groundedness / Citation 指標ダッシュボード
• 신뢰도 임계값 기반 HITL 큐
• Confidence-threshold HITL queue
• 信頼度しきい値ベースのHITLキュー
• 지식베이스 기준일·버전 표기
• Knowledge-base as-of date & version labels
• 知識ベースの基準日・バージョン表記

MID중기Mid-term中期

• Hierarchical / Graph RAG — 법령·심사기준·사례 계층 검색
• Hierarchical / Graph RAG — statute, guideline, and case hierarchies
• Hierarchical / Graph RAG — 法令・審査基準・事例の階層検索
• Researcher–Auditor–Adjudicator 패턴 공식화
• Formalize the Researcher–Auditor–Adjudicator pattern
• Researcher–Auditor–Adjudicatorパターンの公式化
• 도메인 평가셋 확장 + 공개 요약 리포트
• Grow domain eval sets + public summary reports
• ドメイン評価セットの拡充 + 公開サマリーレポート
• 상표·디자인 비교봇 재개 (멀티모달 비교 평가 포함)
• Relaunch Trademark & Design Compare (incl. multimodal comparison)
• 商標・デザイン比較ボットの再開（マルチモーダル比較評価を含む）

LONG장기Long-term長期

• Neuro-symbolic 모순·누락 탐지의 설명 가능 리포트 제품화
• Productize explainable reports from neuro-symbolic contradiction/gap detection
• Neuro-symbolicの矛盾・欠落検知の説明可能レポート製品化
• 조직 단위 AI 거버넌스(권한·감사·모델 카드)와 연동
• Integrate org-level AI governance (permissions, audits, model cards)
• 組織単位のAIガバナンス（権限・監査・モデルカード）と連携
• 경량 도메인 적응(LoRA 등)은 평가 통과 시에만 배포
• Lightweight domain adaptation (LoRA etc.) ships only after passing evaluation
• 軽量ドメイン適応（LoRA等）は評価通過時のみ配備

EQAI는 심사품질 업무의 검증 가능한 동반자입니다. 빠르게 초안을 만들되, 근거·인용·거절·사람 검토로 품질을 지킵니다.

EQAI is a verifiable companion for examination-quality work — draft fast, and protect quality with evidence, citations, abstention, and human review.

EQAIは審査品質業務の検証可能なパートナーです。 素早く草案を作りつつ、根拠・引用・拒否・人のレビューで品質を守ります。