RPA와 생성형 AI 결합 시 핵심 점검 요소는 범용 LLM 단독 처리를 지양하고 특화 ML을 혼합한 하이브리드 IDP 파이프라인 구축, 필드별 신뢰도 점수에 기반한 인간 참여형(Human-in-the-Loop) 예외 처리 설계, 민감 금융·개인정보 마스킹 및 전용 테넌트 보안, 그리고 기간계 시스템 연동을 위한 정형 스키마 변환 검증입니다.
1. 기존 RPA와 템플릿 OCR의 구조적 한계와 비정형 문서 처리 과제
전통적인 로보틱 프로세스 자동화(RPA, Robotic Process Automation)는 사전에 정의된 화면 좌표를 클릭하거나 고정된 엑셀 서식의 데이터를 전사적 자원관리(ERP) 시스템에 이관하는 결정론적(Deterministic) 업무에서 확고한 투자자본수익률(ROI)을 입증해 왔습니다. 그러나 기업의 실제 업무 환경에서 유통되는 문서의 80% 이상은 공급사마다 양식과 항목 배치가 제각각인 세금계산서, 조항 구성이 비표준적인 외주 용역 계약서, 자유 서식으로 작성된 견적서 및 발주서와 같은 비정형(Unstructured) 및 반정형(Semi-structured) 데이터입니다. 룰 기반 RPA 봇은 문서 내 텍스트 위치가 단 몇 픽셀만 어긋나거나 공급업체가 표(Table)의 열 순서를 변경하는 순간 예외 에러(Exception Error)를 발생시키며 전체 워크플로를 중단시키는 구조적 취약성을 안고 있습니다.
이러한 문제를 해결하기 위해 널리 도입되었던 템플릿 기반 광학문자인식(OCR, Optical Character Recognition) 역시 운영 환경의 확장성(Scalability) 한계에 부딪혔습니다. 거래처가 수백 개에 달하는 대기업 구매·재무 부서의 경우, 거래처별 문서 서식마다 정규식(Regex)과 좌표 템플릿을 수작업으로 등록해야 했으며, 분기마다 서식이 미세하게 변경될 때마다 자동화 개발자가 개입해 템플릿을 재작성하는 과도한 유지보수 공수가 발생했습니다. 결국 시스템 예외 큐(Exception Queue)에 적체된 문서를 현업 담당자가 일일이 열어 시스템에 수기로 재입력하는 병목이 재발했고, 진정한 무개입 종단간(End-to-End) 자동화는 현장에서 번번이 좌절되었습니다.
2. 생성형 AI와 특화 머신러닝의 하이브리드 IDP 파이프라인 아키텍처

비정형 문서 처리를 위해 거대언어모델(LLM)을 도입할 때 흔히 발생하는 치명적인 설계 실수는 전처리부터 추출, 후가공에 이르는 전 과정을 범용 생성형 AI 단독 프롬프트에 의존하는 방식입니다. 범용 LLM은 문맥 파악과 자연어 추론 역량은 뛰어나지만, 다단 표(Multi-column Table)의 구조적 파싱, 글리프(Glyph) 단위의 위치 보존, 대량 배치 처리 시 발생하는 토큰 비용과 응답 지연(Latency) 측면에서 심각한 비효율을 초래합니다. 글로벌 시장조사기관 가트너(Gartner)는 범용 LLM만을 단독 적용한 문서 처리 프로젝트의 경우 데이터 신뢰성 검증 부재와 기하급수적인 연산 비용으로 인해 엔터프라이즈 프로덕션 환경 안착에 실패할 위험이 매우 높다고 분석합니다 1.
따라서 검증된 지능형 문서 처리(IDP, Intelligent Document Processing) 아키텍처는 특화 머신러닝 모델과 생성형 AI의 역할을 명확히 분리한 하이브리드 파이프라인으로 구성되어야 합니다. 첫째, 이미지 왜곡 보정, 노이즈 제거, 텍스트 공간 좌표(Bounding Box) 분석은 LayoutLM과 같은 레이아웃 인식 특화 OCR 엔진이 전담하여 2차원 공간 정보를 보존합니다. 둘째, 사업자등록번호, 승인번호, 공급가액 등 서식이 일정 수준 고정된 헤더 필드는 사전 학습된 도메인 특화 추출기를 통해 확정적으로 처리합니다. 셋째, 지체상금 조항, 계약 해지 조건, 손해배상 한도액 등 고도의 자연어 문맥 해석이 요구되는 비정형 서술형 영역에 한해 생성형 AI를 호출하고, Pydantic 등의 도구로 JSON 스키마를 강제하는 구조화 출력(Structured Outputs) 기법을 적용해야 추출 데이터의 구조적 무결성을 보장할 수 있습니다 2.
복잡한 세금계산서의 품목 내역이나 제조 부품 발주서의 다단 표(Multi-column Table)는 생성형 AI가 행과 열을 오인식하기 가장 쉬운 영역입니다. 이를 방지하기 위해 엔터프라이즈 IDP는 '표 파싱 다단계 휴리스틱 폴백(Heuristic Fallback) 메커니즘'을 표준 절차로 탑재해야 합니다. 먼저 1차적으로 비전 AI 기반 광학 엔진이 행 분할선과 셀 좌표를 인식해 정형 2차원 배열로 복원합니다. 만약 행 병합 셀로 인해 열 개수 불일치가 감지되면, 2차 폴백 단계로 컴퓨터 비전 기반 바운딩 박스를 텍스트 스트림과 결합하여 멀티모달 비전-언어 모델(VLM)에 원본 이미지 크롭본과 함께 전달해 마크다운 테이블 형태로 재구조화합니다. 마지막 3차 검증 단계에서는 각 행의 수량과 단가를 곱한 값이 공급가액 합계 및 총 세액과 수학적으로 일치하는지 프로그래밍 룰 엔진으로 교차 검산(Cross-validation)하며, 단 1원의 오차라도 발생하면 즉시 예외 플래그를 세우고 검증 UI로 인계합니다.
3. 신뢰도 점수 기반 라우팅과 Human-in-the-Loop 거버넌스
엔터프라이즈 재무 및 법무 파이프라인에서 생성형 AI가 야기하는 가장 치명적인 위험은 사실과 다른 그럴듯한 거짓 정보를 생성하는 환각(Hallucination) 현상입니다. 계약 종료일, 대금 지급 기한, 세액 합계금액이 1원이라도 잘못 입력되어 ERP에 전기될 경우 기업은 심각한 회계 오류나 법적 분쟁에 직면하게 됩니다. 이를 통제하기 위한 핵심 기술 장치는 모델이 추출한 각 데이터 필드마다 0에서 1 사이의 통계적 신뢰도 점수(Confidence Score)를 정량적으로 산출하고, 사전 정의된 비즈니스 임계값(Threshold)을 기준으로 처리 경로를 분기하는 라우팅 아키텍처입니다 2.
신뢰도 점수가 기준치(예: 0.95 이상)를 충족하고 비즈니스 무결성 규칙(예: 공급가액×10%=세액 일치 여부, 유효한 사업자등록번호 형식 검증)을 통과한 문서는 RPA 봇을 통해 기간계 ERP나 회계 소프트웨어로 무개입 자동 이관됩니다. 반면 신뢰도가 기준에 미달하거나 데이터 불일치가 발생한 문서는 즉각 인간 참여형(HITL, Human-in-the-Loop) 검증 대기열로 자동 라우팅되어야 합니다 2. 이때 현업 실무자가 원본 문서 이미지와 모델이 추출한 텍스트 바운딩 박스를 한 화면에서 대조하며 1~2회의 클릭만으로 데이터를 교정할 수 있는 전용 검증 스테이션(Validation Station) UI가 필수적이며, 검증 과정에서 발생한 수정 내역은 향후 프롬프트 개선 및 로컬 특화 모델의 능동 학습(Active Learning) 데이터셋으로 순환 반영되어야 합니다.
4. 기업 내부 데이터 보호와 컴플라이언스 보안 아키텍처

세금계산서, 여신 서류, 법률 계약서에는 주민등록번호, 계좌번호, 법인 인감 정보, 단가표, 위약벌 조항 등 민감한 개인정보(PII)와 비공개 영업비밀이 포함되어 있습니다. 공용 퍼블릭 API를 통해 외부 상용 LLM으로 문서를 무방비하게 전송하는 것은 개인정보보호법 및 금융 관련 법령 위반에 해당하며 치명적인 정보 유출 사고로 이어질 수 있습니다. 따라서 AI 파이프라인의 전처리 단계에서 정규식 및 온디바이스 개체명 인식(NER, Named Entity Recognition) 모델을 가동하여 고유식별정보를 사전에 비식별화(Masking)하거나 토큰화하는 데이터 살균(Sanitization) 필터가 선행 구동되어야 합니다.
또한 클라우드 인프라를 활용할 경우 공급자와의 서비스 수준 계약(SLA)에서 프라이빗 가상 네트워크(VNet) 격리와 데이터 무저장 정책(Zero Data Retention)이 명시적으로 보장되는지 점검해야 합니다. 국내 금융권 및 공공기관의 경우 금융보안원의 '금융분야 인공지능 보안 안내서' 및 내부업무망 망분리 대체통제 기준에 부합하도록 민감 데이터를 내부망에 격리해야 합니다 3. 이에 따라 외부 퍼블릭 클라우드 호출이 엄격히 금지되는 코어 뱅킹이나 신용평가 업무에서는 문서 파싱 모듈과 경량화된 소형 언어 모델(sLLM)을 사내 온프레미스(On-Premises) 쿠버네티스 컨테이너 환경으로 배포하는 프라이빗 아키텍처의 적합성을 반드시 평가해야 합니다 3.
실제 산업군별 도입 사례를 살펴보면 보안과 업무 특성에 따른 아키텍처 분화가 뚜렷합니다. 첫째, 금융권 여신심사 부문에서는 대출 신청서류(소득금액증명원, 건강보험자격득실확인서, 재직증명서 등) 처리를 위해 금융보안원 기준을 준수하는 사내 프라이빗 컨테이너 환경에 특화 OCR과 온프레미스 sLLM을 결합했습니다 3. 이를 통해 개인신용정보의 외부 유출을 원천 차단하면서 비대면 심사 소요 시간을 기존 24시간에서 15분 이내로 단축했습니다. 둘째, 글로벌 제조 공급망 관리 부문에서는 전 세계 40여 개국 협력사에서 영문, 중문, 독일어 등 다국어로 인입되는 부품 성적서(CoA)와 인보이스를 멀티모달 LLM 테넌트로 자동 번역·파싱하고, SAP ERP 자재관리(MM) 모듈에 전송하여 월 12,000시간 이상의 수기 대조 공수를 절감했습니다. 셋째, 기업 법무 부문에서는 영문 비밀유지협약(NDA) 및 소프트웨어 용역 계약서의 면책 조항, 지식재산권 귀속, 준거법 필드를 전용 테넌트 LLM으로 정밀 추출하여 사내 표준 컴플라이언스 체크리스트와 자동 대조함으로써 리스크 검토 주기를 70% 단축했습니다.
5. 문서 유형 및 비즈니스 조건별 기술 스택 비교 분석
| 비교 기준 | 전통적 룰 기반 RPA + OCR | 특화 머신러닝 IDP | 생성형 AI 결합 하이브리드 IDP |
|---|---|---|---|
| 주요 지원 문서 유형 | 정형 서식 (고정 양식 신청서, 국세청 표준 전자세금계산서) | 반정형 서식 (다양한 공급사 인보이스, 영수증, 표준 발주서) | 완전 비정형 문서 (자유 서식 용역 계약서, 합의서, 선적 서류) |
| 서식 변경 대응력 | 매우 낮음 (좌표나 폰트 변경 시 스크립트 전면 재개발 필요) | 보통 (사전 학습된 인보이스·영수증 도메인 내 변형 수용) | 매우 높음 (자연어 문맥 추론을 통한 레이아웃 독립적 유연 추출) |
| 환각 리스크 및 신뢰도 | 환각 없음 (단, 오인식 및 템플릿 불일치 시 프로세스 전면 중단) | 환각 없음 (통계적 확률 기반 필드 신뢰도 점수 산출) | 환각 가능성 상존 (JSON 스키마 강제 및 필드 앵커링 검증 필수) |
| 도입 및 운영 비용 체계 | 초기 구축비는 낮으나 양식 변경 시 유지보수 인건비 급증 | 도메인 모델 라이선스 및 처리 페이지당 고정 라이선스 과금 | LLM 추론 토큰 종량제 + 플랫폼 라이선스 + HITL 검증 인건비 |
| 현실적 무정지 처리율(STP) | 양식 일치 시 일시적 80~90%이나 변경 시 30~50% 수준으로 급락 | 반정형 인보이스 기준 통상 70~85% 무정지 처리율 안정적 유지 2 | 반정형 70~85% 유지 및 완전 비정형 계약서 메타데이터 기준 60~75% 달성 가능 2 |
위 비교표에서 보듯 모든 문서 업무에 최신 생성형 AI 모델을 호출하는 것은 경제적이지도 않으며 기술적으로도 타당하지 않습니다. 거래처 수가 적고 국세청 표준 양식을 엄격히 준수하는 국내 전자세금계산서는 기존의 특화 ML IDP나 정형 파서를 활용하는 것이 처리 지연 시간과 비용 면에서 압도적으로 유리합니다. 반면 공급사마다 용어 정의가 다르고 면책 조항, 위약벌 산정 공식 등 복잡한 서술형 문장이 혼재된 외주 계약서나 다국어 수출입 서류는 생성형 AI의 문맥 이해 역량을 결합해야만 유의미한 무정지 처리율(STP, Straight-Through Processing)을 확보할 수 있습니다 2.
엔터프라이즈 환경에서 기술 스택을 확정할 때는 솔루션의 기능뿐만 아니라 기존 RPA 인프라와의 오케스트레이션 호환성을 면밀히 따져야 합니다. 이미 UiPath, 마이크로소프트 Power Automate, 오토메이션애니웨어(Automation Anywhere) 등의 RPA 엔진을 전사적으로 운용 중이라면, 해당 플랫폼의 네이티브 커넥터를 통해 API 호출 오버헤드를 줄이고 중앙 집중식 작업 큐(Work Queue) 관리 역량을 활용하는 것이 총소유비용(TCO) 최적화에 유리합니다.
프로젝트 승인을 위한 TCO(총소유비용) 산정 시에는 단순 소프트웨어 라이선스를 넘어 4대 세부 비용 지표를 복합적으로 모델링해야 합니다. 첫째, '문서당 추론 토큰 비용'으로, 계약서 1건당 입력 프롬프트 및 컨텍스트 문서(평균 15~20페이지, 약 8,000~15,000토큰)와 출력 JSON 스키마(약 1,000토큰)에 소요되는 종량제 과금입니다. 둘째, 'HITL 검증 인건비'로, STP 미달 건에 대해 현업 담당자가 예외 검증 스테이션에서 투입하는 건당 검토 시간(평균 30~60초)을 인건비 단가로 환산해야 합니다. 셋째, '사내 인프라 및 컨테이너 운영비'로, 망분리 요건 충족을 위해 온프레미스 GPU 서버 또는 전용 프라이빗 엔드포인트를 유지하는 클라우드 인스턴스 고정비입니다. 넷째, '모델 드리프트 및 유지보수 비용'으로, 분기별 프롬프트 엔지니어링 튜닝과 신규 계약서 유형 추가에 따른 정답지 라벨링 공수입니다. 하이브리드 파이프라인은 정형 필드를 저비용 특화 모델로 선처리함으로써 생성형 AI에 투입되는 토큰량을 최대 60% 절감하여 TCO 회수 기간을 1년 미만으로 단축시킵니다.
6. 실패 없는 현장 안착을 위한 4단계 PoC 및 프로덕션 롤아웃 절차

성공적인 프로젝트 안착을 위해서는 전사 업무에 일시에 도입하려는 빅뱅(Big Bang) 방식을 지양하고, 위험을 점진적으로 통제하는 4단계의 개념 검증(PoC) 및 프로덕션 롤아웃 절차를 거쳐야 합니다. 1단계는 '데이터 자산화 및 정답지 구축' 단계로, 실제 과거 업무에서 수집된 문서 중 저해상도 스캔본, 도장 겹침, 다단 표 등 까다로운 예외 케이스를 포함한 최소 300~500건의 샘플을 확보하고 현업 실무진이 수기로 검증한 기준 정답지(Ground Truth)를 완성해야 합니다. 2단계는 '정량 벤치마킹' 단계로, 후보 모델들을 대상으로 필드별 정밀도(Precision), 재현율(Recall), 처리 속도, 건당 토큰 소비량을 정량 비교하고 오류 유형(누락, 부분 인식, 환각 등)을 범주화하여 평가합니다.
3단계는 'HITL 워크플로 통합 및 임계값 튜닝' 단계입니다. 실무 검증자가 하루 평균 처리할 수 있는 예외 건수와 건당 확인 소요 시간을 실측하여 신뢰도 라우팅 임계값(예: 0.92 또는 0.95)을 미세 조정합니다. 마지막 4단계는 '기간계 ERP 연동 및 모니터링 가동' 단계입니다. RPA 봇이 최종 승인된 정형 JSON 데이터를 SAP나 더존 비즈온 등 기간계 시스템에 주입하는 과정에서 네트워크 지연이나 세션 만료 시 데이터 유실을 방지하도록 트랜잭션 롤백 및 데드 레터 큐(Dead Letter Queue)를 구축해야 합니다. 특히 30페이지를 초과하는 장문 계약서의 경우 컨텍스트 윈도우 한계와 정보 누락을 방지하기 위해 문서를 의미론적 조항 단위로 분할하여 병렬 추론한 뒤 통합하는 분할 정복(Divide-and-Conquer) 파이프라인을 프로덕션 배포 전에 반드시 검증해야 합니다.
자주 묻는 질문
Q. 기존에 구축해 둔 오픈소스 OCR이나 룰 기반 RPA 봇을 전면 폐기하고 재구축해야 하나요?
A. 아닙니다. 기존 RPA 봇은 기간계 ERP 로그인, 메뉴 탐색, 검증 완료 데이터의 최종 확정 입력 등 확정적 실행 엔진 역할을 그대로 수행합니다. 기존 파이프라인 중 문서를 파싱하고 키-값(Key-Value)을 추출하던 불안정한 스크립트 영역만 하이브리드 IDP 및 생성형 AI 모듈의 REST API 호출로 대체하는 모듈형 확장이 가장 권장되는 아키텍처입니다.
Q. 비정형 계약서 처리 시 생성형 AI의 환각을 기술적으로 차단하는 가장 효과적인 방법은 무엇인가요?
A. 프롬프트에 모델의 답변 형식을 엄격한 JSON 스키마로 강제하는 Pydantic/Structured Outputs를 적용하고, 문서 본문에서 확인할 수 없는 정보는 임의 추론하지 말고 반드시 'null'로 반환하도록 지시해야 합니다. 또한 모델이 추출한 텍스트가 원본 문서의 몇 페이지, 어느 좌표에 존재하는지 바운딩 박스를 함께 반환받아 실존 여부를 검증하는 앵커링(Grounding) 기법을 병행해야 합니다.
Q. ERP에 자동 입력하기 위한 이상적인 무정지 처리율(STP) 목표치는 어느 수준으로 설정해야 하나요?
A. 도입 초기부터 전량 무개입 무정지 처리를 비현실적인 목표로 삼는 것은 위험합니다. 세금계산서와 같은 반정형 문서는 초기 70~80%에서 시작해 검증 피드백을 통해 85~90% 수준으로 점진적 상향하는 것이 합리적이며, 완전 비정형 계약서는 핵심 메타데이터 추출 기준 60~75% STP를 달성하고 고위험 특약 조항은 상시 실무자 검증(HITL)을 거치도록 설계하는 것이 운영 안전성을 보장합니다.
참고 자료
- Impact of Generative AI on Intelligent Document ProcessingGartner
- About Document Understanding - UiPath DocumentationUiPath Documentation
- 금융분야 인공지능 보안 안내서금융보안원

