딥러닝기반의 업무자동화시스템 설계에 관한 연구

Ⅰ. 서 론

4차 산업혁명과 함께 딥러닝 기반의 업무 자동화의 지능화(Intelligent automation)가 기업의 경쟁력 핵심 요소로 활용되고 있다. 기존의 RPA(Robotic Process Automation)는 단순한 반복적인 작업을 자동화하는 데 우수한 실적을 보였으나, 비정형 데이터와 예측적 의사결정을 요구하는 업무에는 제한 사항이 있다. 따라서 최근들어 딥러닝과 RPA를 융합하여 자연어 기반의 업무 이해도, 사용자 행동기반의 예측, 시각 정보의 처리를 결합한 지능형 자동화 시스템을 제안하고 있다.

따라서 본 논문은 딥러닝 기반 사용자 동작 예측 모델을 RPA 소프트웨어에 통합하여, 기존 컴퓨터를 통한 반복적 작업 자동화를 넘어 보다 넓은 범위의 업무를 자동화하는 새로운 시스템을 제안한다.

사용자 행동 로그의 시계열 분석을 통해 다음 행동을 고정밀로 예측하고, Transformer 및 ResNet(Residual Network) 기반 모델을 활용하여 정확도를 향상했다. 또한 VLM(Vision-Language Model)을 도입하여 사용자의 화면을 해석하고 현재 작업을 자연어로 요약함으로써, 반복 업무 탐지와 의미 기반의 자동화 가능한 업무를 생성하였다. Resnet과 VLM은 추가적인 학습 없이 pre-trained model 이용, ResNet의 경우 imagenet 1k 데이터셋을 VLM의 경우 Gemma 3모델을 사용하였다. 생성된 자동화 업무는 RPA Adapter를 통해 표준화된 범용스크립트(Generic Script)로 변환한다. 변환된 업무 추천 리스트는 온라인 플랫폼을 이용해 편집이 가능하고 상용 RPA 솔루션(A.Works. BluePrism)을 실행할 수 있는 파일로 변환하여 업무 자동화를 구현한다[1].

Ⅱ. 방법론

2.1 딥러닝 기반 사용자 행동 예측 모델

ResNet은 2015년 마이크로소프트(Microsoft research)에서 개발한 딥러닝 이미지 인식용 신경망 구조로 ‘잔차 학습(Residual learning)’ 개념을 도입하여 딥러닝 모델이 더 깊어질수록 발생하는 ‘기울기 소실(Gradient vanishing)’ 문제를 해결하기 위해 고안되었으며 본 논문에서는 ResNet을 활용하여 수집된 화면 및 데이터를 클러스터링한 후, 시간 순서에 맞춘 행동 예측 데이터를 생성하고 VLM 입력 형식으로 변환한 후 사용자의 GUI 화면 캡처 이미지를 인식하여 작업 환경을 파악하고 Deep CNN + 잔차 연결(Skip connection)로 학습 안정성을 확보했다.

ResNet은 입력 x가 두 개의 합성곱 계층(Convolution layers)을 거쳐 변환된 출력 y를 생성한다.

따라서,

$\[ y=F\left(x,W_i\right)+x \]$

(1)

• x : 블록 입력
• F(x, W_i) : 두 개 이상의 합성곱 계층과 비선형 활성화 함수(ReLU 등)를 통과한 결과
• W_i : 블록 내 가중치 집합
• y : 블록 출력

최종적으로 이미지 특징 추출 및 분류하여 버튼 위치, GUI 화면 내 시각적 객체 인식을 하도록 구현하였다.

그림 1은 ResNet 레이어로 ResNet은 기본적으로 Residual Block이라는 구조를 반복하여 신경망을 깊게 쌓는 방식으로 ResNet은 딥러닝에서 매우 깊은 신경망 학습 시 발생하는 기울기 소실(Vanishing gradient) 문제를 해결하기 위해 도입된 구조이다.

Fig. 1.

ResNet layer

ResNet은 image로 부터 feature를 추출하는 역할, (256, 256, 3) 이미지를 입력으로 받으며 출력으로는 (1, 2048) 차원의 feature가 출력한다[10].

VLM은 multi modal 입력 키보드와 마우스 클릭시 생성된 이미지, 사이트명, 프로세스명)과 같은 정보를 입력 받아 해당 시퀀스에 대한 정보를 해석하고 출력된 작업 시퀀스 목록을 정리하고 추천하는 역할을 한다

2.2 시계열 이미지 분석 모델

VLM은 텍스트, 이미지, 비디오를 이해하고 처리할 수 있는 다중 모달 생성 AI 모델로써 대형 언어 모델(LLM, Large Language Model)과 비전 인코더를 결합하여 시각적 입력을 해석하고 텍스트 기반 응답을 생성하는 모델로 행동과 관련된 이미지+텍스트 정보를 함께 처리할 수 있으며, 변환된 이미지를 VLM(GPT-4 멀티모달 모델)에 입력된다

대표적인 VLM 학습방식으로 CLIP(OpenAI)이 있으며, 시각적 정보를 추출하여 f_v ​(I)와 텍스트 인코더 f_t ​(T)를 통해 이미지 I 와 텍스트 T 를 공통 잠재 공간으로 매핑한다

이 과정을 코사인 유사도 기반 대조학습(Contrastive learning)으로 표현하면 다음과 같다.

$\[ \begin{array}{c}{z}_v=f_v\left(I\right),z_t=f_t\left(T\right)\hfill \\ L_{CLIP}=-\sum _{i=1}^N\mathrm{l}\mathrm{o}\mathrm{g}\left(\frac{\mathrm{e}\mathrm{x}\mathrm{p}\left(\mathrm{c}\mathrm{o}\mathrm{s}\left(z_{v,i},z_{t,i}\right)/\tau \right.}{\sum _{j=1}^N\mathrm{e}\mathrm{x}\mathrm{p}\left(\mathrm{c}\mathrm{o}\mathrm{s}\left(z_{v,i},z_{t,i}\right)/\tau \right.}\right)\hfill \end{array} \]$

(2)

• f_v​(I) : 이미지 인코더(CNN, Vision )
• f_t​(T) : 텍스트 인코더(Transformer)
• z_v,z_t​: 이미지와 텍스트 임베딩
• τ: 온도(Temperature) 매개변수
• cos(⋅): 코사인 유사도

VLM은 이미지를 해석하고 화면 속 업무 맥락과 활동 종류를 파악하고 VLM이 캡처된 업무 흐름을 자연어로 요약(GPT-4o)하여 제공하면 요약된 결과를 분석하여 반복적으로 수행된 업무를 자동 탐지하는 모델이다.

그림 2의 VLM 아키텍처는 이미지와 텍스트라는 멀티모달(Multi-modal) 정보를 동시에 처리할 수 있도록 설계된 모델로서 텍스트와 이미지를 동시에 입력받아 의미를 이해하거나 생성하는 AI 모델이다[2].

Fig. 2.

VLM architecture

2.3 업무 자동화 추천 모델

업무 자동화 추천 모델은 텍스트, 음성, 이미지, 비디오 입력을 각각의 인코더를 통해 처리한 후, 이들을 통합하여 하나의 표현으로 생성하고 로그를 분석하여 VLM에 입력하여 작업 의미를 추출한 후 요약된 내용을 제공한다. 추출된 작업 데이터를 GPT-4o에 입력하여 업무 흐름을 판단 및 분석하여 분석 결과에 대해 신뢰도(Confidence score)를 부여하고, 업무 자동화 추천 대상 리스트로 생성하여 제공하고자 한다.

따라서 본 논문에서는 모델의 정확도 향상을 위해 사용자 화면 캡처 후 자연어 설명을 자동 생성하고 멀티모달 분석을 통한 반복 작업을 자동 탐지하여 정확도를 향상 시키고자 한다.

그림 3의 GPT-4o는 OpenAI가 2024년 5월에 발표한 최신 멀티모달 언어 모델로 기존 GPT-3.5-turbo와는 달리, GPT-4o는 텍스트, 음성, 이미지 입력을 모두 하나의 통합된 뉴럴 네트워크에서 동시에 처리할 수 있는 구조로 설계된 것이 가장 큰 특징이다[3].

Fig. 3.

GPT-4o architecture

2.4 다중 RPA 솔루션 명령어 매핑 기술

다중 RPA 솔루션 명령어 매핑 기술은 서로 다른 RPA 플랫폼(예: A.Works, Blue Prism 등) 간의 명령어 형식 차이를 해결하기 위해 표준화된 중간 표현(JSON 등)을 통해 각 플랫폼의 고유 명령어로 자동 변환/매핑하는 기술이다. 제조사별 RPA 솔루션의 명령어 체계를 분석하여 이기종의 데이터 형식을 매핑하기위한 표준화기술로 변환기(Adapter)를 통해 JSON 기반 표준화된 범용 스크립트를 생성한다.

즉 RPA 솔루션별 명령어 매핑 테이블 기반으로 자동화 구조를 구현하여 RPA 솔루션 실행 명령어로 변환하게 된다.

그림 4는 범용스크립트가 각 RPA 솔루션에 맞는 패키지 파일(RPA project file)로 변환되는 과정을 보여준다. 범용스크립트는 업무흐름의 기본 작업 명령들로 구성되며, 파일 생성, 압축, 이동, 쓰기, 엑셀 입력 등 다양한 RPA 솔루션에 공통으로 적용 가능한 명령을 포함한다. 이후 Adapter를 통해 각 솔루션에 맞게 매핑되어 실행 가능한 RPA 프로젝트 파일로 변환된다. 이때, RPA 기능 매핑 정보는 데이터베이스에 저장되어 일관된 변환을 지원한다[4]-[6].

Fig. 4.

RPA conversion adapter overview

Ⅲ. 제안 방법

3.1 사용자 행동 로그 수집 시스템

사용자 행동 로그 수집 시스템은 마우스 클릭, 키보드 입력, 창 전환 등 사용자 동작을 실시간으로 화면 캡처를 한다. 이벤트 종류로는 위치 정보, UI 요소 식별자, 실행 시간 등의 메타데이터를 수집하고 수집된 데이터의 시간(Timestamp), 이벤트 종류, 대상 객체, 위치 등 수집된 데이터를 표준화된 로그 포맷(JSON)으로 저장한다.

주요 기능으로는 실시간 이벤트 감지(윈도우 후킹, API 캡처 방식), 이벤트 별 메타데이터 기록(시간, 위치, UI요소 식별자 등), 개인정보 보호 필터링 적용하여 표준 포맷(JSON) 저장하여 시계열 데이터 변환된다. 또한 운영체제별 로깅 에이전트는 Linux, MAC 운영체제용 시스템 로그, 이벤트 로그, 키보드, 마우스, 화면 캡처, 화면 동영상 등의 로그 정보수집 기능을 추가하고 Windows 운영체제에서 남기는 16종 이상의 로그 수집 기능을 수집한다.

그림 5는 Windows, Linux, Mac 운영체제를 대상으로 동작하는 로깅 에이전트를 통해 사용자 행동 로그를 수집하는 전체 구조를 보여준다.

Fig. 5.

Collecting user behaviour logs

각 로깅 에이전트는 클라이언트 단에서 발생하는 다양한 로그 데이터를 실시간으로 수집하여 중앙의 비즈니스 프로세스 분석 서버(Business process analysis server)와 로그 데이터베이스 서버(Log DB server)에 전달한다. 수집된 로그는 처리 및 정제 과정을 거쳐 시각화 대시보드를 통해 직관적으로 표현된다[7][8].

3.4 RPA 솔루션별 Adapter

JSON 명령어를 RPA 솔루션의 RPA 명령어로 자동 변환해주는 Adapter는 RPA 제품별 API 또는 스크립트 구조에 맞춘 명령어 템플릿 구성하여 RPA 소프트웨어에서 실행할 수 있도록 해당 포맷 솔루션으로 패키징 및 실행할 수 있도록 변환한다.

그림 6은 RPA 제조사가 직접 어댑터 데이터베이스에 매핑 정보를 입력하고 수정할 수 있도록 만든 UI 화면으로 JSON 속성과 각 RPA 솔루션의 속성을 대응시키는 ‘속성 매핑(Attribute mapping)’을 관리할수 있다. 해당되는 RPA 선택하면 각 항목을 편집하거나 새로운 속성을 추가할 수 있다. 이를 통해 범용스크립트와 각 RPA 솔루션 간 변환 시 필요한 속성 정보를 일관되게 관리할 수 있다.

Fig. 6.

Commercial RPA command conversion adapter

Ⅳ. 결과 분석

기존 RPA 시스템은 사전 정의된 규칙에 따라 작업하며, 예외나 여러 복잡한 조건에 대한 작업은 잘 대응 하지 못하는 경향이 있는데 딥러닝 기반 자동화 시스템은 사용자 행동 로그를 기반으로 새로운 패턴을 학습하여 예측 및 대응이 가능하다. 정형, 비정형 데이터, 예외 처리, 고차원 업무까지 새로운 사용자 동작 패턴을 스스로 학습하고 대응이 가능하다. 이러한 진보적 기술은 반복적인 업무를 자동화함으로써 전체 업무 시간의 70~80%를 절감하여 업무 효율성과 생산성 향상에 극대화하여 업무에 집중할 수 있으며 참고로 표 1은 RPA도입에 따른 산업분야별 연간 업무단축시간과 감축율의 사례이다.

Table 1.

A case study on the reduction of working hours due to the Introduction of RPA by industrial sector

또한, 사용자별 행동 패턴을 분석, 학습을 통해 개인화된 맞춤형 자동화 시나리오 생성이 가능하여 최적화된 맞춤형 딥러닝 기반 시스템이 가능하다.

더 나아가 업무 자동화 시스템은 사용자 피드백을 통해 성공 및 실패 데이터를 지속적으로 학습함으로 예측 모델과 실행 결과에 대한 오류를 학습한다. 또한 수정을 통해 강화학습(Fine-tuning)을 반복함으로써 자가개선(Self-optimization)이 가능한 자동화 구조를 만들 수 있다.

업무 추천 모델의 경우 hit rate@10을 정량적 평가 기준으로 수집된 데이터에서 6명 (약 15%)의 데이터를 분리 후 해당 데이터를 통해 평가를 진행하고 평가 데이터에 대한 hit rate@10 1.0 달성하였다

딥러닝 모델의 또 다른 강점은 비정형 데이터의 이미지나 사용자 행동 로그의 구조화되지 않은 데이터를 인식하고 해석을 통해 처리하는 능력이 있기 때문에 비정형 UI 환경에서도 안정적으로 업무 흐름을 해석하고 예측 가능하다.

이러한 기술 발전은 기업 경쟁력을 통해 인적 리소스 감소, 운영비용 절감, 품질 향상 등의 효과를 얻어 생산성과 수익성을 높이는 결과를 가져온다.

Ⅴ. 결 론

본 논문은 기존 RPA 솔루션의 한계점이 IT 컨설턴트에 의한 사용자 인터뷰 기반의 시나리오로 자동화 업무 생성과 기능·체크리스트 기반의 수동적인 자동화 가능 업무를 도출하여 한정된 업무에 한해 사용한 한계를 뛰어넘어 사용자의 행동을 예측한다. 그리고 복합적인 지능형 판단을 수행할 수 있는 딥러닝 및 VLM 기반의 지능형 자동화 플랫폼을 개발하여 비정형 업무 환경 속에서 사용자 행동 데이터를 수집·분석하여 스스로 최적의 자동화 방안을 도출하는 지능형 시스템 구조를 구현했다는 점에서 의의가 있다.

특히 VLM 기반 시각적 정보 분석 기술을 통해 사용자 화면의 의미 구조를 이해하고, 이를 자연어로 요약하여 자동화 추천 업무로 제시하는 점은 기존 기술 대비 큰 혁신이다. 이를 통해 사용자는 스스로 자동화를 설계할 필요 없이 AI가 추천하는 자동화 업무를 선택하거나 편집하는 방식으로 업무 효율을 극대화할 수 있다.

또한, 범용 RPA 명령 생성기 및 다중 솔루션 지원 Adapter는 향후 RPA 플랫폼 간 호환성을 확보하는 데 있어 핵심적인 기술 요소로 작용할 것이다. 기존 RPA 간 벽을 허물고, 플랫폼 독립적인 자동화 설계가 가능한 생태계 조성에 기여할 수 있다.

따라서 본 논문은 딥러닝 기반의 업무자동화시스템 설계를 통해 ‘프로세스 분석 및 자동화 대상 추천’ 기술을 적용하여 4가지의 결과를 제시한다.

첫째, 비정형 업무의 자동화 가능성 제시: 단순 반복 작업을 넘어 복잡한 사용자 행동 패턴 분석을 통한 자동화를 실현하였다.

둘째, 범용 RPA 명령어 생성을 통해 자연어 명령 → HTML 요소 매핑 → 자동화 스크립트 생성을 자동화하여 비개발자도 쉽게 자동화 구현이 가능하다.

셋째, 다양한 RPA 솔루션을 연계하여 Adapter 기술을 통해 멀티 솔루션 지원을 실현함으로써 실용적 확장성을 확보하였다.

넷째, 지속적으로 최적화 가능한 구조를 확보하여 사용자 피드백 기반의 재학습 구조로 지속적인 자동화 품질을 향상할 수 있다.

References

• F Sun, J Liu, J Wu, C Pei, X Lin, W Ou, and P Jiang, "BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer", Proc. of the 28th ACM International Conference on Information and Knowledge Managemen, Beijing China, pp. 1441-1450, Nov. 2019. [https://doi.org/10.1145/3357384.335789]
• C. Bai, et al., "UIBert: Learning Generic Multimodal Representations for UI Understanding", arXiv:2107.13731, , Jul. 2021. [https://doi.org/10.48550/arXiv.2107.13731]
• A. Beheshti, et al., "ProcessGPT: Transforming Business Process Management with Generative Artificial Intelligence", 2023 IEEE International Conference on Web Services (ICWS), Chicago, IL, USA, pp. 731-739, Jul. 2023. [https://doi.org/10.1109/ICWS60048.2023.00099]
• IEEE Standard 2755-2017, A guide to terms and concepts for Intelligent Process Automation (IPA), Sep. 2017. https://standards.ieee.org/ieee/2755/6893/, .
• IEEE Standard 2755.1-2019, Function and characteristic classification system guide for intelligent process automation products, Jul. 2019. https://standards.ieee.org/ieee/2755.1/7518/, .
• C. H. V. de Moraes, et al., "Robotic Process Automation and Machine Learning: a Systematic Review", Brazilian Archives of Biology and Technology, Vol. 65, pp. e22220096, Aug. 2022. [https://doi.org/10.1590/1678-4324-2022220096]
• Z. A. Bukhsh, A. Saeed, and R. M. Dijkman, "ProcessTransformer: Predictive Business Process Monitoring with Transformer Network", arXiv:2104.00721, , Apr. 2021. [https://doi.org/10.48550/arXiv.2104.00721]
• Akanbi Caleb, "Transformer Models in Process Mining: Unlocking Hidden Insights", ResearchGate, Jan. 2024. https://www.researchgate.net/publication/387694995, .
• J. Evermann, J.-R. Rehse, and P. Fettke, "Predicting Process Behaviour using Deep Learning", Decision Support Systems, Vol. 100, pp. 129-140, Aug. 2017. [https://doi.org/10.1016/j.dss.2017.04.003]
• K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition", arXiv preprint, arXiv:1512.03385, , Dec. 2015. [https://doi.org/10.48550/arXiv.1512.03385]