대형 언어 모델(LLM)을 활용한 고고학 정보화 연구

연구·개발 일지

• 2026년 9월 14일

  heripo basecamp(헤리포 베이스캠프) 알파 테스트 시작 안내

  • 논문에서 검증한 발굴조사보고서 데이터 추출의 가능성을 실제 연구 도구로 이어갑니다. heripo basecamp는 heripo-engine으로 구축한 보고서 데이터를 바탕으로, 연구에 필요한 자료를 찾고 살펴볼 수 있도록 헤리포랩이 개발하는 웹 기반 고고학 연구 지원 도구입니다.
  • 주요 기능: 지도에서 발굴조사보고서를 찾고, 조건 필터와 자연어 기반 AI 필터로 탐색 범위를 좁힐 수 있습니다. 보고서 데이터 브라우저에서는 원문 PDF와 이미지·표, 추출 결과를 함께 살펴볼 수 있습니다.
  • 테스트 일정과 대상: 2026년 9월 14일, 헤리포랩 내부 구성원, 협력기관, 별도로 초빙한 전문가를 대상으로 비공개 알파 테스트를 시작했습니다. 초대받은 참여자만 이용할 수 있으며, 종료일은 별도로 안내합니다.
  • 검증 목표: 보고서 검색이 연구자의 의도에 맞는 자료를 찾아주는지, 탐색과 열람 기능이 안정적으로 동작하는지, 실제 연구 과정에 도움이 되는지를 확인합니다. 참여자들의 사용 경험과 피드백을 바탕으로 기능과 데이터 품질을 다듬어 나갈 계획입니다.
  • 서비스 소개는 heripo 웹사이트에서 확인하실 수 있습니다.
• 2026년 6월 6일

  데이터야놀자 2026 발표: 문과생의 꿈이 오픈소스가 되기까지

  • 데이터야놀자 2026에서 「문과생의 꿈이 오픈소스가 되기까지: 잠든 고고학 데이터를 발굴하는 LLM 파이프라인 구축기」를 발표했습니다.
  • 발표에서는 발굴조사보고서 PDF 안에 잠든 고고학 데이터를 LLM 파이프라인으로 다시 꺼내고, 이를 heripo-engine과 같은 오픈소스 도구 및 향후 오픈 데이터세트로 확장하려는 과정을 소개했습니다.
  • 발표 영상은 유튜브에서 보실 수 있습니다.
• 2026년 4월 17일

  글로벌 고고학 오픈소스 데이터베이스 'open-archaeo'에 공식 등재

  • 본 논문(「대형 언어 모델(LLM)을 활용한 고고학 정보화 연구」)과 PoC 디지털 부록 레포지토리가 전 세계 고고학 오픈소스 자원을 수집·공개하는 open-archaeo 데이터베이스에 공식 등재되었습니다.
  • 등재된 항목은 여기에서 확인하실 수 있습니다.
• 2026년 4월 16일

  논문 공식 영문판 공개

  • 「대형 언어 모델(LLM)을 활용한 고고학 정보화 연구」 논문의 공식 영문판을 공개했습니다. 위 다운로드 메뉴에서 바로 받아보실 수 있습니다.
  • 본 영문판은 국립문화유산연구원의 허가를 받아 저자가 직접 번역·편집하였습니다. 번역 과정에서 한국어 원문의 사실 오류를 수정하고, 국외 독자의 이해를 돕기 위한 보충 번역 주석을 추가하였습니다. 이러한 수정 사항은 원 논문의 핵심 논지, 결과 및 해석에 영향을 미치지 않습니다.
  • 영문판은 여기에서도 직접 다운로드하실 수 있습니다.
• 2026년 2월 9일

  한국고고학회와 업무협약 2건 체결

  협약 내용

  • 뉴스레터 서비스 업무협약: 한국고고학회의 공식 공지사항·학술 정보와 heripo lab의 뉴스레터 자동화 시스템 기술을 결합하여 '한국고고학회 공식 뉴스레터'를 정기적으로 발송·운영합니다. 기존 리서치 레이더(Research Radar)가 한국고고학회 공식 뉴스레터로 개편되었습니다.
  • 고고학 연구환경 디지털 전환 업무협약: 한국고고학회의 학술적 자산과 heripo lab의 인공지능(AI) 및 데이터 처리 기술을 결합하여 차세대 고고학 데이터베이스를 구축하고, 연구자 친화적인 지능형 플랫폼을 개발·운영하기로 했습니다.
• 2026년 1월 28일

  heripo-engine 오픈소스 공개

  프로젝트 개요

  • heripo-engine은 고고학 발굴조사보고서 PDF에서 구조화된 데이터를 추출하는 TypeScript 라이브러리입니다.
  • Apache 2.0 라이선스로 누구나 자유롭게 사용·수정·배포 가능합니다.
  • 온라인 데모 사이트(engine-demo.heripo.org)에서 바로 체험 가능합니다 (일일 3회 제한).

  주요 기능

  • PDF 파싱 및 OCR: Docling SDK와 Apple Vision Framework 기반 딥러닝 OCR (로컬 처리, 무료)
  • 문서 구조 분석: 규칙 기반 + LLM 폴백 방식의 목차 자동 인식, Vision LLM 활용 페이지 번호 매핑
  • 데이터 추출: 이미지 및 표 캡션 자동 파싱, 장/절/소절 계층 구조 자동 생성
  • 극단적 비용 효율성: 얇은 보고서 100원 미만, 두꺼운 보고서 500원 미만

  기술 스택

  • TypeScript 모노레포 (pnpm workspace)
  • Docling SDK (PDF 파싱), Apple Vision Framework (OCR)
  • Vercel AI SDK (LLM 통합 - OpenAI, Anthropic, Google 등 지원)
  • Next.js 15 (데모 애플리케이션)
  • 시스템 요구사항: macOS (Apple Silicon 또는 Intel), Node.js ≥ 22, Python 3.9-3.12

  장기 비전: 다단계 데이터 파이프라인

  • v0.1.x (완료): PDF 파싱 및 OCR, 문서 구조 추출 (목차, 장/절, 페이지 매핑), 이미지/테이블 추출
  • v0.2.x (계획): 불변의 고고학 데이터 원장 (범용 모델, 개념 추출)
  • v0.3.x (계획): 확장 표준화 (계층적 표준 모델, 정규화)
  • v0.4.x (계획): 온톨로지 (시맨틱 모델, 지식 그래프)
  • v1.0.x (계획): 프로덕션 준비 (성능 최적화, API 안정성)

  커뮤니티 기여

  • 전세계 각 지역의 고고학 표준 개발 (동아시아, 동남아시아, 남아시아, 중앙아시아, 중동·서아시아, 유럽, 아프리카, 아메리카, 오세아니아)
  • 시대별·유적 유형별·유물 유형별·특수 분야별 온톨로지 구축
  • 다국어 지원 확장 (한국어, 영어, 중국어, 일본어, 아랍어, 스페인어, 프랑스어, 독일어, 힌디어, 러시아어 등)
  • 기술적 개선 및 성능 최적화
• 2026년 1월 5일

  heripo lab 오픈소스 R&D 그룹 결성

  그룹 소개

  • heripo lab은 고고학 도메인 지식과 소프트웨어 엔지니어링 기술을 결합하여, 실질적인 연구 효율화를 이끄는 오픈소스 R&D 그룹입니다.
  • 고고학 데이터 온톨로지 설계, 데이터 스키마 정의 및 학술적 정합성 검증 등 고고학 도메인 전문가와 소프트웨어 엔지니어가 협업합니다.

  핵심 가치

  • 학술적 엄밀성: 고고학 도메인 지식을 기반으로 한 정확한 데이터 모델링
  • 오픈소스 철학: 모든 결과물을 Apache 2.0 라이선스로 공개하여 국가 사업·기업 영리사업 모두 제약 없이 활용 가능
  • 실용성: 실제 연구 환경에서 사용 가능한 도구와 플랫폼 개발

  향후 계획

  • 고고학 데이터 표준 및 온톨로지 개발
  • LLM 기반 데이터 추출 파이프라인 고도화
  • 웹 플랫폼 개발 및 공개
  • 커뮤니티 형성 및 협업 생태계 구축
• 2025년 12월 14일

  전처리 엔진 개발 현황: 목차 추출 및 페이지 파싱 완성

  1차 전처리: Docling 기반 PDF 파싱

  • Docling을 활용하여 PDF 보고서를 파싱하면 HTML로 바로 전환 가능한 수준의 결과물이 나옵니다. 사진, 도면, 페이지 단위 이미지, 텍스트 등 원하는 요소를 모두 추출할 수 있습니다.
  • 다만 본 프로젝트의 목표는 PDF를 HTML로 전환하는 것이 아닙니다. 유구·유물 객체 하나하나를 관계형 데이터베이스에 적재하여 제대로 된 데이터 기반을 만드는 것이 1차 목표입니다. 이것이 실현되면 웹 플랫폼, HTML 보고서, AI 데이터셋(RAG, 학습데이터) 등 어떤 형태로든 활용이 가능합니다.
  • 발굴조사보고서에서 데이터 추출을 위해서는 특화된 전처리 과정이 필요하여, 전처리를 1차(Docling 기반)와 2차(발굴조사보고서 특화 전처리기)로 분리하였습니다.
  • OCR은 Docling 내부에서 Apple Vision Framework를 사용하여 수행합니다. 이를 위해 불가피하게 macOS 전용 환경으로 구성하였습니다.
  • 현 시점에서 Apple Vision Framework는 Nvidia GPU 기반 OCR 대비 소요시간, 한국어 인식 성능 모두 우위에 있으며, 비용 측면에서도 압도적으로 저렴합니다. 79만원대 Mac mini로 충분히 운영 가능하고, 전력 소모도 미미합니다. 실제로 그렇게 운영하고 있습니다.
  • 논문에서 가장 어려웠던 캡션매칭 문제도 Docling 1차 전처리를 통해 캡션 분리가 완벽하게 이루어져 해결되었습니다.

  2차 전처리: 페이지 및 목차 추출 완료

  • 기술적 규격이 없는 발굴조사보고서에서 실제 페이지와 목차를 정확히 추출하는 것이 이 시스템의 핵심이자 가장 어려운 작업입니다.
  • 이 기반이 있어야 대상(유구, 유물 등)을 특정하고, LLM을 활용한 구조화·데이터 추출·목록화가 가능합니다.
  • 목차 추출 3단계 파이프라인을 완성했습니다 (TocFinder → MarkdownConverter → TocExtractor).
  • 페이지 규격/번호 파싱을 완성했습니다 (Vision LLM 기반).
  • 다양한 페이징 방식(1페이지 위치, 양면/단면, 페이지 번호 위치 등) 및 목차 규격에 대응하였습니다 (코드량 상당).
  • 이 가장 어려운 핵심 작업을 완료했습니다.

  비용 최적화 전략

  • 다중 모델 아키텍처를 적용했습니다: 실무자(저렴한 오픈소스 모델) + 감독관(GPT 5.2 프론티어 모델).
  • 필요한 곳에 원포인트로 프론티어 모델을 사용하고, output token을 극단적으로 통제합니다.
  • 전처리 비용: 보고서 1편당 몇백원 수준.
  • 전체 비용은 비싸야 수천원 수준으로 추정되며, 보고서 1편당 총 비용 2,000원 미만을 목표로 하고 있습니다.

  향후 계획

  • 전처리기 개발이 거의 완료되어 핵심 기반이 완성되었습니다. 유구·유물 등 데이터 추출은 시간 문제입니다.
  • 전처리 결과를 바탕으로 일반적인 스키마를 설계하여 구조화를 진행할 예정입니다.
  • 대량 처리 후 일정 수준의 데이터가 확보되면 누구나 활용 가능하도록 웹 플랫폼으로 공개할 예정입니다.
  • 이후 보고서 추출 데이터와 한국고고학사전 간 매칭 작업을 진행할 것입니다.
  • 나아가 특정 고고학 분야에 특화된 온톨로지 모델을 적재적소에 적용하여 시맨틱 데이터로 활용 가능하게 할 예정입니다. 관련 연구 동향을 파악하여 기존 성과를 반영할 것입니다.
  • 모든 결과물은 리서치 레이더와 같이 오픈소스로 공개합니다 (국가 사업·기업 영리사업 모두 제약 없는 라이선스 정책).
  • 웹 플랫폼 공개와 동시에 소스코드를 공개하고, 이후에도 사전 연계·온톨로지 적용 등 새로운 기능을 오픈소스에 지속적으로 기여해 나갈 것입니다.
• 2025년 11월 28일

  리서치 레이더 오픈소스 프로젝트 2종 공개

  공개된 프로젝트

  • 10월에 예고한 대로 리서치 레이더를 범용 프레임워크(@llm-newsletter-kit/core)와 문화유산 분야 구현체(@heripo/research-radar)로 분리하여 공개했습니다.
  • LLM Newsletter Kit: npm install @llm-newsletter-kit/core / GitHub
  • Research Radar: npm install @heripo/research-radar @llm-newsletter-kit/core / GitHub
  • 두 프로젝트 모두 Apache-2.0 라이센스로 누구나 자유롭게 사용·수정·배포 가능합니다.

  LLM Newsletter Kit (범용 프레임워크)

  • 리서치 레이더에서 문화유산 특화 로직을 제거하고 순수 엔진만 추출한 프레임워크입니다.
  • 웹 크롤링 → LLM 분석 → 콘텐츠 생성 → 저장의 파이프라인을 제공하며, 각 단계를 원하는 방식으로 교체 가능합니다(의존성 주입).
  • TypeScript 기반, 100% 테스트 커버리지, 실제 운영 환경 검증 완료.
  • 적용 가능 분야: 문화유산뿐만 아니라 과학·사회과학·IT·의학·법률 등 모든 전문 분야에서 사용 가능합니다. 크롤링 대상과 분석 기준만 바꾸면 해당 분야 뉴스레터를 자동 생성할 수 있습니다.

  Research Radar (문화유산 분야 참고 구현)

  • 위 프레임워크를 실제로 적용한 완성된 예시로, heripo.app에서 운영 중인 서비스의 소스코드입니다.
  • 62개 기관(국립중앙박물관, 국가유산청, 한국고고학회 등)의 뉴스·공고를 자동 수집하는 크롤러와 파서 포함.
  • 이 코드를 복사해서 크롤링 대상과 분석 기준만 수정하면 자신의 분야 뉴스레터를 만들 수 있습니다.
  • 실제 운영 성과: 발행당 비용 $0.2~1, 완전 자동 운영, 구독자 클릭률 15%.

  향후 계획

  • 지속적인 유지보수 및 사용자 피드백 반영.
  • 문서화 보강 및 다양한 사용 사례 추가 예정.
• 2025년 10월 30일

  방법론 고도화에 따른 플랫폼 출시 일정 조정, 리서치 레이더 코어 공개 일정 업데이트

  방법론 고도화와 플랫폼 출시 일정

  • 논문 작성 당시 PoC에서는 OpenAI GPT-4o를 사용했고(4~5월), 8월에는 상용 LLM 대신 오픈소스 LLM 채택 방향을 모색했으며, 9월에는 PDF 전처리 고도화(PDF → Markdown 중심)로 방법론을 한 단계 더 발전시켰습니다.
  • 핵심은 LLM이 개입하기 전 보고서를 최대한 LLM 친화적인 구조로 준비하는 것입니다. 이에 더해 상용 모델이 아닌 오픈소스 LLM을 사용하여 일관성·성능·비용을 동시에 만족시키는 파이프라인을 지향합니다.
  • 다음 단계로 한국고고학사전을 코퍼스로 활용해 오픈소스 LLM을 파인튜닝(fine-tuning)하여 발굴조사보고서의 전문 개념과 용례를 더 정확히 이해한 상태에서 데이터를 추출·정규화하도록 할 계획입니다.
  • 학술적 엄밀성과 정확성을 우선합니다. 누구나 빨리 써볼 수 있는 미완성 애플리케이션의 빠른 배포는 비즈니스 관점에선 의미가 있지만, 본 프로젝트는 엄밀성을 담보해야 하므로 방법론의 타당성을 확보하는 데 필요한 시간을 충분히 투자하겠습니다.
  • 이에 따라 논문 맺음말에서 예고했던 웹 플랫폼의 공개 시점을 조정합니다: 2025년 하반기 → 2026년 중 공개로 연기합니다. 다만 가능한 범위에서 최대한 앞당기기 위해 연구·개발 속도를 꾸준히 유지하겠습니다.

  리서치 레이더 코어 오픈소스화 진행 상황

  • 9월 30일 일지에서 예고한 대로 코어 로직 오픈소스화를 진행 중입니다.
  • 한국 문화유산 분야에 한정하지 않고, 어떤 분야·국가·언어에도 적용 가능한 "범용 뉴스레터 AI 킷" 형태로 재개발하고 있으며, 주요 기능은 거의 완성되었습니다.
  • 문서화(설치/구성 가이드), 예제 파이프라인, 최소 테스트 커버리지 보강 등 마무리 작업이 더 필요하여 공개 시점을 11월 중으로 조정합니다.
• 2025년 9월 30일

  논문 및 오픈소스 공개, 리서치 레이더 코어 로직 공개 예고

  오픈소스 공개 범위와 방식

  • 9월 30일 논문이 공개됐고, 동시에 PoC 소스코드를 스냅샷 형태로 오픈소스로 공개했습니다.
  • 해당 저장소는 기록 보관을 목적으로 하며 외부 기여는 받지 않고, 별도의 유지보수 계획도 없습니다.
  • 후속 개발은 별도 레포지토리에서 진행하고 있으며, 일반적인 오픈소스 프로젝트로 지속적으로 유지보수할 계획입니다. 일정 수준의 완성도가 확보되면 공개할 예정입니다.

  리서치 레이더 코어 로직 공개 계획

  • 리서치 레이더의 핵심 파이프라인(코어 로직)을 10월 중 공개할 예정입니다. 11월 중 공개로 일정을 조정합니다.
  • 해당 로직은 LangChain 기반으로 재구성되었으며, 논문 작성 시점 대비 안정성과 재사용성을 강화했습니다.
  • 동료 연구자의 재현성과 응용을 돕기 위해 최소한의 설정으로 실행 가능한 예시와 간단한 문서를 함께 제공합니다.
• 2025년 9월 14일

  PDF 전처리 방식 일부 수정 계획 및 파이프라인 고도화(PDF → Markdown)

  오픈소스 라이브러리 검토: Docling, pdf-document-layout-analysis

  • PDF를 마크다운(Markdown)으로 변환하는 전처리 단계에 오픈소스 라이브러리 도입을 검토하고 있습니다.
  • Docling: 문서 레이아웃 분석과 구조화에 강점이 있으며, 표/목차/헤딩 등 문서 요소를 비교적 정교하게 파악해 구조화된 결과로 변환할 수 있습니다.
  • Huridocs의 pdf-document-layout-analysis: PDF 페이지의 블록(문단, 이미지, 표 등) 레이아웃을 분석하는 도구로, 페이지 내 구조 파악에 유용합니다.
  • 두 도구 모두 범용 문서에 최적화되어 있으나, 프로젝트 특성상 한국어 발굴조사보고서의 다양한 서식과 도판 구성에 얼마나 적합한지는 테스트가 필요합니다.

  적용 배경과 기대 효과

  • 핵심 목표는 천차만별의 보고서 양식을 일괄적인 마크다운 포맷으로 변환해, 이후 단계(메타데이터 추출·검증·저장)를 안정화하는 것입니다.
  • PDF → Markdown 전처리가 원활하면, 보고서마다 상이한 레이아웃 차이를 규칙 기반 처리로 상당 부분 해소할 수 있어 결과 일관성과 신뢰도가 높아집니다.
  • 이들 라이브러리는 신뢰도 높은 OCR을 자체 제공하거나 손쉽게 연동할 수 있어, 스캔본 등 텍스트 추출이 어려운 보고서도 비교적 안정적으로 처리할 수 있습니다. 이에 따라 전처리 시스템 개발 시간은 단축되고, 기본적인 텍스트 인식 정확도도 일정 수준 담보됩니다.
  • 마크다운은 텍스트 기반이라 LLM이 문맥을 해석하기 용이하고, 재처리나 감사(trace-back) 비용도 PDF 대비 낮습니다.
  • 추출된 메타데이터는 관계형 DB에 저장하여 연구자·대중·AI가 구조화 데이터를 쉽게 조회·활용할 수 있도록 할 계획입니다.

  리스크와 대응

  • 한국어 문서, 특히 고고학·문화유산 분야의 특수한 표기/표/도판 주석을 완벽히 처리하지 못할 가능성이 있습니다.
  • 이 경우에도 라이브러리의 내부 아키텍처와 로직을 참고해 특화 규칙과 후처리 모듈을 개발하는 방향으로 대응할 예정입니다.
  • 초기에는 하이브리드 접근(라이브러리 출력 + 커스텀 규칙/정규화)으로 실효성을 검증합니다.

  역(逆) 온톨리지 로드맵

  • 전처리된 마크다운에서 LLM으로 메타데이터를 자동 추출·저장하고, 이를 기반으로 온톨리지를 점진적으로 자동 구축하는 구상을 실험합니다.
  • 흐름: 자동 추출/저장(일부 활용) → LLM 기반 온톨리지 자동 구축 → 온톨리지 기반 데이터 자동 재구축.
  • 전처리 품질과 스키마 일관성이 확보되면, 비교적 짧은 시간 안에 유의미한 성과를 기대합니다.
• 2025년 8월 23일

  발굴조사보고서 메타데이터 추출 파이프라인 설계 완료 및 개발 착수

  설계 고도화 및 개발 착수

  • 논문에서의 PoC와 리서치 레이더보다 더 정교한 형태로 발굴조사보고서 메타데이터 추출 파이프라인 설계를 마쳤으며, 이에 따라 본격적인 개발을 시작했습니다.

  프레임워크 선택 배경

  • 논문과는 달리 LangChain 프레임워크를 채택했습니다. 논문 작성 시에는 데이터 추출 개발을 처음 시도하여 변수가 많았고, 논문 작성을 위한 일회성 코드였기 때문에 프레임워크의 제약 없이 최대한의 유연성을 확보하고자 했습니다. 하지만 이제는 관련 노하우가 쌓여, 장기적인 유지보수를 고려했을 때 프레임워크를 사용하는 것이 더 유리하다고 판단했습니다.

  상용 모델 운용 경험과 쟁점

  • 논문에서는 GPT-4o를 주요 LLM으로 사용했습니다. 기본 이상의 성능과 속도가 보장되고, 오픈소스 모델처럼 복잡한 설정이나 추가 컴퓨팅 자원이 많이 필요하지 않다는 점을 고려했습니다.
  • 논문에서는 상용 모델 사용 시 비용을 주요 쟁점으로 언급했으나, 이후 연구·개발을 진행하며 상황이 일부 달라졌습니다.
  • 가장 큰 쟁점은 일관성입니다. GPT-5가 GPT-4o보다 전반적으로 성능이 우수하더라도 같은 프롬프트에 대한 결과가 달라질 수 있습니다. 규칙 기반 프로그래밍과 결합된 하이브리드 모델에서는 이러한 변동이 특히 민감합니다. 또한 몇 달 전 GPT-4o와 현재 GPT-4o의 결과도 차이가 있습니다.
  • 리서치 레이더는 GPT-5와 GPT-4.1을 사용하는데, 뉴스레터 생성 파이프라인 실행 시 OpenAI 서버 상태가 간헐적으로 불안정해지는 문제가 있었습니다. 특히 이용자가 몰릴 때 단순히 오류가 발생하는 것을 넘어 생성 품질 자체가 저하되는 경우가 관찰되었는데, 예측 불가능한 결과물이 나오는 것보다는 차라리 명확한 에러를 반환하는 편이 낫기 때문에 이는 더 관리하기 어려운 문제였습니다.
  • 일상적인 AI 활용이나 특정 데이터를 바탕으로 비교·분석할 때는 상용 모델이 대체로 유리하지만, 비정형 데이터에서 학술 데이터를 엄격하게 추출·구조화하는 작업에는 제공자가 통제하는 외부 상용 모델(GPT, Claude, Gemini 등)은 부적합하다고 판단합니다.
  • 이에 품질 관리와 비용을 종합적으로 고려했을 때 오픈소스 모델이 적합하다고 판단했습니다. 오픈소스 진영 역시 새로운 모델이 계속해서 등장하지만, 충분한 검증을 거쳐 업그레이드 시점과 방식을 직접 통제할 수 있다는 핵심적인 장점이 있습니다.

  데이터 처리 흐름 개편(PDF → Markdown)

  • 데이터 처리 방식에도 중요한 변화를 주었습니다. 논문에서는 PDF 원문에서 직접 메타데이터를 추출했다면, 이번에는 중간 단계로 마크다운(Markdown) 포맷을 도입했습니다. 먼저 PDF를 마크다운으로 변환한 뒤, 이 파일을 기반으로 메타데이터를 추출해 데이터베이스에 저장하는 구조입니다. 이 PDF-to-Markdown 변환 단계는 보고서의 다양한 포맷을 처리하기 위한 전처리 과정이 일부 포함되지만, 대부분 규칙 기반으로 동작하기에 결과물의 신뢰도가 매우 높습니다.
  • 마크다운의 높은 활용 가치도 고려했습니다. 추후 추출된 데이터에 문제가 생겼을 때, PDF 원문을 다시 열어 처리하는 것보다 가볍고 정형화된 마크다운을 확인하는 것이 훨씬 비용 효율적입니다. 또한 PDF는 내용에 따라 별도의 OCR 처리가 필요할 수 있는 반면, 마크다운은 깨끗한 텍스트로 구성되어 있어 LLM이 내용을 이해하고 분석하기에도 더 용이합니다. 나아가 논문에서 언급했던 전문가 상호작용(Expert Interaction) 모델 구현에도 마크다운 형식이 유리합니다.

  청킹 전략 재설계(페이지 단위 → 개체 단위)

  • 논문에서는 개괄 데이터 추출에 20페이지 단위 청킹을, 세부 데이터 추출에 2페이지 단위 청킹을 적용했습니다.
  • 다만 보고서의 서식과 분량에 따라 문맥이 크게 달라질 수 있어, 지금은 페이지 단위 청킹은 바람직하지 않다고 판단합니다.
  • 새로운 설계에서는 변환된 마크다운 문서를 바탕으로 각 개체 단위로 청킹하도록 변경했으며, 이에 따른 이점은 다음과 같습니다.
    • LLM에 제공하는 문맥량이 줄어 비교적 높은 품질로, 사실왜곡이 거의 없는 결과를 얻을 수 있습니다.
    • 예컨대 100자 이하의 특정 유물 기술을 입력하고 정해진 스키마에 맞춘 추출을 지시하면 안정적인 결과가 나온다는 가설을 검증합니다.
    • 실용성이 입증되면 파라미터가 적은 모델로도 임무 수행이 가능하여 비용과 속도를 동시에 개선할 수 있습니다.
• 2025년 8월 20일

  제49회 한국고고학전국대회 포스터 발표 선정

  • 발표 주제: 「LLM 기반 고고학 정보 플랫폼의 현재와 미래」(기존 「대형 언어 모델(LLM)을 활용한 고고학 정보화 연구」의 확장)
  • 일정: 2025년 11월 7일(금) ~ 8일(토)
  • 장소: 경북대학교 글로벌플라자·인문한국진흥관(대구광역시)
• 2025년 8월 8일

  리서치 레이더 출시

  2025-08-08 출시

  논문에서 언급한 웹 플랫폼의 첫 번째 기능이 출시되었습니다! 리서치 레이더는 문화유산 관련 웹 자료를 수집하여 LLM으로 중요도별로 분석한 후, 맞춤형 뉴스레터로 제공하는 서비스입니다. 매일 아침 8시 30분에 최신 문화유산 관련 소식을 받아보세요.

  논문에서의 메타데이터 추출과는 주제가 다르긴 하지만 리서치 레이더도 여러 모듈을 연결시켜놓은 하이브리드 파이프라인 형태이며 논문과는 달리 LangChain을 활용했으며, 각 단계는 다음과 같습니다.

  ⚙️

  크롤러

  규칙 기반

  →

  🗂️

  중복 데이터 선별

  규칙 기반

  →

  🧠

  중요도 평가

  LLM 기반

  →

  ✍️

  마크다운 문서 생성

  LLM 기반

  (사실왜곡/저작권 평가 및
  재귀적 재생성 로직 포함)

  →

  🔄

  Markdown → HTML 변환

  규칙 기반

  →

  📑

  HTML 템플릿 병합

  규칙 기반

  📡 구독하기
• 2025년 8월 6일

  투고 논문 『헤리티지: 역사와 과학』 제58권 제3호에 게재 확정

• 2025년 7월

  heripo 플랫폼 기반 마련

  • 전반적인 레이아웃, 디자인 시스템 등을 설계 및 개발했습니다.
  • 플랫폼의 데이터베이스 설계를 진행했습니다.
  • 회원가입, 로그인, 정보 수정 등 플랫폼의 계정 시스템을 개발했습니다.
• 2025년 6월

  문화유산 뉴스레터 서비스 리서치 레이더 개발

  • 논문 투고 이후 회사 업무도 하면서 heripo 플랫폼 개발을 위해 기반 설계를 하다보니, 정작 학계 동향을 꾸준히 파악하는 것마저 버거운 일이 되었습니다.
  • 그래서 하던 일을 잠시 멈추고 ‘나 자신을 위한 자동화 도구’를 만들기 시작했습니다.
  • 만들다보니 고고학을 넘어 문화유산 학계와 업계 사람들 모두 유용하게 사용할 수 있다는 생각이 들어 누구나 사용할 수 있는 수준으로 고도화했습니다.
  • 7월 중 출시하려 했으나, 논문 심사인 관계로 여기 디지털 부록이나 리서치 레이더 랜딩 페이지에서의 익명을 유지해야 했기에 출시를 보류했습니다.
• 2025년 5월 25일

  『헤리티지: 역사와 과학』 제58권 제3호에 「대형 언어 모델(LLM)을 활용한 고고학 정보화 연구」 논문 투고

• 2025년 4월 ~ 5월

  「대형 언어 모델(LLM)을 활용한 고고학 정보화 연구」 논문 작성