“AI 에이전트 시대, 우리는 준비되어 있는가”
사라지는 암묵지를 데이터로, 에이전트를 조직의 운영체제로… 준비된 조직만이 살아남는다

“몇 년 뒤면 조선·원전의 핵심 숙련 기술이 통째로 사라질 수 있다.”
제조 현장의 50~60대가 은퇴하면, 수십 년 몸에 쌓인 암묵지도 함께 사라진다. 저자는 이 위기를 AI 에이전트 시대 한국의 가장 절박한 과제이자 가장 큰 기회로 직시한다. 챗봇은 가고 에이전트가 왔지만, 에이전트가 학습해야 할 조직의 지식은 아직 데이터가 되지 못했기 때문이다.

이 책은 AI 트렌드 교양서가 아니다. 29년간 IT 현장을 누벼온 현역 AX 컨설턴트가 삼성전자를 비롯한 10여 개 사이트의 AI·데이터 컨설팅과 정부 R&D 수행 경험을 바탕으로, 세 개의 축으로 조직의 ‘준비’를 설계한 실행전략서다.

첫째, 암묵지를 데이터화하는 방법론. 표준과 데이터 레이크가 있어도 현장에서 AI가 작동하지 않는 이유를 파고들어, 3중 표준 결합(DCAT·PROV-O·Croissant), 도메인별 데이터 마트 분리, Min·Max·Event 임계치, 멀티모달 임베딩까지 “소리만 듣고 베어링 마모를 아는” 명장의 노하우가 AI가 검색·학습 가능한 형식지로 착지하는 전 과정을 운영 가능한 아키텍처로 제시한다. 국내에서 아직 누구도 시도하지 않은 미답의 영역이다.

둘째, 에이전틱 AI의 조직 내재화. JPMorgan·Klarna·Microsoft·Salesforce·바이트댄스 다섯 사례와 우리 기업에 적용 가능하게 NIST AI RMF에서 추출한 통찰을, 위험분류(Risk Triage)부터 확산·폐기까지의 7단계 프로세스와 17요소 거버넌스라는 우리 조직의 언어로 변환했다. AI Native란 최신 모델을 먼저 도입한 회사가 아니라, 이 루프가 회사의 표준 운영체제로 분기마다 박동하는 조직이다.

셋째, AI 데이터센터(AIDC)와 클리어링하우스. 「인프라가 있는 곳에 데이터가 있던」 시대에서 「데이터가 있는 곳으로 인프라가 가는」 C2D 시대로의 전환 위에서, 데이터를 옮기지 않고 ‘합쳐서 쓰되 합치지는 않는’ 산업 클러스터형 AIDC와 거래의 검증·정산·신뢰를 맡는 클리어링하우스를 한국형 소버린 AI의 청사진으로 그린다.

산업 데이터·시니어 도메인 지식·AI 스타트업·SI 역량이라는 4대 비대칭 자산이 이 인프라 위에서 결합될 때, 빅테크가 진입할 수 없는 우리만의 길이 열린다.

5개 파트 모듈식 구성으로 정부·공공기관 담당자, CAIO·CDO, 실무 리더가 필요한 장부터 읽을 수 있다. 명장의 은퇴는 기다려주지 않는다. 당신의 조직은 지금, 그 지식을 데이터로 남길 준비가 되어 있는가.

[목 차]

추천사 ······· 004

이 책을 읽기 전에 ······· 010

머리말 ······· 013

1장 AI Ready Infra

1 AI 빅뱅의 시작 ······· 023

2 AI 에이전트 도입이 촉발하는 IT 시스템의 도미노 변화 ······· 038

3 GPU 중심 AI 인프라 운영환경의 변화 ······· 046

4 AI Data 인프라: Data의 위상 격상 ······· 055

5 앞으로 주목받을 기술들 ······· 062

2장 ARD(AI Ready Data)

1 ARD(AI Ready Data)란 ······· 073

2 ARD 적용 ······· 076

3 AI Ready 정형 Data ······· 080

4 AI Ready 비정형·실시간 Data란 ······· 085

5 AIDC와 C2D, 데이터가 있는 곳으로 간다 ······· 094

6 ARD 관련 기술과 표준들 ······· 098

3장 ARD 구축 방법론

1 왜 방법론인가: 표준에서 운영까지의 갭(GAP) ······· 105

2 3중 표준 결합: DCAT × PROV-O × Croissant ······· 111

3 4계층 데이터와 Vector DB 임계치: Min·Max·Event ······· 116

4 데이터 레이크와 데이터 마트 ······· 120

5 RDBMS의 메타·데이터 카드: 단일 진실원천의 중요성 ······· 125

6 LPG × MoE: 마트 간 라우팅과 희소 활성화 ······· 129

7 데이터셋·데이터 마트 특화 벡터 DB 아키텍처 ······· 134

8 단계별 도입 로드맵: Phase 1~5 ······· 137

9 정리하며: 표준과 아키텍처의 중요성 ······· 142

4장 AI 조직과 거버넌스

1 글로벌 기업 AI 전환의 다섯 거울 ······· 147

2 AI를 위한 7단계 프로세스 ······· 162

3 AI Native를 위한 조직거버넌스(위원회)와 프레임워크 ······· 185

4 조직의 핵심역량 내재화 ······· 193

5 AI 조직의 거버넌스 기능적 역할: AI + Data + 거버넌스 ······· 199

6 기존 업무조직, IT 조직, 행정조직 등의 역할 재분배 ······· 206

7 AI 조직의 기본업무 정의 ······· 212

8 AI 조직을 위하여 신규로 필요한 인력의 역량과 분야 ······· 219

9 AI 사업을 위한 우선순위 선정과 효과 분석 방안 ······· 225

10 PoC 선정과 평가 그리고 성과관리를 위한 확산 방안 ······· 232

11 AI 리터러시 방안 ······· 239

5장 AI Ready Start

1 이 게임에서 우리는 실패했는가? ······· 247

2 4가지 핵심경쟁력의 기술적 결합 ······· 254

3 공공부문… 비전은 있다. 그러나? ······· 258

4 그러나, 본질적인 4가지 문제 ······· 262

5 한 가지 희망, 차세대 사업의 AI 요건 강화 ······· 270

6 「AI Native & Ready」의 공공정보화 ······· 275

7 우리는 데이터를 개방하지 않는다 ······· 280

8 정리하며 ······· 296

용어정의 ······· 300

[본 문]

“데이터가 아무리 잘 준비되어도, 그것을 운영하고 의사결정에 사용하는 사람과 조직이 준비되지 않으면 ARD는 작동하지 않는다. 진짜 문제는 환경이나 업무가 대체되는 것이 아니라, 준비되지 않은 우리 자신이 대체될 수 있다는 점이다.”

_ 「머리말·3장」 중에서

“표준은 정의·호환·즉시 활용성을 보장한다. 임계치와 라우팅은 자원과 거버넌스를 보호한다. 벡터 DB는 단일 거대형이 아니라 데이터 마트 단위로 분산·특화되어야 하고, RDBMS는 데이터의 1차 책임자가 아니라 메타의 단일 진실원천(SSoT) 책임자다. 그리고 한 번에 깔지 마라. 이 다섯 문장이, 방법론의 암묵지를 형식지로 끌어올린 결과다.”

_ 「3장 · ARD 구축 방법론」 중에서

“폐기 결정은 사업을 시작한 부서장이 내리는 것이 아니라, 위원회가 사전 합의된 자동 발동 기준에 따라 내린다는 점이 핵심이다. ‘사람이 폐기를 결정했다’가 아니라 ‘규칙이 자동 발동되었다’가 되는 순간, 부서 저항은 절반으로 줄어든다. 시작할 때 언제 어떤 조건에서 접을지를 합의해 두지 않으면, 그 PoC는 결국 누구도 못 접는 좀비 사업이 된다.”

_ 「4장 · AI 조직과 거버넌스」 중에서

“‘AI 리터러시’라는 단어는 자주 오용된다. ChatGPT 사용법 강의나 프롬프트 엔지니어링 교육과 동일시되곤 하지만, 이는 리터러시의 일부일 뿐 전부가 아니다. 진짜 리터러시는 세 가지의 결합이다. AI가 무엇을 할 수 있고 없는가라는 기술 이해, 그 출력을 어떻게 검증하고 해석할 것인가라는 비판적 사고, 그리고 그것을 실제 업무로 옮기는 활용 역량이다.”

_ 「4장 · AI 리터러시」 중에서

“가장 위험한 조직은 AI를 모르는 조직이 아니다. AI를 조금 해봤기 때문에 이제 안다고 생각하는 조직이다. 국가AI전략위가 정한 비전과 99개 실행과제를 각 부처와 공공기관에서 실제로 운영할 ‘사람’이 부재한다. 가이드라인이 아무리 잘 만들어져 있어도, 그것을 운영할 조직 거버넌스와 인력이 없으면 종이 위의 문서로 남는다.”

_ 「4~5장 · 거버넌스의 빈자리」 중에서

“산업별 클러스터형 AIDC는 우리가 가진 4대 경쟁력 ― 산업 데이터, 시니어 도메인 지식, AI 스타트업의 응용 능력, SI의 통합 역량 ― 이 가장 효과적으로 결합되는 물리적·제도적 무대다. 이 무대 위에서만, 글로벌 빅테크가 들어올 수 없는 우리나라만의 AI 산업이 자랄 수 있다. 세계가 우리에게 물을 질문은 ‘당신들의 모델은 얼마나 큰가’가 아니라 ‘당신들의 모델은 어떻게 작동하는가’가 될 것이다.”

_ 「5장 · AI Ready Start」 중에서 

“데이터 거버넌스와 AI 모델 학습의 혁신적 가교를 선언하는 필독서다. 최근 수많은 기업이 거대언어모델과 생성형 AI 에이전트를 도입하지만, 대다수가 ‘쓸 만한 데이터가 없거나, 있어도 어떻게 써야 할지 몰라 우왕좌왕하는’ 냉혹한 현실에 부딪힌다. 이 책은 그 고질적 문제를 푸는 궁극의 열쇠인 AI 레디 데이터(ARD) 구축 방법론을 DCAT·PROV-O·Croissant 같은 글로벌 표준을 통해, 언제 어디에 어떻게 준비해야 하는지 구체적 가이드라인으로 명쾌하게 제시한다. 데이터가 준비되지 않은 AI는 사상누각에 불과하다.”
_ 김우주 (연세대학교 AI혁신연구원 AI기술연구센터 센터장)

“정재헌 대표는 마치 AI 분야의 음유시인과도 같다. 우리나라에 AI가 도입·확산되는 와중에 누구보다 앞장섰고, 현장에서 땀을 흘렸으며, 더딘 반응 속도에 안타까워했다. 제로트러스트와 마이크로세그멘테이션, ARD, sLLM 등을 마치 살아 있는 생선을 요리하듯 정리한 『AI NOW』는 AI 시대 미래를 대비하는 리더들이 가장 귀 기울여야 할 나침반이 될 것이다. 그의 인사이트가 우리나라의 AI 시대를 밝히는 등대가 되기를 기대한다.”
_ 조대연 (서울대학교 교수, 전 스마트시티 국가전략프로젝트 단장)

“AX의 성공은 AI 엔진의 성능만으로 결정되지 않는다. AI가 제대로 작동할 수 있는 AI Ready Data의 구축과, 이를 활용할 수 있는 AI 리터러시의 확산이 반드시 선행되어야 한다. 『AI NOW』는 AI 인프라와 데이터, 조직 거버넌스, AI 리터러시를 유기적으로 연결하며 우리 사회가 준비해야 할 실천 방향을 제시한다.”
_ 조성범 (국가인공지능전략위원회, GIST 특임교수)

“이 책은 공공영역에서 처음으로 AI플랫폼과 데이터 온톨로지 사업을 준비하며 가장 많은 고민을 나눠 주셨던 정재헌 본부장님이 6개월을 공들여 풀어주신 답안 같다. 칸막이에 막힌 공공의 데이터를 어떻게 효율적으로 써야 하는지, AI와 데이터를 아우르는 거버넌스 구성과 실제 업무에서의 활용 방안까지 성실히 만들어진 답안이다. 공공영역에서 AI 도입을 생각하는 담당자라면 고민의 시간이 줄어들 것이다.”
_ 최정환 (전 경기도 AI플랫폼팀장, 경기준비위원회 행정혁신분과 간사)

“AI 에이전트 시대에 조직이 직면할 인프라·데이터·거버넌스의 총체적 전환을 실무자의 시선으로 짚어낸 실행 전략서다. 특히 AI Ready Data 방법론과 3중 표준 결합, Vector DB 임계치 설계는 AX를 추진 중인 조직의 데이터 정제 과제에 즉시 적용 가능한 청사진을 제시한다. 4장의 7단계 프로세스와 17요소 거버넌스는 시행착오를 크게 줄여줄 실전 지침으로 다가온다. 함께 AX를 추진하는 동료들에게 꼭 권하고 싶은 책이다.”
_ 조경호 (국민건강보험공단 인공지능실 AI서비스혁신부 팀장)

“금융 인프라 현장에서 AI 도입을 검토하며 가장 부족했던 것은 기술 정보가 아니라 판단의 기준이었다. 이 책은 그 기준을 준다. 무엇을 사고 무엇을 빌릴지, 어떤 데이터부터 준비할지, 어떤 순서로 갈지를. 가이드라인은 난무하는데 정작 현장의 운영 답은 없는 그 간극을 정확히 짚어 메워 나가는 점이 값지다. 저자의 판단 하나하나에는 수십 번의 프로젝트를 통과한 사람의 무게가 실려 있다. 도입을 고민하는 조직이라면, 시행착오 비용을 아끼는 가장 좋은 방법이 이 책이다.”
_ 오현우 (코스콤 금융솔루션/AX 담당 과장)

“이 책을 집어 든 독자라면 이미 AI라는 거대한 바다에 발을 담근 채 다음 한 걸음을 고민하고 있을 것이다. 저자는 막연한 두려움에 망설이는 이들에게 실질적인 도입 현황을 짚어주며 명확한 방향타를 제시한다. 거대한 AI의 바다 앞에서 두려움에 머물 것인가, 용기를 내어 새로운 미래로 노를 저을 것인가. 그 첫 항해의 시작에 이 책이 든든한 길잡이가 되어줄 것이다.”
_ 탁정민 (HD현대중공업 경영지원본부 자산운영부 책임)

“현장에서 보면 AX의 실패는 기술 부족보다 조직의 준비 부족에서 더 자주 비롯된다. AI는 도입되는 순간부터 책임과 운영의 문제를 동반한다. 누가 맡고, 어떤 기준으로 성과와 리스크를 판단하며, 어떻게 현업에 확산할지가 정리되지 않으면 AI는 값비싼 실험에서 벗어나지 못한다. 가장 위험한 조직은 AI를 모르는 조직이 아니라, 조금 해봤기에 이제 안다고 생각하는 조직이다. 결국 기술이 부족해서 멈추는 것이 아니라, 조직이 준비되지 않아 멈춘다.”
_ 이두진 (EY컨설팅 시니어 컨설턴트)

“경력 30년 이상의 IT 전문가에게도 필요한 AI 안내서이자 AI 백과사전이다. 기술(ARD + AIDC)과 도입 프로세스, 조직과 거버넌스 등 AI의 전체 구성과 각 요소를 설명하는 청사진을 제시한다. 이 책을 끝까지 읽고 나면 AI에 대한 자신만의 시각을 가질 수 있고, 자신이 속한 조직에 적합한 상세계획을 하나하나 구체화하고 선택해 나가는 자신을 발견하게 될 것이다.”
_ 이성태 (30년 경력의 테크니컬 아키텍트(TA))