[목 차]

AI가 논문 쓰는 시대, 연구자는 무엇을 하는가

 

01 확률적 연구자

02 합성 데이터와 다원성

03 AI 평등화 대 정상화

04 논문 품질의 무결성

05 인용 오류와 소프트웨어

06 AI 지표의 타당성

07 리서치 모빌리제이션

08 기업 연구의 AI 자동화

09 AI 가이드라인 대 폴리스라인

10 AI 시대, 논문 멍때리기

 

[본 문]

통계적 데이터 모델링이 반드시 옳은 것은 아니다. 통계와 AI 기계 학습은 새로운 연구 문제의 발굴, 이론적 분석 틀의 개발 및 기존 모델의 개선에 모두 중요한 역할을 한다. 잘못된 자료가 많아지면 잘못된 패턴을 확률적으로 더 많이 재현할 수 있다. 중요한 것은 통계적 분석과 AI 모델링에서 데이터 품질이 낮을 때 발생하는 부작용이 상당히 심각하다는 점을 인식하는 것이다. 통계적 도구의 편리성이나 AI 알고리즘 기술의 예측력에만 과도하게 의존하면서 사전 검증과 사후 재현성 이슈를 소홀히 여겨서는 안 된다.

－01_“확률적 연구자” 중에서

 

따라서 AI 활용률의 증가만으로 평등화나 정상화를 판단할 수 없다. AI 연구·개발 활용도와 논문, 특허, 데이터 세트 같은 연구 성과의 질이 어떤 관계를 보이는지 검토해야 한다. AI를 많이 사용하는 연구자가 실제로 더 혁신적이고 신뢰할 만한 성과를 내는지, 아니면 기존 자원이 풍부한 연구자와 기관이 AI의 혜택을 더 크게 가져가는지를 분석해야 한다. (…) 또한 AI의 효과를 기술 자체가 결정한다고 보면 기술결정론에 가까워진다. 반면 AI의 효과가 연구비, 제도, 학문 문화, 연구자의 지위와 조직적 자원에 따라 달라진다고 보면 사회구성주의적 설명이 중요해진다. 실제 연구 성과는 어느 한쪽만으로 설명하기 어렵다. AI의 기술적 성능과 연구 공동체의 사회적 조건이 서로 영향을 주고받으며 평등화와 정상화를 동시에 만들어 내기 때문이다.

－03_“AI 평등화 대 정상화” 중에서

 

과학적 연구에서 중요한 것은 가능한 한 많은 자료를 모으는 것이 아니라 연구 목적에 맞는 자료를 타당한 절차로 수집하는 것이다. AI 코드 탐지 연구는 측정 방식이 연구의 결론을 어떻게 바꿀 수 있는지 보여 준다. 결국 좋은 AI 연구는 하나의 높은 성능 수치를 지표로 제시하는 데 있지 않다. 자료의 분포와 클래스 불균형을 밝히고, 여러 성능 지표를 함께 제시하며, 기준값을 선택한 이유와 오류의 비용을 설명해야 한다. 무엇보다 평가 자료가 실제 적용 환경을 얼마나 대표하는지 논의해야 한다. 기계 학습 지표의 타당성은 모형이 얼마나 잘 맞히는가뿐 아니라 무엇을, 어떤 조건에서, 어떤 오류를 감수하면서 맞히는가에 따라 평가해야 한다.

－06_“AI 지표의 타당성” 중에서

 

연구 윤리의 대응도 달라져야 한다. 지금까지의 AI 가이드라인은 주로 연구자에게 책임을 부과했다. 개인정보를 입력하지 말라, AI가 만든 인용을 확인하라, AI 사용 사실을 공개하라, 최종 결과에 인간이 책임지라는 식이다. 이러한 원칙은 필요하다. 하지만 AI가 인간의 판단에 영향을 미치는 상황에서 사용자에게 주의를 요구하는 것만으로 충분하지 않다. 여기서 가이드라인과 폴리스라인의 차이가 발생한다. 가이드라인이 연구자의 판단을 돕는 원칙이라면 폴리스라인은 허용과 금지의 경계를 긋는다. 문제는 AI 윤리가 ‘여기까지는 AI를 사용해도 되고 여기부터는 안 된다’는 선을 긋는 데 지나치게 집중할 수 있다는 점이다. 편향된 AI의 영향을 경고문만으로 막기 어렵다면 더 많은 금지선과 면책 문구를 만드는 것 역시 근본적인 해결책이 아닐 수 있다.

－09_“AI 가이드라인 대 폴리스라인” 중에서