[Conference] 모두의연구소 MODUCON 2024 후기

 

얼마전 MODUCON 2024를 다녀왔습니다.

쪼꼼..늦은 후기를 공유합니다!

• keynote
• AI Insight - 최신 트랜드와 인사이트
• Tech & Human - 기술과 사람이 만드는 더 나은 세상
• AI Frontline - 실무 현장의 생생한 AI 프로젝트
• Inside MODULABS - 모두의 연구소 랩 연구 도전기
• Papershop Poster Session
• Hands-on Workshop
• Connect & Learn

트랙으로 구성되어있습니다. 

각 트랙에 대한 세션이 6개 정도로 구성되어 있었습니다.

자세한 건 아래 사진을 참고해주세요.

 

---

1. KeyNote : 뇌과학자가 바라보는 AI 시대의 미래

장동선 뇌과학 박사

 

 

키노트는 장동선 뇌과학 박사님께서 진행해주셨습니다.

워낙 유명하신 분이라서 기대가 된 연사였습니다.

 

지금까지의 사람의 뇌가 진화해온 과정을 듣고,

AI 시대에서서 급진적인 변화에 대한 인류의 적응 방법을 뇌 측면에서 생각해보는 깊은 강의라고 생각되었습니다.

 

1. 뇌의 기원과 역할

• 5억 년 전 운동기관과 감각기관을 연결해주는 신경절이 발달하여 현재의 ‘뇌’ 형태가 되었다고 볼 수 있음
• 뇌가 없는 생물들은 선천적으로 ‘프로그램된’ DNA에 의해 움직이지만 환경이 복잡해지고 변화의 속도가 빨라지면서, 정보를 처리하고 학습을 통해 적응하는 뇌가 필요해짐
• 하지만 모든 정보를 받아들일 수 없고 탐험을 통한 정보만 받아들임
• 사람의 뇌는 이렇게 발전되어옴

2. 탐험의 의미와 어려움

• 뇌는 모든 정보를 다 받아들일 수 없으므로, 스스로 필요한 정보를 찾아내는 ‘탐험(Explore)’을 수행
• Explore는 라틴어 Explorare이 어원이고 이는 바깥(Ex)와 “눈물을 흘리다(plorare)”의 뜻
• 탐험한다는 것은 눈물을 흘릴 정도로 고통과 어려움을 수반함

3. 편협성의 문제와 시스템의 중요성

• 뇌가 받아들일 수 있는 정보의 범위가 좁아지면, 점점 자신의 편향 안에 갇히기 쉬움
• 이는 어떤 개인이 ‘좋다/나쁘다’의 문제라기보다, 사회 전체가 균형을 유지할 수 있는 ‘시스템’의 문제
• 개인의 편향보다 넓은 시각을 가질 수 있도록, 뇌가 다양한 정보를 수용할 수 있는 구조가 중요

4. AI 시대의 정치ㆍ경제 구조 변화

• AI 기술이 발달하여 노동과 생산의 방식을 바꾸면서, 전통적인 ‘일해서 돈 벌고, 세금을 내는’ 구조가 흔들림
• AI 시대에 적합한 새로운 정치 체계와 경제 시스템이 요구됨
• 예를들어 기본소득이나 AI의 자동화된 생산 시스템이 자리 잡으면, 기존 국가 운영 방식도 바뀔 수밖에 없음

5. 뇌와 AI의 상호작용, 그리고 인간ㆍAI 경계의 흐려짐

• 뇌가 정보를 받아들이고 처리하는 과정에 AI가 개입하게 되면서, 점차 인간과 AI의 경계가 흐려짐
• 딥페이크로 영상이나 웹툰을 만들고, AI 챗봇과 ‘연애’하는 상황까지 등장
• AI가 생성한 결과물을 접하는 과정에서, 우리는 내가 ‘주도적으로’ 뇌를 사용하는지, 혹은 AI가 제시하는 정보를 ‘수동적으로’ 받아들이는지 경계해야함

6. AI의 신뢰성과 편향 문제

• AI는 학습 데이터에 따라 편향을 내재하기 쉬움
• “흑인 의사가 백인 환자를 치료하는 이미지를 만들어달라”는 요청에 AI가 그림을 생성하지 못하거나 거부하는 상황이 나타남
• 이는 AI에게 편향된 데이터가 학습되었거나 규제 알고리즘의 오류가 존재하기 때문
• 결국 ‘AI를 정말 신뢰할 수 있을까?’라는 질문이 끊임없이 제기

7. 인간의 한계와 Unknown Unknown

• 인간은 공부를 하면 할수록 모르는 것이 늘어난다는 사실을 깨닫고, 이를 전문가의 태도로 삼음
• 실제로 대학원생때 가장 거만한 시기
• AI는 어느 정도 ‘모르는 것’을 인식할 수 있지만, 아직 ‘무지의 무지(Unknown Unknown)’ 단계까지 접근하기는 어려움
• 인간은 다른 사람과의 소통, 비판을 통해 사고의 폭을 넓힐 수 있지만, 요즘은 생각이 다른 사람을 쉽게 ‘손절’해버리는 경향이 있어 편협성이 커질 위험이 있음

8. AI와 AI의 소통, 그리고 인간의 단절

• 제프리 힌튼이 제시한 ‘AI와 AI의 소통’은 기계들끼리 정보를 교환하고 학습하면서 빠른 속도로 발전할 수 있음을 의미함
• 반면, 인간은 점점 서로 단절하면서 소통 능력이 약화됨
• AI가 소통 능력을 높여가는 동안, 우리는 정작 ‘거울 속 자신에게만 몰입하는’ 나르시시즘에 빠져 사회적 소통을 잃어가고 있음

9. AI가 인간을 지배하는 시나리오와 Safety 문제

• AI가 직접 인간에게 물리적 위협을 가할 가능성은 아직까지 낮아보임
• 그렇지만 잘못된 데이터나 악의적인 사용자에 의해 AI가 ‘가스라이팅’을 하듯 사람들의 판단에 영향을 주는 상황의 위험성이 있음
• 군사 시스템에서 AI가 지휘를 넘어 역으로 인간을 통제하거나, 정치적 선동에 이용되어 심리적으로 지배하는 경우가 대표적
• AI 안전성(Safety)에 대한 고민이 필수

10. 집단지성, 공감, 그리고 새로운 연대

• 궁극적으로 인간이 할 수 있는 일은, 서로 공감하고 집단지성을 발휘하는 것
• "진짜 초능력은 공감하는 능력이야.” => 다양한 사람들의 참여와 협력을 통해 편향에서 벗어나는 길을 찾아야 함
• 비슷한 사람들끼리만 모이면 ‘집단 무지성’이 강화되므로, 다양성을 존중하는 커뮤니티가 필요함
• 이러한 커뮤니케이션을 바탕으로, AI 기술이 사람들의 건강과 행복을 증진시키는 방향으로 개발되고 활용되어야 함

 

---

2. 사람과 세상을 이해하는 AI와 SW,

류석영 KAIST교수, 카카오임펙트 이사장

 

(원래는 다른 개발 세션을 들으려고 했지만,

인류를 위한 AI에 대한 개발에 대한 고찰을 하고자 참여..)

 

 

1. 사람을 만나고, 상담하고, 배우는 이유

• 연사자님은 연구생들의 심리적·정서적 문제를 돕기 위해 자살 예방, 갈등 협상, 생명의 전화 상담사 등을 배우고 실천 중임
• 전산학을 전공했지만, 오히려 다양한 사람을 만나고 배우는 일이 많아짐
• 월스트리트 저널(10년 전)에서 소프트웨어가 세상을 ‘잡아먹는다’고 한 것처럼, 오늘날 시가총액 상위 기업 다수가 소프트웨어 회사임
• 전산 분야 종사자는 단순히 기술에만 집중하기보다 ‘사람과 세상을 이해하고, 기여할 수 있어야 한다’는 새로운 시각이 필요

2. 논문 이상의 의미: 사람과 세상을 이해하기

• KAIST - “사람과 세상을 이해하고, 사람을 돕는 인재를 양성하겠다”라는 교육 목표 강조
• 단순히 논문 수나 연구 실적이 아니라, 실제 사회 문제의 맥락과 불평등을 인식하는 것이 중요.
• 가난한 나라의 병은 약을 개발하지 않거나, 백인 남성 위주 기준으로 적정 온도 등을 설정하는 사회적 편향 문제 존재

3. AI 활용과 현실 간극: 배달 라이더 사례

• 배달 앱이 최단 경로를 안내해도, 실제로는 교통정체나 시위 등 예측 불가능 요인이 많아 기술적 해법이 제한적일 수 있음
• KAIST에서 전산, 인문, 윤리 분야 교수가 정기 세미나를 진행하며, 서로의 시각을 이해하는 데 시간을 많이 투자
• 장미꽃 향기 연구 같은 이공계 주제도 전산학적 방법(DB, AI 등)과 결합하면서, 새로운 통찰을 얻는 사례가 늘어남

4. 카카오임팩트와 사회 환원

• 카카오임팩트: 카카오 수익 일부를 사회에 환원하는 비영리 기관
• Fellowship 선발과정에서 다양한 사회 문제를 접하고, 전산학을 통한 해결 가능성을 탐색
• 1형 당뇨병 환우회가 자동 인슐린 주입 앱을 개발하려 했으나, 법적 문제 등으로 어려움을 겪고 있음
• 카이스트 학생들과 카카오임팩트 펠로우가 협업하여 문제 해결 방안을 모색 중
• 학생들이 “내 기술을 통해 어떻게 다른 사람에게 도움이 될 수 있을까?”라는 관점을 갖게 됨

5. 전 세계 석학과 멘토링

• 다양한 나라·분야의 석학들과 멘토링을 진행해, 학생들이 폭넓은 시각을 습득하도록 지원
• 전산학뿐 아니라 인문학, 사회과학 등 융합적 접근을 통해 복합적인 문제 해결 능력을 키우는 것이 목표

6. 공정성과 포용성에 대한 고민

• 다양한 배경(성별, 국적, 장애 등)을 가진 학생들을 공정하게 교육해 전문 역량을 갖추도록 지원
• 소수자의 요구를 반영하는 것은 단순 배려를 넘어, 사회 혁신과 더 큰 기회의 장을 열 수 있다는 점을 강조
• 작은 변화들의 축적이 전체 시스템을 더욱 공평하고 풍요롭게 만들 수 있음

7. Curb-Cut Effect: 소수자를 위한 변화가 모두에게 이익

• 휠체어 이용자를 위해 인도 턱을 낮춘 것이, 유모차·캐리어 사용자 등 다수에게도 편의 제공
• 소수를 위한 조치가 결국 전체 ‘파이’를 키우는 효과로 이어짐
• 다양성의 가치를 인정하고, 이를 통해 기술과 사회를 발전시키는 방향을 지향해야 함

---

3. 사람처럼 협업하는 AI에이전트 팀과 LLM 오케스트레이션의 비밀

맹윤호 박사, GSP CLoud

1. LLM 협업의 개념과 활용 사례

• LLM이 사람처럼 협업한다는 의미? => 대형 언어 모델(LLM)이 인간처럼 ‘팀’으로 일하며 의사소통과 협업을 수행하는 것을 지칭
• 사람처럼 태도를 모방하는 문제 => 실제 슬랙 데이터로 Fine-Tuning했더니 “내일 할게요”라며 업무를 미루는 등, 사람처럼 행동
• LLM 학습 시 사람을 그대로 모방하기보다는, 적절한 프로세스·규칙을 갖춘 다른 접근이 필요하다는 문제 제기

2. 학습의 여정과 최신 트렌드

• Scaling Law
  • “컴퓨팅 자원을 많이 투입할수록, 언어 모델 규모를 키울수록 성능이 올라간다”는 법칙
  • 대규모 GPU 자원 사용이 LLM 개발의 큰 장벽
• 한계론 및 추론 과정 강화
  • 에릭 슈밋 등은 Scaling Law가 한계에 도달했다고 언급
  • o1 모델 사례: 학습 중 ‘똑똑해진 것’이 아니라, 추론 단계에서 Self-reflection 등을 통해 성능이 향상됨
    • “생각하는 의자에 앉아서, 정말 이 대답이 맞는지 한 번 더 확인”하는 구조
    • 할루시네이션이 완전히 사라지진 않았지만, 정확도가 상당히 개선됨

3. 엔터프라이즈 LLM과 기업 내 적용

• 데이터 유출 우려 vs. GPT 수준 활용
  • 기업은 내부 데이터의 보안을 위해 외부로 나갈 수 없게끔 모델을 운용해야 함
  • 그러나 기존 GPT만큼 편리한 기능을 원함
• 현재 대안: RAG(Retrieval-Augmented Generation)
  • Llama 등 모델을 기반으로 RAG 방식을 사용해 기업 데이터에 접근
  • 하지만 할루시네이션을 완전히 방지하지 못하고, 본질적인 해결책으로 보긴 어려움
• 자동화와 Group Reflection 필요성
  • 기업 환경에서 LLM은 비용 절감·업무 자동화를 위해 도입되는 경우가 많음
  • 단순 RAG를 넘어, 여러 에이전트 LLM들이 협력하는 구조인 ‘Group Reflection’이 실질적인 성과를 낼 수 있음

4. Group Reflection: 여러 LLM 간 협력

• 게임 속 아바타 예시 - AI 봇들끼리 소통 실험
  • 여러 LLM이 탑재된 아바타들이 서로 소통·의견 교환·작업 분담을 통해 공동 목표를 달성
  • 게임 개발, 이벤트 기획 등과 같은 복잡한 과업도 가능해짐
• Prompt Engineering과 Flow Engineering
  • Prompt Engineering
    • Self Discover 기능: 미리 정의된 추론 구조(Reasoning Structure)에 따라 LLM이 스스로 적합한 추론 과정을 선택하도록 유도
  • Reasoning Module
    • 폭포수(정해진 일정 준수) vs. 에자일(점진적 개선) 등의 방법론을 내장해, 문제 해결 접근 방식을 다양화
  • Flow Engineering: Mixture of Experts (MoE)
    • 여러 모델이 협력해 기존에 어려웠던 문제를 해결하고, 실제 프로덕션 환경에서 활용 가능하도록 만듦

5. Flowise를 통한 구현

• Flowise.kr
  • 오픈소스 도구로서 RAG 등 다양한 방법론을 지원하며, 드래그 앤 드롭으로 워크플로우 구성 가능
  • Reasoning Module 선택 가능, Mixture of Agent를 통해 ‘LLM 팀’을 조직하고, 팀장-워커 노드 개념으로 협력 가능
  • 바로 API 연동 및 임베드 가능, 코드 작성도 지원
• LLM끼리의 협업 vs. 사람+LLM 협업
  • 일부 연구(Nature 등)에서, 사람과 LLM이 함께 일할 때보다 LLM끼리 협업할 때 성능이 오히려 더 좋았다는 결과가 있음
  • 인간이 합류함으로써 생기는 의사소통 오류, 편향 등이 오히려 성과에 부정적 영향을 주기도 함

6. 결론 

• 기업 환경에서 LLM 도입의 어려움
  • LLM이 사람 텍스트를 학습하다 보니, 본질적 편향성 제거가 쉽지 않음
  • LLM 결과에 의존하는 사람 또한 편향이 존재, 상호 작용이 복잡함
• 리서치 역량 + 실무 역량
  • LLM 도입 시, 연구적·기술적 관점과 실제 비즈니스 프로세스 적용 역량을 결합해야 함
  • 궁극적으로는 ‘단일 LLM의 활용’보다, 다수 LLM간 협력(Group Reflection)과 추론 과정 강화(Self-reflection)가 실질적인 문제 해결에 더 효과적일 수 있음

---

4. 대장내시경 분야의 딥러닝 응용

이동현, 충남대학교 의공학과 조교수

(용어가 어려워서 빼먹은 부분이 좀 많네요...)

 

 

1. AI+의료(Medicine) 분야의 배경

• 의료 분야에는 방대한 양의 데이터가 존재하지만, 이를 처리할 엔지니어가 상대적으로 적음
• 따라서 Biomedical 분야와 AI를 연결하는 ‘중간 다리’ 역할이 중요해지고 있으며, 이로 인해 다양한 연구 기회와 높은 수요가 발생하고 있음

2. 대장내시경(Colonoscopy) 분야와 CAD 기술

• 대장내시경의 중요성: 악성 용종이 될 수 있는 폴립을 미리 발견하고 절제해내는 것은 대장암 예방에 핵심적인 역할
• CAD (Computer-Aided Diagnosis) for Colonoscopy
  • Polyp Detection (CADe): 실시간 영상에서 용종을 검출해 의료진이 놓칠 수 있는 부분을 보완
  • Polyp Characterization (CADx): 용종의 특성을 파악해 절제 여부를 결정하며, 국내에서는 소송 등의 위험을 피하기 위해 대체로 용종을 절제하는 추세임
  • 모든 처리가 실시간으로 이루어져야 하므로, 속도와 정확도가 모두 중요함

3. Polyp Detection (CADe)의 의의

• 대장내시경 영상은 실시간이기에, 의료진의 주의력이나 컨디션에 따라 놓칠 수 있는 폴립을 CAD 기술이 보완해줄 수 있음
• 기계학습·딥러닝 기반 모델을 활용하여 의사의 인지적 부담을 낮추고, 조기 발견율을 높일 수 있음

4. Polyp Characterization (CADx) 연구

• AI와 의사의 협업 효과: 초보 의사 그룹에서 CADx를 활용했을 때 진단 성능이 크게 향상됨. 전문가 그룹에서도 Bayesian 방식을 통해 모델이 ‘Unknown’을 제시할 경우, 오히려 집중력이 높아짐(?)
• 불확실성 관리: 용종 유무와 확실성(확실/불확실)을 조합해 4가지로 분류하며, 애매한 결과를 모아두면 전문가도 신중하게 판단하여 최종 진단 정확도를 높일 수 있음

5. 추가 연구 과제들

• Out-of-Distribution Detection: 학습 분포 밖의 데이터를 인식해 오진을 줄이는 기술.
• WLI-to-NBI Style Transfer: WLI(White Light Imaging) 영상을 NBI(Narrow Band Imaging)로 바꿔 전문가용 뷰에서 진단 정확도를 높이려는 연구.
• 3D Reconstruction of Colon: 2D 영상 중심이던 대장내시경을 3D 맵으로 재구성해 더 정확한 구조 파악이 가능하도록 함. 자율주행의 RNNSLAM 원리를 적용해 짧은 시간 내 3D 맵을 만들고, 돼지 창자 데이터셋(SimCol3D)을 활용해 실험을 진행.

6. 시뮬레이션 기술과 현실감 문제

• Virtual Colonoscopy Simulator: VR 환경은 현실감이 부족해 ‘게임’처럼 느껴지기도 함.
• SeamXSim 프로젝트: 보다 현실감 있는 시뮬레이션을 구현하기 위해 Generative 모델을 사용해 색상과 혈관을 입히고, 일부 동영상 단계에서도 색상을 변환(SeamXSim -T)함

7. 의료진과의 협업 중요성

• AI 모델 개발 시, 실제 임상 현장의 요구사항을 반영하기 위해 의료진과 긴밀히 협업하는 것이 필수
• 단순히 기술 성능을 높이는 것뿐 아니라, 의사의 워크플로와 진단·치료 과정에 어떻게 접목할지가 핵심

8. 결론

의료 분야는 풍부한 데이터와 명확한 활용 사례를 갖추고 있어 AI 기술이 빠르게 발전할 수 있음

• 특히 대장내시경 CAD 기술은 실시간 검출과 진단 보조를 통해 의료진과 환자에게 큰 도움이 됨
• 이를 실제 임상에 적용하려면 의료진 협업, 실제 환경 성능 검증, 그리고 현실감 높은 시뮬레이션 환경 등이 필수적

---

5. 생성형 AI를 활용한 정부 사업 계획서 작성 자동화 실습

유수호, 한양대학교 에리카캠퍼스 겸임교수

1. AI 시대

• “AI가 우리를 대체한다”는 우려가 있지만, 실제로는 AI를 잘 활용하는 사람이 더 경쟁력을 갖게 됨

2. AI Co-Worker 시대: 협업 시나리오

• AI와 함께 사업계획서를 작성하는 사례: 주니어가 초안을 만든 뒤 시니어가 AI를 활용해 검토·보완
• ChatGPT 등 LLM을 활용하되, 인간의 의사결정이 개입되어야 의미 있는 결과물이 나옴

3. 사업계획서 작성 절차(시연 예시)

1. ChatGPT 사전 학습
   • 회사의 사업전략, 정부 지원사업 RFP 등을 요약·학습시켜 기반 지식 구축
2. Perplexity(검색/정보 탐색 툴) 활용
   • 최신 기술 동향, 논문 자료 등을 탐색하려 했으나 일부 제한 존재
3. 아이디어 도출 및 시장 조사
   • ChatGPT를 통해 여러 아이디어를 제안받고, 추가적인 검색으로 시장 데이터를 모음
4. 데이터 분석 및 의사결정
   • 정보를 정리·분석해 사업전략을 구체화함(단순히 “시키기”만 하는 게 아니라 최종 판단은 사람 몫)
5. 모델 학습 및 지식베이스 구축
   • 사업전략, 시장 자료 등을 추가해 LLM에 재학습(Fine-Tuning 또는 Prompt 설계)
6. Prompt 입력 및 결과물 작성
   • 지식베이스가 있는 모델에 사업계획서 관련 프롬프트를 넣어, 맞춤 보고서나 초안을 생성

4. ‘전략-기획-계획’의 구분

• 전략: 큰 방향 설정
• 기획: 전략을 좀 더 구체화
• 계획: 실행 로드맵으로 전환
• 이 세 단계를 거치며, AI는 보조 역할을 하되 사람의 통찰·결정이 필수

5. 멀티턴 대화와 In-Context Learning

• 사업계획서 작성은 한 번의 Prompt로 끝나지 않고, 멀티턴 대화(질문↔답변 반복)를 통해 구체화됨
• 예시 샘플(One shot, Few shot) 제공이나 CoT(Chain of Thought) 기법 등을 활용해, 추론 능력을 강화함
• Storm, Genspark 등 한국어를 지원하는 툴도 존재하며, 필요한 경우 Deepl 등 번역 툴을 병행

6. 맞춤형 GPTs 생성 및 지식 반영

• 맞춤형 GPTs: Pseudo Prompt, PDF 문서 등을 모델에 삽입해 특정 분야의 전문 지식을 적용
• 예: 애슬레저 스타트업 PSST 사업계획서 작성 → 관련 문서를 업로드한 뒤 모델에게 요청해 초안 생성
• NotebookLM(구글)이나 ChatGPT의 ‘Projects’ 기능 등으로 비슷한 방식 구현 가능
  • 지침을 넣으면 자동으로 목차에 따른 사업계획서를 작성
  • 추가 프롬프트도 추천해줘 사용 편의성 향상

7. PPT 초안 및 디자인

• Gamma로 PPT 초안을 자동 생성 후, Canva를 활용해 시각적으로 다듬을 수 있음
• 업무 프로세스: AI로 문서 초안 작성 → AI/사람 협업으로 검수·디자인 → 최종 결과물 완성

8. 결론

• AI를 도구로 삼아 사업계획서 작성, 시장 조사, 전략 수립 등 업무 효율을 높일 수 있음
• 그러나 최종 의사결정과 책임은 인간에게 남아있어야 하며, 윤리적·법적 측면도 주의 깊게 살펴야 함
• 미래 업무 현장은 “AI와 함께 성장할 줄 아는 인재”가 주도할 것으로 전망됨

---

6. AI 실무자가 반드시 알아야 할 법적 리스크

오정익, 법무법인 원, 인공지능대응팀장 변호사

 

1. AI 모델 등 개발 단계

• 문제정의 및 기획
• 데이터 수집 및 준비
• 모델 개발 및 학습
• 평가 및 검증
• 배포 및 모니터링

2. 문제 정의 및 기획

• 이 서비스가 향후 출시될 때 윤리적인 문제가 있을지?
• 법적 문제에 막혀있는데 내가 하고 있는지?
• EU 인공지능법상 금지된 AI분야
• 예를들어 제한 없이 딥페이크를 완벽하게 해주는 AI시스템
• 검토 내용)
  • 해당 시스템-서비스 결과물의 실제 활용 가능성.
  • 결과물에 대한 윤리적 법적 검토
  • 데이터의 법적 사용 가능성

3. 데이터 수집 및 준비

• 가장 예민한부분
• 개인정보보호법, 저작권법, 부정경쟁방지법 등…
• 데이터 구매, 크롤링 등에 대한 위험성, 대응 방안이 있는지?
• 가명처리시에 가명처리절차 등에 문제가 없는지?
• 데이터의 편향성, 대표성에 문제가 없는지(윤리적 문제)

4. 모델 개발 및 학습

• 편향성 등의 문제 파악. - 윤리적, 법적 기준 제시, 검토 자문
• 윤리적,법적 관점에서, 개발 등 과정에서 충분한 주의의무를 다하고 있는지?
• ⇒ 데이터 유출교육을 했는데, 교육에 대한 자료가 없음

5. 평가 및 검증

• 개발이 되고 실제 서비스 전에 결과물을 평가
• 해당 결과물이 개인정보보호법, 저작권법의 위법 위험이 없는지

6. 배포 및 모니터링

• 특허, 지식재산권. 해외 시장 진출(EU)를 따져봄
• 새로운 법적, 윤리적 문제가 발생하지 않는지 > 사망자의 잊혀질 권리..

7. 추가로

• 새로운 통과 중인 법안에서.
  • ⇒ 생성형 모델로 생성한 결과물은 인공적으로 생성한 내용을 고지할 것
  • ⇒ 워터마크를 어떻게 표시할지? 고민
• (규제 의무는 아님. 그치만 사전 고지나 위험관리 시스템 구축을 하지 않으면 법적제제)

8. 결론

• 개발자는 법률에 관심이없음. AI를 모르는 사람들이 법안을 만들면 개발자들이 피해를 받음
  개발자가 법률에 관심을 가지고 영향력을 높여야한다고 생각함

---

7. 생성형 AI 안전성이란 -AI 레드팀과 블루팀

유상윤,에임인텔리전스 CEO

1. Responsible AI와 규제 이슈

• Responsible AI가 현재 중요한 문제로 떠오르고 있음
• EU법, 캘리포니아 법 등 다양한 지역에서 규제를 준비하거나 보고서를 발간 중
• 사이버 공격 등 블랙리스팅 사례가 있으며, 이러한 법이 없다면 기업이 모든 법적 리스크를 부담하게 됨

2. AI 렌팅과 부작용 사례

• 혐오 발언, 민감정보 유출, 범죄 악용(인젝션 공격 코드 작성 요청 등) 등이 문제로 지적됨
• 다양해지는 취약케이스를 Encoding 방식으로 우회 공격 가능

3. 취약케이스 예시

• Math: 수학문제처럼 위장해 논리적 부분을 통해 보안을 뚫는 방식
• Multi Turn Conversation: 단일 턴에는 방어가 강하지만, 여러 턴 대화에서 취약점이 드러날 수 있음
• Cross Modality: 텍스트·이미지 각각은 안전해도, 결합하면 취약해질 가능성 존재
• Claude for Computer Use: 외부 소스로부터 공격받을 우려
• Robots: LLM이 로봇을 제어해 사람을 공격하도록 유도할 수 있는 취약점

4. 방어(Blue Team) 사례: LLM/AI Guardrails

1. System Guardrails
   • 입력/출력 검사를 통해 위험 콘텐츠를 사전에 차단(Amazon block 등)
   • Nvidia Nemo Guardrails: 프롬프트 기반 방어
   • Azure Content Safety: 미리 설정된 주제를 지원하며, 추가 설정을 위해 일정량의 데이터가 필요
2. Refusal Training / Adversarial Training
   • 거절하는 방법을 학습해 문제가 되는 케이스를 막는 접근

5. AIM Red 사례 - 에임인텔리전트

• 에임인텔리전트 - AI 취약점을 자동으로 진단해주는 회사
• Meta에서는 Red Team으로 생화학 박사를 고용해 Llama 관련 위험성을 시험했으나, 프롬프트 경험 부족 문제가 있었음
• AIM Red가 이러한 부분을 해결해주며, 한국 콘텐츠 관련 상도 받음