8월 1주차 위클리A

#데이터 #데이터부족 #커먼크롤

🚨 AI 시대, 데이터가 말라가고 있다

AI 학습데이터 재고와 생성형 AI 데이터 학습량 예측 © EPOCH AI

AI 기술이 급속도로 발전하면서, AI 모델 성능의 역할은 점점 더 중요해지고 있는데요. 이 성능을 좌우하는 큰 요소 중 하나는 바로 데이터예요. 양질의 데이터를 얼마나 많이 학습하느냐에 따라 AI의 능력은 천차만별로 달라지기 때문이죠. 하지만 기하급수적으로 늘어나는 데이터 수요에 비해, 확보는 점점 어려워지면서 저작권 문제와 데이터 비용 상승으로 많은 기업들이 어려움을 겪고 있어요. 이에 따라 AI 산업이 침체기에 접어들 수 있다는 우려도 나오고 있는데요. 특히 한국어 데이터는 심각하게 부족한 상태로, 이를 해결하기 위해 한국형 커먼크롤과 같은 데이터 수집 플랫폼의 필요성이 강조되고 있어요.

🤔 커먼…크롤? 그게 뭔데?

데이터 부족 문제 해결을 위해 주목받고 있는 커먼크롤(Common Crawl)은 전 세계 웹사이트에서 데이터를 수집하고 이를 무료로 공개하는 비영리 단체인데요. 커먼크롤은 주기적으로 웹을 크롤링해서 방대한 양의 데이터를 축적하며, 이를 다양한 형식으로 제공해요. 덕분에 연구자, 개발자, 기업 등 누구든지 AI 모델 훈련에 필요한 대규모 데이터에 쉽게 접근하고 활용할 수 있죠. 또한 웹 아카이브 프로젝트와 협력해서 과거의 웹 데이터를 보존해 줘요. 그중 한국형 커먼크롤은 한국어 웹사이트에서 데이터를 크롤링하고, 이를 통해 AI 모델을 훈련하거나 연구에 활용할 수 있도록 해요.

🌐 글로벌 시대, K-커먼크롤이 중요한 이유!

언어적 특수성 💬

한국어는 영어와는 문법 구조도 다르고 표현 방식도 달라서, 글로벌 데이터로는 한국어 특유의 문법과 표현을 제대로 반영하기 어려워요. 한국어에 특화된 데이터를 수집하면, 한국어 자연어 처리나 음성 인식 같은 AI 기술의 정확도가 훨씬 높아질 수 있어요.

문화적 특수성 👘

한국의 문화적 배경과 사회적 맥락을 반영한 데이터가 필요해요. 한국에서는 특정한 유행어나 신조어가 자주 사용되는데, 이런 표현을 잘 이해하려면 한국형 데이터가 필요하죠.

산업적 필요성 📽️

한국 시장을 겨냥한 서비스나 제품을 개발할 때는 한국형 데이터가 필수예요. 한국 소비자들의 소비 패턴, 선호도, 검색 트렌드 등을 반영한 데이터를 활용하면, 맞춤형 서비스를 제공할 수 있기 때문이죠.

🧑🏻‍💻몰랐죠, 일상에서 커먼크롤을 쓰고 있던 줄은…

모두의 말뭉치 © 국립국어원

1. 국립국어원 말뭉치 데이터

국립국어원은 한국어 언어 자료를 체계적으로 수집하고 정리하여 공개하고 있어요. 이 데이터는 한국어 문장 분석, 텍스트 분류, 번역 모델 등 한국어 자연어 처리(NLP) 연구에 널리 사용되고 있어요.

2. 네이버 AI 데이터

네이버는 자사의 검색 엔진과 서비스에서 수집한 데이터를 AI 연구에 활용하고 있어요. 네이버의 AI 연구소인 '클로바'는 한국어 데이터를 바탕으로 음성 인식, 번역, 검색 기능을 고도화하여 더 나은 서비스를 제공해요.

3. 카카오 AI 데이터

카카오는 자사의 플랫폼에서 수집한 데이터를 바탕으로 AI 기술을 개발해요. 카카오톡 대화 데이터, 멜론의 음악 데이터, 카카오맵의 위치 정보 등을 활용하여 챗봇, 추천 시스템, 자율주행 등 다양한 AI 기술을 연구하죠.

👀 필요한 건 ‘적합한 데이터’를 알아보는 눈 

AI 기술의 발전은 데이터에 크게 의존해요. 데이터는 AI 모델의 학습 재료로서, 모델의 성능과 정확도를 결정짓는 핵심 요소이기 때문이죠. 데이터가 많고 질이 높을수록 AI는 더 정교하고 유용한 결과를 만들어낼 수 있어요. 한편, 데이터가 부족하거나 품질이 낮으면, AI 모델은 오차가 많아지고 신뢰성이 떨어지게 돼요. 따라서 사용하려는 분야에 맞는 ‘적합한’ 데이터가 중요해요.

일상생활에서도 다양한 상황에 맞는 고품질 데이터를 통해 효율성을 증대시킬 수 있어요. 특히 직무별/산업별 특화된 데이터는 AI 모델의 정확성을 크게 높이고, 최적화된 맞춤형 솔루션을 제공해요. 또한 모델의 학습 시간을 단축하여 성능을 빠르게 향상하고, 이는 곧 개인과 기업의 경쟁력 확보로까지 이어질 수 있죠. 

에이블런은 비전공자, 비전문가도 쉽게 적합한 데이터를 알아 보고 효과적으로 활용할 수 있도록 맞춤형 교육을 제공해요. 직무별 특화 데이터, 지역별 특화 산업 기반 데이터 활용, 산업별 맞춤 데이터 활용 등 다양한 필요와 상황에 맞는 솔루션을 제안하죠.

이를 통해 데이터 활용 방법뿐만 아니라 이를 알아보는 리터러시까지 갖출 수 있어요. 또한 업무 효율을 극대화하는 AI 도구, 코파일럿 활용 소개서도 제공하고 있으니 🔗이 링크를 통해 확인해 보세요! 

1. 속타는 AI… 데이터 배우기 안된대요, 2년 뒤엔 그마저 없대요

생성형 인공지능(AI) 개발에 필요한 데이터 확보가 어려워지고 있다고 해요. 지금까지 AI 개발사들은 크롤링을 통해 온라인에서 데이터를 수집해 AI 모델을 학습시켰지만, 최근 언론사 등 콘텐츠 기업들이 웹사이트에 대한 크롤링 접근을 금지하고 있어요. 이로 인해 AI 기업들이 사용할 수 있는 데이터의 양과 질이 점점 악화되고 있는 것이죠. 미국 AI 연구 기관 '에포크 연구소'는 2026년에서 2032년 사이에 새로운 AI 학습용 데이터를 구하기 어려워질 수 있다고 전망하고 있어요.

본문 바로보기 : 속타는 AI… 데이터 배우기 안된대요, 2년 뒤엔 그마저 없대요

2. 토종 AI인데, 미국 데이터로 배워요

국내 생성형 AI 산업은 글로벌 기업들과 비교할 때 성장 속도가 더딘 모습인데요. 국내 AI 기업들이 미국 데이터에 의존하는 상황이라고 해요. 대표적으로 카카오의 AI 연구조직, 브레인은 한국 데이터가 아니라 미국 데이터를 기반으로 AI를 학습시키고 있죠. 국내 데이터는 양이 부족하고, 법적 분쟁 우려 때문에 사용이 어렵기 때문인데요. 이에 정부는 AI 학습용 데이터 구축을 위해 예산을 투입하고, AI 경쟁력을 강화하는 방안을 마련 중이에요.

본문 바로보기 :  "토종AI 인데 미국 데이터로 배워"

3. 에이블런, ChatGPT 업무 활용 백서 교육과정 출시 

에이블런은 ChatGPT를 적용하기 위한 다양한 방법을 제시하는 ChatGPT 업무 활용 백서 교육과정 출시에 따라 프로모션을 진행하고 있어요. 이번 교육은 AI 리터러시, 업무 분석, 엑셀 및 구글 시트 활용 등 누구나 쉽게 이해하고 적용할 수 있는 내용들로 구성되어 있어요. 프로모션 기간 동안 기업 교육 담당자들에게 무료 교육 수강권도 제공된다고 해요. 에이블런은 이처럼 기업교육에 맞는 교육 방법론을 선제적으로 제시함으로써 비전공자를 위한 노코드 AI 교육 분야에서 앞장서고 있어요.

본문 바로보기 : 에이블런, ChatGPT 업무 활용 백서 교육과정 출시 프로모션 진행

[부경대학교/디지털역량강화]

AIDT의 비법, 디지털역량강화 교원연수에서 배워가요!

오늘은 에이블런과 부경대학교가 함께한 디지털 역량 강화를 위한 교원 연수를 소개해 드릴게요. 지역발전을 주도하고 있는 부경대학교에서 디지털 역량 강화를 위해 GPT4부터 딥러닝까지 배우기 위해 실시된 교육이었는데요. 이번 부경대학교 교원 연수에서는 교육과정을 효율적으로 설계하기 위해, GPT4를 이용하여 학교에 필요한 페르소나를 도출하는 방법까지 배울 수 있었어요. 수강생분들은 이번 딥러닝 교원 연수를 통해 자료를 쉽게 이해하고 파악하는 방법을 터득하고, 실무에 바로 사용할 수 있게 되어 만족했다고 해요!

앞으로의 WeeklyA도 많은 사랑과 관심 부탁드립니다