1.업종 :
 

2.예산 :
 

3.제작 요청사항
 

현재 AI 모델 학습을 위한 데이터를 수집하고 있지만,  

중복된 데이터, 불필요한 샘플, 편향된 데이터가 포함되어 있어 이를 정리하는 과정이 필요합니다.  

수작업으로 데이터를 정리하는 시간이 많이 소요되므로, 자동으로 정제 및 필터링하는 시스템이 필요합니다.  

1. 현재 업무 흐름 및 기존 방식  

   - 여러 출처에서 데이터를 수집한 후 수작업으로 중복 데이터 제거  

   - 특정 기준에 따라 필요한 데이터와 불필요한 데이터를 분류  

   - 데이터셋 내 불균형을 수동으로 확인하여 조정  

   - 정제된 데이터를 다시 AI 학습용 포맷으로 저장  

2. 자동화하고 싶은 업무  

   - 중복 데이터 자동 탐색 및 제거  

   - 데이터 노이즈 필터링 (예: 불완전한 문장, 특정 패턴 포함 데이터 삭제)  

   - 특정 기준을 설정하여 모델 학습에 적합한 데이터만 선별  

   - 데이터셋 내 라벨 분포를 분석하고 불균형 자동 조정  

   - 정제된 데이터를 AI 학습이 가능한 포맷으로 자동 저장  

고객님 안녕하세요

업무자동화 엑셀쿠키전문가입니다. 

요청하신 AI 학습 데이터 자동 정리 및 필터링 시스템 개발 방안을 안내드립니다.  

개발 내용 및 예상 공수  
1. 중복 데이터 탐색 및 제거 (6공수)  
   - 데이터셋 내 중복 항목 자동 탐색 및 제거  
   - 문자열 유사도 비교 알고리즘 적용 (예: Levenshtein Distance, Jaccard Similarity)  

2. 노이즈 필터링 및 필요 데이터 선별 (7공수)  
   - 특정 패턴을 가진 불필요한 데이터 자동 필터링  
   - AI 학습에 적합한 데이터만 선별하는 규칙 설정  

3. 데이터셋 라벨 분포 분석 및 불균형 조정 (8공수)  
   - 카테고리별 데이터 비율 분석 후, 불균형 자동 조정  
   - 데이터 증강 기법 적용 가능 (필요 시)  

4. 정제된 데이터 AI 학습용 포맷 변환 및 저장 (6공수)  
   - JSON, CSV, Parquet 등 다양한 포맷으로 자동 저장  
   - AI 학습을 위한 전처리 기능 포함  

예상 개발 비용  
- 예상 공수: 27공수  
- 공수당 단가: 22만원  
- 총 예상 비용: 594만원  

이 시스템을 도입하면 데이터 정제 작업을 자동화하여 AI 학습의 효율성을 높이고, 데이터 품질을 최적화할 수 있습니다.  
추가 요청 사항이 있으면 언제든지 말씀해주세요.

또 다른 문의사항이 있으시면 언제든지 문의 바랍니다.

감사합니다.


업무 자동화 파트너 쿠키 드림 ^^

Jaybe Excel specialist / Mentor