| Invalid Date
字数 0阅读时长≈ 1 分钟
Created by
Created
Nov 23, 2024 05:36 AM
  • 공유 문서 링크
    • Google DocsGoogle Docs최종 보고서
      최종 보고서

      최종 보고서

      < 회의록 정리 > 7월 1주차부터 현 주제 관련 논의가 시작됨. YOLO 데이터셋: COCO / model: YOLOv8l main object에 대해 ROI 구분 → ROI의 RGB 값을 통일 중간에 SAM을 이용하려 헀으나, SAM에 경우 사용자의 추가 정보가 필요해서 다시 YOLO로 변경함. YOLO에 경우 배경을 특정 색으로 칠한 이미지 혹은 마스킹 이미지의 output이 가능. Superpixel Superpixel은 고전적인 방식이기에 개선은 불필요함. Superpixel의 진행 내용은 주로 논문 재현 및...

      Google DocsGoogle Docs
 
 
  • 7월 1주차부터 현 주제 관련 논의가 시작됨.
 
  • YOLO
    • 데이터셋: COCO / model: YOLOv8l
    • main object에 대해 ROI 구분 → ROI의 RGB 값을 통일
    • 중간에 SAM을 이용하려 헀으나, SAM에 경우 사용자의 추가 prompt가 필요해서 다시 YOLO로 변경함.
    • YOLO에 경우 배경을 특정 색으로 칠한 이미지 혹은 마스킹 이미지의 output이 가능.
 
  • Superpixel
    • Superpixel은 고전적인 방식이기에 개선은 불필요함.
    • Superpixel의 진행 내용은 주로 논문 재현 및 버그 및 호환성 수정 위주임.
 
  • LLM
    • 원본 이미지와 가공된 이미지(Superpixel 이미지)를 입력으로 넣어 텍스트를 생성.
    • ChatGPT처럼 Temperature를 이용하면 좋을 것. + 프롬프트는 yaml 형식으로.
    • GPT 실험 내용
      GPT API + Prompt 수정 미팅
 
  • Metric
    • Accuracy, Expression Richness, Syntactic Smoothness.
    • 한국의 언어적 특징을 평가할 것이 아니라면 영어에서 사용하는 매트릭을 그대로 사용해도 된다.
 
  • 연구의 필요성
    • 시각 장애인(타겟은 후천적) 분들이 모바일 기기를 이용해 실시간으로 옷의 색상을 파악 가능.
      •  
  • 기타사항
    • Ouput이 사용자에게 전달되는 시간이 미치는 영향은?
    • 연구의 핵심이 특정 집단을 타겟하기 보다는 색상 설명을 어떻게 잘 할지이므로 justification을 나열하는 수준으로도 충분하다.
 
참고문헌
  • Superpixel
    • Wu, Chong, et al. "Fuzzy SLIC: Fuzzy simple linear iterative clustering." IEEE Transactions on Circuits and Systems for Video Technology (2020).
    • T. Lei, X. Jia, Y. Zhang, S. Liu, H. Meng and A. K. Nandi, "Superpixel-Based Fast Fuzzy C-Means Clustering for Color Image Segmentation," in IEEE Transactions on Fuzzy Systems, vol. 27, no. 9, pp. 1753-1766, Sept. 2019.
    • M. D. Elkhouly, S. James and A. Del Bue, "Multi-view Aggregation for Color Naming with Shadow Detection and Removal," 2018 IEEE International Conference on Image Processing, Applications and Systems (IPAS), Sophia Antipolis, France, 2018, pp. 115-120.
  • Dominant Color
    • C. Bao, J. Hu, Y. Mo and D. Xiong, "A Dominant Color Extraction Method Based on Salient Object Detection," 2023 3rd International Symposium on Computer Technology and Information Science (ISCTIS), Chengdu, China, 2023, pp. 93-97.
    • Y. Chang and S. Saito, "A Method for Determining the Subjective Dominant Color of an Image Region by Support Vector Regression," 2023 Nicograph International (NicoInt), Sapporo, Japan, 2023, pp. 1-6.
    • Determining region color by using maximum colorfulness
  • 기타
    • An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
    • CoCa: Contrastive Captioners are Image-Text Foundation Models
    • Attention Is All You Need
    • Comprehensive color solutions: CAM16, CAT16, and CAM16-UCS.
 
 
ㅤ
YOLO
Superpixel
LLM
Metric
7월 1주차
ㅤ
ㅤ
0
ㅤ
DIAG Coffee Time
ㅤ
ㅤ
0
ㅤ
7월 4주차
ㅤ
ㅤ
0
ㅤ
7월 5주차
0
0
ㅤ
ㅤ
8월 1주차
0
0
ㅤ
ㅤ
8월 2주차
0
0
ㅤ
ㅤ
8월 3주차
0 (SAM 논의)
0
ㅤ
ㅤ
연구의 파트-교수님 미팅
ㅤ
ㅤ
ㅤ
0
8월 5주차
0 (SAM 논의)
0
ㅤ
0
9월 1주차
0
0
0
0
9월 2주차
ㅤ
0
ㅤ
0
9월 4주차
ㅤ
0
0
0
10월 1주차
0
0
0
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
 
Loading...
目录