Date
Aug 1, 2024
Type
only Students
Contributors
To-do (Due: 08-03)
YOLO 논문 찾기
YOLO가 Main object를 채택하는 기준은 뭔지 찾아보기
Main object 개수 제한 관련 논문 탐색하기
YOLOv8
9, 10도 있긴 한데, 오피셜도 아닌듯하고 stable한지 모르겠어서 8부터 쓰기로 함YOLOv8은 v5에서 minor한 개선이 이루어진 버전
ultralytics
ultralytics • Updated Nov 23, 2024
데이터셋
이걸로 테스트해봐도 되고, train해도 될듯
Ideation
Memos
Object에 대한 labeling을 명확히 구분되는 colors로 하는 예시
디테일 잡아내는 수준을 조절하고, labeling colors를 해당 basic color terms로
- 하나의 이미지에서 main object는 최대 몇 개까지??? ⇒ 1차 ROI 추출
- pre-trained model에 포함되어있지 않은 class는 main object여도 무시됨 → 추후 논의 혹은 한계
- Main object로 채택할 수 있는 기준은?? ⇒ YOLO가 찾아주는 거 아닐까?
- YOLO 논문 읽으면서 바로 가져갈 수 있는 수준인지 확인해보기
- Main object가 너무 많아지면 필터링을 할까 말까? 한다면 그 기준은??
- main object에서 다시 semantic segmentation ⇒ 최종 ROI 추출
- 1번이랑 동시 진행 가능??
- ROI에 대한 dominant color super-pixelization
- Basic color terms로 regression해서 color name labeling
+) 이 이미지를 LLM에 어떻게 프롬프팅해서 넣어야 효과적인가??
- 효과적이라는 것의 정의는 어떻게 할건지
벤치마크??
최종 목표에 따라 갈릴 듯
- Color name labeling model이 목표라면 다른 유사 모델과 benchmark 비교
- LLM을 통한 색상 표현이 목표라면 user study 등을 통한 benchmark 비교
[시작]
v9 github에 있는 이미지
https://github.com/WongKinYiu/yolov9?tab=readme-ov-file
예시 이미지처럼 이미 semantic segmentation은 잘 수행되고 있음
여기에서 우리가 추가할 것은
- Detail 살리기
- Color-based labeling을 각 region의 dominant color로
- Recolored image를 생성하지 않고 픽셀 그룹에 대해 color name tag만 뽑아내는 알고리즘 만들기
[1차적인 모델]
1. 하나의 이미지에서 main objects를 선정
⇒ 1차적인 interested objects 선정
** 고려사항 **
- Main object의 선정 기준은 무엇인가
- Main object가 과다한 경우, 필터링의 필요성과 그 기준
- Main object가 pre-trained model의 class에 속하지 않은 경우 무시되는 이슈
2. Main objects 내에서만 semantic segmentation 다시 진행
⇒ 디테일을 살려 실제 ROI 선정
** 고려사항 **
- 1번 과정과 동시 진행 가능 여부
3. ROIs에 대한 dominant color super-pixelization
⇒ Color palette를 추출
4. Basic color terms로 regression하여 color name labeling
⇒ Color name label 아웃풋
** 고려사항 **
- Regression된 color name label과 함께 dominant color의 RGB info도 튜플로 뽑아낼지
(색상 다양성과 관련됨)
[벤치마크 항목]
최종 목표에 따라 갈릴 듯한데, 정확한 건 교수님 미팅을 통해 조언을 얻는 것이 좋아보임
- Color name labeling model이 목표라면 다른 유사 모델과 benchmark 비교
- LLM을 통한 색상 표현이 목표라면 user study 등을 통한 benchmark 비교