Date

Aug 6, 2024

Type

only Students

Contributors

Notice / Previous Week

Memos

Superpixel

GitHubGitHub - UGRP-TCD/Superpixel

GitHub - UGRP-TCD/Superpixel

Contribute to UGRP-TCD/Superpixel development by creating an account on GitHub.

GitHub

• Progress

원본 코드와 대응되도록 수정 및 refactored (modularized, etc. ..)

• 문제점 / in progress

1. c-means 특성상 확률적인 클러스터링, 마스킹된 색이 representative한가?

→ 그림자 제거 등으로 보완, anomaly 최대한 제거

2. 너무 오래걸림 (>7.4s)

→ 패키지 교체 (scikit-learn 대신 cv2 사용, etc. ..)

→ lab 말고 다른 색공간 사용 등

 

그냥 SAM2 열심히 뜯어보는게 답일지도

 

cluster = 11

Input

 

Matlab

 

Python

• Super pixel
• Matlab과 Python 함수 간 차이가 누적되어 결과 이미지에 차이가 발생
• 그림자를 제거하는 과정을 진행 중이며 이를 통해 개선이 가능할 것으로 생각됨.
• 동작이 오래 걸리는 문제가 존재 → 라이브러리 변경 등으로 개선할 예정

• YOLO
• Instance segmentation 부분 코드 구현 [진행 중]
• Ultralytics YOLOv8 선택
• Image context를 고려한 object selection 성능 확인하려 함

• 시각장애인 통계 조사
• 색상을 인지하지 못하는 경우에 대한 조사를 진행. 약물, 배선의 색상을 인지하지 못하는 경우가 존재.
• 시각에 장애가 있는 분들에 대해 다양한 표기가 있지만 보편적으로 Blind person / Totally blind person을 사용함.

교수님 미팅

• 결정된 주제에 대한 전반적인 진행 사항을 말씀드릴 예정.

• 각 트랙 별로 진행하는 과정에서 생긴 의문에 대해 정리해서 최대한 7일 12:00 이전까지 전달해줄 것.

• 교수님 미팅은 8일(목) 14:00에 대면 진행.
• 강지헌 불참

• 메모 (Aug 7, 2024 12:00 or 늦어도 18:00까지)
• Super-pixel
• output이 도출되어 사용자가 인식하기까지 걸리는 시간이 사용자 경험에 미치는 영향
• 시각장애인이 인식하기에 최적화된 output type (output이 자연어일 때 음성? text? 점자?)
• 시각장애인 분들에게 경험을 제공하는 방식(전맹이신 분들은 기기를 사용하는데 제한이 존재할텐데 어떻게 해결할 수 있을지).
• YOLO
• image의 context를 읽어 main object를 detection 하는 모델을 구성하기 위해서는 기존에 관련된 모델, datasest이 없는 이상 일일이 손으로 main object를 지정해주며 dataset을 구성하는 방법 뿐인가? 만약 수작업으로 image로부터 맥락을 읽고 main object만을 추출해내기 위해서는 어느정도 규모의 dataset을 구성해야 하는가?
• image의 맥락을 파악하여 main object를 추출하는 과정이 연구에서 main으로 초첨을 맞추고 있는 color 추출 과정보다 더 긴 시간이 들어가고 복잡할 거 같은데 image의 맥락을 파악하여 main object를 추출하는 것 보다 category를 하나 정하여 해당 object만 segmentation하고 color 추출 하는 게 더 효율적일지?
• 시각장애인 통계 조사