Date
Nov 8, 2024
Type
with Prof.
Contributors
교수님 질문 및 코멘트
- 모듈레이션의 의미가 무엇이냐
- YOLO → Superpixel → LLM 하나의 단계적 과정으로 만드는 것이다.
- 슈퍼픽셀 관련해서 그림자를 지우는 것이 꼭 필요하다고 느꼈냐?
- 주된 색상을 뽑아내자는 목적에 집중하다보니 그림자나 하이라이트를 줄이면 결과가 더 좋지 않을까라는 생각 때문에 시도했었다.
- 메트릭 설정에 있어서 주장하고 싶은 바에 맞는(근거가 되는) 메트릭을 선정하는 방법이 있다.
- LLM도 하나의 인풋에 대해 여러 결과에 대해 saturation되는 지점을 찾는 방법이 있다.
- 이미지 10개와 같이 여러 이미지에 대해 수행해서 reasonable한 point 찾기
- 프롬프트 텍스트로 색상에 대한 정보를 넣는 것과 색상에 대한 텍스트 프롬프트 없이 슈퍼픽셀 이미지만 넣었을 때의 성능을 비교해도 좋을 것 같다.
- 일단 메트릭 먼저 확인하고 이후에 유저 스터디를 진행하는 것이 좋을 것 같다.
- 워크샵 페이퍼 정도는 얼마든지 가능할 것 같다. 풀페이퍼는 힘들 것 같다.
학생 질문
- 슈퍼픽셀 과정에서 가우시안 필터와 같이 디테일을 줄이는 과정이 성능에 악영향을 줄 수 있는지 궁금하다.
- 어플리케이션에 따라 사람의 눈, 표정에 집중해야하는 경우에는 악영향이 있을 수 있다. 그러나 원본 이미지를 같이 넣어주니 디테일을 살리는 것에는 문제가 없을 것 같다.
- BLUE의 레퍼런스가 되는 텍스트를 ChatGPT로 생성했는데 레퍼런스를 어떻게 잡으면 될지 궁금하다. + 한국어에 적합할지 궁금하다.
- 한국어에 특화된 metric : KLUE
- 타겟 어휘가 얼마나 사용되었는지를 메트릭으로 설정하는 것이 좋을 것 같다.
- color에 관련된 어휘
- 하나의 정해진 LLM을 갖고 원본 이미지만 넣었을 때 / 원본 + 슈퍼픽셀 이미지만 넣었을 때를 비교해야 된다. LLM 간의 비교는 큰 의미가 없을 것 같다. 먼저 한 LLM 대해 성능이 좋은지 먼저 확인해봐라.
- 일단은 여러 LLM을 사용하지 말고 하나라도 결과가 잘 나오는게 중요
- 잘 나온다면 추가적으로 여러 LLM 사용