저번 회의때 나온 내용

• YAML 형식으로 입력해야 함.
• 예시 이미지

• Output format을 지정해야 성능 측정에 좋을 것 같음. 텍스트로 지정이 힘들 경우 figma로 해도 됨. + 예시를 같이 넣어주면 좋음.

• (e.g 1단계: 간단한 이미지 설명 / 2단계: 약간의 비유가 추가된 문장 / 3단계: 수사가 포함된 문장)

1. 1단계, 2단계, 3단계: Gemini에다가 프롬프트 입력 → 출력 확인

2. 다음 차시에 미팅할 때까지 (YAML 구조 읽기 + GEMINI 단계별 프롬프팅 결과 + (된다면) YAML 구조 짜보기)

• Temperature를 위해서는 단계를 조정할 수 있어야 함.

중간 미팅 전 정리(김지현)

3가지의 단계별 GEMINI output

• 1단계: 간단한 이미지 설명
• 이 단계에서는 이미지에 나타난 색상을 사실적으로 묘사. 객관적인 정보를 바탕으로 색상을 명확하게 전달.
📌
이미지 속 시바견들은 크게 흰색, 붉은색, 검은색, 그리고 삼색으로 나눌 수 있습니다. 흰색 시바견은 털이 깨끗하고 밝으며, 붉은색 시바견은 털빛이 짙고 선명합니다. 검은색 시바견은 털이 윤기 있고 촘촘하며, 삼색 시바견은 흰색, 붉은색, 검은색 털이 조화롭게 섞여 있습니다.

• 2단계: 약간의 비유가 추가된 문장
• 이 단계에서는 1단계의 설명에 비유를 더하여 색상을 더욱 생동감 있게 표현. 시각적인 이미지를 떠올리기 쉽도록 다양한 표현을 사용.
📌
순백의 눈송이를 닮은 흰색 시바견, 붉은 저녁노을처럼 따뜻한 털빛을 가진 붉은색 시바견, 밤하늘의 별처럼 반짝이는 검은색 시바견, 그리고 봄날의 꽃밭처럼 화려한 삼색 시바견까지, 각기 다른 매력을 가진 시바견들이 한자리에 모여 눈길을 사로잡습니다.

• 3단계: 수사가 포함된 문장
• 이 단계에서는 색상에 대한 감정이나 느낌을 더하여 강렬한 인상을 심어줌. 과장된 표현을 사용.
📌
마치 예술가의 팔레트 위에 놓인 물감처럼 다채로운 색깔을 자랑하는 시바견들의 모습은 보는 이들의 감탄을 자아냅니다. 순백의 털이 눈부시게 빛나는 흰색 시바견은 마치 겨울왕국의 여왕처럼 우아하며, 붉은 불꽃을 연상케 하는 털빛을 가진 붉은색 시바견은 열정적인 모습을 보여줍니다. 신비로운 밤하늘을 연상시키는 검은색 시바견은 고혹적인 매력을 풍기며, 흰색, 붉은색, 검은색 털이 조화롭게 어우러진 삼색 시바견은 화려하고 독특한 아름다움을 자랑합니다.

YAML format에 맞춰 작성

• Example_Output
• Few-Shot Prompting을 통해 일관성 있는 답변이 출력될 수 있게 함
• AI 모델이 새로운 작업을 수행할 때 소량의 예시를 제공하여 모델이 해당 작업을 더 정확하게 이해하고 수행하도록 돕는 방법

< format을 적용한 전체 code >

적용한 결과

1. (원본) 단순 description
• 단계 1 : 이미지에는 두 마리의 말, 어미 말과 망아지가 있습니다. 어미 말은 짙은 적갈색 털을 가지고 있고, 망아지는 털 색깔이 조금 더 밝은 적갈색입니다. 망아지의 머리에는 흰색 얼룩이 있습니다. 두 말은 밝은 녹색의 풀밭 위에 서 있습니다. 풀밭에는 노란색 꽃들이 흩어져 있습니다.
 

2. (원본) 색상 자세히 description
• 단계 2 : 어미 말은 마치 햇살에 익은 밤톨처럼 짙은 갈색을 띠고 있어요. 털은 부드러운 벨벳처럼 빛나고, 햇살에 반짝이는 모습은 마치 황금빛 물감을 칠해 놓은 듯 아름답죠. 눈은 크고 검은 구슬처럼 반짝이며, 흰 털로 둘러싸인 코는 핑크빛으로 빛나고 있어요. 어미 말 옆의 새끼 말은 갓 태어난 아기 사슴처럼 귀엽고 사랑스러워요. 어미 말과 같은 짙은 갈색을 띠고 있지만, 어미 말보다 더 밝고 선명한 느낌을 주죠. 마치 갓 구워낸 빵처럼 따스하고 부드러운 털은 아기의 풋풋함을 더욱 돋보이게 해요. 새끼 말의 눈은 호기심 가득한 커다란 검은 눈동자로 세상을 바라보고 있어요. 두 말은 싱그러운 초록빛 풀밭에 핀 노란 꽃들 사이에서 아름다운 그림을 만들어 내고 있어요. 마치 한 폭의 그림처럼 아름다운 풍경은 우리에게 평온함과 행복을 선사하죠.
 
• 단계 3 : 답답함 햇살 가득한 초록빛 들판은 마치 에메랄드 빛 바다처럼 펼쳐져 있습니다. 싱그러운 풀잎들은 햇살에 반짝이며 춤을 추는 듯하고, 노란색 꽃들은 마치 별똥별처럼 흩뿌려져 있습니다. 그 사이로 짙은 밤색 털을 가진 어미 말과 새끼 말이 나란히 서 있습니다. 어미 말의 털은 황혼 무렵의 붉은 노을처럼 깊고 그윽한 밤색으로 빛나고 있으며, 그 빛은 마치 뜨거운 열정과 따스한 사랑을 표현하는 듯 합니다. 새끼 말의 털은 어미 말보다 좀 더 밝은 밤색으로 생기 넘치는 젊음을 보여주고 있으며, 마치 갓 태어난 아기처럼 순수하고 깨끗한 느낌을 줍니다. 어미 말의 눈빛은 깊은 신뢰와 따스한 애정으로 가득 차 있으며, 새끼 말의 눈빛은 호기심과 장난기 어린 즐거움으로 가득 차 있습니다. 두 마리의 말은 서로의 곁을 지키며 행복한 순간을 만끽하고 있는 듯 합니다.

3. (원본+superpixel) 단순 description
• 단계 1 : 이미지에는 짙은 녹색, 노란색, 밤색, 흰색, 빨간색의 색상이 사용되었습니다. 짙은 녹색은 풀밭을 표현하는 데 사용되었으며, 노란색은 풀밭에 핀 꽃을 표현하는 데 사용되었습니다. 밤색은 어미 말의 몸통을 표현하는 데 사용되었으며, 흰색은 어미 말의 얼굴과 다리를 표현하는 데 사용되었습니다. 빨간색은 아기 말의 몸통을 표현하는 데 사용되었습니다.
 
• 단계 2 : *1단계: 톤과 채도** 말의 털 색깔은 마치 햇살 가득한 초원을 연상시키는 따스한 톤을 지니고 있어요. 마치 갓 구워낸 빵처럼 붉고 노란빛이 감도는 갈색이죠. 햇살에 반짝이는 말의 털은 마치 캔버스에 칠해진 물감처럼 생동감 넘치는 채도를 자랑합니다. **2단계: 명도와 명암** 말의 털은 햇빛을 받아 반짝이는 부분과 그림자에 숨겨진 부분의 명도 차이가 뚜렷하게 드러나요. 햇빛에 반짝이는 털은 밝고 빛나는 금빛을 띠고, 그림자에 가려진 부분은 어둡고 짙은 갈색을 띠면서 입체감을 더해줍니다. 마치 조각가가 빛과 그림자를 이용하여 말의 형태를 표현한 것 같아요. **3단계: 색상 조화** 말의 털은 따뜻한 톤의 갈색을 기반으로 하지만, 흰색의 털이 섞여 있어 더욱 밝고 산뜻한 느낌을 줍니다. 마치 붉은 저녁 노을에 하얀 구름이 떠 있는 모습처럼 아름다운 조화를 이루죠. 이렇게 톤, 채도, 명도, 명암, 색상 조화를 통해 말의 털은 더욱 풍부하고 생동감 있는 색감을 드러냅니다. 마치 살아있는 듯한 생명력을 느끼게 해주죠.
 
• 단계 3 : 1. 푸른 초원:*
초록빛은 마치 갓 돋아난 새싹처럼 싱그럽고 생동감 넘치는 에너지를 발산합니다. 푸른 잎사귀들이 바람에 살랑거리며 춤추는 모습은 마치 청량한 여름날 시원한 바람을 맞는 듯한 착각을 불러일으키죠. 마음속 깊은 곳까지 시원하게 정화시켜주는 듯한 느낌, 바로 푸른 초원이 주는 선물입니다.
2. 노란 들꽃:
샛노란 들꽃들은 마치 햇살을 머금은 작은 별들처럼 초원을 수놓습니다. 눈부신 황금빛은 희망과 긍정의 에너지를 전달하며, 삶의 활력을 북돋아 주는 듯합니다. 마치 꿈결처럼 아름다운 이 풍경은 보는 이들의 마음을 설레게 하며, 행복한 미소를 머금게 합니다.
3. 갈색 말:
어미 말의 갈색 털은 따스한 햇살을 머금은 듯 부드럽고 온화한 느낌을 자아냅니다. 마치 흙냄새가 묻어나는 듯한 포근함은 안정감과 편안함을 선사하며, 듬직하고 믿음직스러운 어미의 모습을 보여줍니다.
4. 붉은 망아지:
아직 어린 망아지의 붉은 털은 마치 새벽 해처럼 뜨겁고 열정적인 에너지를 뿜어냅니다. 갓 태어난 생명의 풋풋함과 순수함이 느껴지는 붉은 빛은 희망과 미래에 대한 기대감을 불러일으키며, 보는 이들의 마음을 설레게 합니다.
5. 하얀 얼룩:
어미 말의 하얀 얼룩은 마치 눈처럼 순수하고 깨끗한 이미지를 연출합니다. 맑고 투명한 하얀색은 모든 것을 잊게 만드는 평화로운 느낌을 선사하며, 마음속 깊은 곳까지 편안함을 선물합니다.
전체 분위기:
이 이미지는 푸른 초원과 노란 들꽃의 조화 속에서 어미 말과 망아지의 따뜻하고 아름다운 모습을 담고 있습니다. 싱그러운 초록빛과 희망찬 노란빛은 삶의 활력과 긍정적인 에너지를 전달하며, 어미 말의 온화한 갈색 털과 망아지의 열정적인 붉은 털은 따뜻함과 희망을 선사합니다. 마치 평화로운 자연 속에서 행복한 시간을 보내는 듯한 느낌을 선사하며, 보는 이들의 마음을 편안하게 합니다.

(강지헌)

1단계:기본 색상 언급 (Simple Color Mention)

• 주요 색상만을 명시하여 이미지를 단순하게 설명.

• "이미지 속에서 가장 눈에 띄는 색상을 간단히 설명해 주세요.”

2단계: 색상 톤과 위치 설명 (Tone and Position of Colors)

• 색상의 종류뿐만 아니라 색감과 위치에 대한 디테일을 제공하여 묘사의 구체성을 강화.

• "이미지 속 색상 톤과 각 색상의 위치를 구체적으로 설명해 주세요."

3단계: 색상 묘사의 창의적 또는 감성적 표현 (Creative or Emotional Color Description)

• 색상 묘사가 단순한 정보 전달을 넘어 감정을 유발하거나 장면의 생동감을 더하는 방식으로 표현됨.

• "이미지 속 색상의 감성적 느낌과 장면의 분위기를 포함하여 묘사해 주세요."

📌

색상의 감성적 느낌:

• 흰색: 순수함, 깨끗함, 평화로움

• 붉은색: 따뜻함, 정열, 활기

• 검은색: 강인함, 신비로움, 깊이

• 갈색: 안정감, 편안함, 자연스러움

장면의 분위기:

• 친근하고 따뜻한 분위기: 시바견들의 밝은 표정과 부드러운 색상이 어우러져 친근하고 따뜻한 분위기를 자아냅니다.

• 평화로운 일상의 한 장면: 시바견들이 평화롭게 앉아 있는 모습은 일상의 소소한 행복을 느끼게 합니다.

• 자연과의 조화: 시바견들이 자연 속에서 즐거워하는 모습은 자연과의 조화를 느끼게 합니다.

추가적인 감성:

• 귀여움과 사랑스러움: 시바견들의 귀여운 표정과 앙증맞은 모습은 보는 이의 마음을 녹입니다.

• 행복과 즐거움: 시바견들이 즐거워하는 모습은 행복과 즐거움을 전달합니다.

• 평화와 안정: 시바견들이 평화롭게 앉아 있는 모습은 평화와 안정을 느끼게 합니다.

결론:

이 이미지는 시바견의 다양한 색깔과 개성을 통해 친근하고 따뜻한 분위기를 자아내며, 보는 이에게 행복과 즐거움을 전달합니다.

11/11 meeting

Output format

• 전체적인 색상, 간단한 분위기 설명

• YOLO로부터 masking된 object label별로 색상 설명
• 1단계 : 색상 설명
• 2단계 : 비유를 포함한 색상 설명
• 3단계 : 감성적 또는 문학적 표현이 포함된 색상 설명

meeting 내용 반영한 결과

1. 원본-단순 description(1 단계)

3. 원본+superpixel-단순 description(1 단계)

해야할 거

1. BLEU를 KLUE(한국어 특화)로 대체

2. D-1, D-2의 경우 컬러에 중점이 되며, 비유 표현 관련된 metric으로 바꾸기

3. 비교군 추가

1. (원본) 단순 description → baseline(원본) 색상 자세히 description

2. (원본) 색상 자세히 description

3. (원본+superpixel) 단순 description

4. (원본+superpixel) 자세히 description

4. 이미지 종류를 더 늘려서 plot 그리기

11/20 meeting

prompt 수정

Level 1

Level 2

Level 3

Level 4

Final code

Github update