미팅 준비자료

주 Target을 시각장애인으로 가야할 지, 아니면 창작자 쪽으로 가야할 지?

Description을 평가할 Metric은 어떤 것이 될 수 있을지?

1. Accuracy (오브젝트를 다르게 명명하지 않고, 제대로 명명하는가?)

2. Expression Richness (얼마나 풍부한가?)
1. 형용사의 개수
2. 수사를 도와주는 어휘의 개수
• 이미 있는 기술(다른 논문)에서도 따와서 비교
• Ex. ‘이 기술의 Richness는 3.5였는데, 우리는 5.4더라’
• BaseLine을 설정하고, 그것을 바탕으로 비교하는 작업 필요
• Lexical Diversity (어휘 다양성): 텍스트에서 사용되는 고유 단어의 비율을 측정함. 대표적인 지표로 Type-Token Ratio (TTR), Moving-Average TTR (MATTR), Measure of Textual Lexical Diversity (MTLD) 등이 있음.
1. Type-Token Ratio (TTR)
텍스트에서 고유한 단어(Types)의 수를 전체 단어(Tokens) 수로 나눈 값. 높은 TTR은 더 다양한 어휘 사용을 나타냄을 의미함. 그러나 TTR은 텍스트의 길이에 민감하며, 짧은 텍스트에서는 비율이 높아지는 경향 있음.
2. Moving-Average Type-Token Ratio (MATTR)
TTR의 단점을 보완하기 위해 고안된 방법으로, 텍스트의 길이에 따른 영향을 줄이기 위해 일정한 길이의 슬라이딩 윈도우를 사용하여 TTR을 계산. 이 방법은 텍스트의 길이에 관계없이 Lexical Diversity를 보다 안정적으로 측정할 수 있음.
2. Measure of Textual Lexical Diversity (MTLD)
텍스트의 길이에 독립적으로 Lexical Diversity를 평가하는 방법. 일정한 TTR 임계값에 도달할 때까지의 단어 수를 측정하여, 다양한 길이의 텍스트에서도 일관된 Lexical Diversity를 평가할 수 있음. (긴 텍스트에서도 Lexical Diversity 평가가능.)

3. Syntactic Smoothness (문장이 얼마나 자연스럽고 말이 되는가?)
• Compute할 수 있는 방법이 없을 것임. 그래서 User Test를 해보면서 문장이 자연스러운지 수치화하는 것을 추천
• 추가 searching한 부분
• BLEU(Bilingual Evaluation Understudy)
• 많은 자연어 처리 모델이 생성 평가를 할 때 사용하는 방법으로 ‘목표로 하는 문장과 모델이 생성한 문장이 일치하는 정도’를  수치화 한 지표로 파이썬에서 NLTK 패키지를 사용하여 BLEU를 쉽게 계산 가능
14-03 BLEU Score(Bilingual Evaluation Understudy Score)
앞서 언어 모델(Language Model)의 성능 측정을 위한 평가 방법으로 펄플렉서티(perplexity, PPL)를 소개한 바 있습니다. 기계 번역기에도 PPL을 평가에 사…

https://wikidocs.net/31695

• Perplexity (PPL): 언어 모델이 텍스트 시퀀스를 얼마나 잘 예측하는지를 측정하는 지표로, 언어 모델의 유창성을 나타냄. 낮은 perplexity는 텍스트가 모델이 훈련된 데이터와 구문적으로 유사하다는 것을 의미하며, 이는 Syntactic Smoothness와 직결될 수 있음.

Comment

• Justification 수준으로 여러 분야로 쓰일 수 있다는 Case들을 정리(시각장애인, 창작 ← 조금 더 구체적으로!?)

• Color Expression Richness에 대한 Metric을 찾을 수 있도록 유사한 기술들을 서칭해야 함.