Date
Sep 8, 2024
Type
only Students
Contributors
LLM Temperature 쪽으로 서칭
Table 아래 형식처럼 만들기
이름 연도 Venue 어떤 Metric 평가방법 해석
LLM model search
이름 | 연도 | Venue(저널) | 평가 방법 | LLM 모델 간단 설명 | 해당 metric을 사용한 논문 | 기타 | 논문 주소 |
UCEpic | 2023 | KDD | Generation Quality (3개) & Diversity (2개) | Insertion-based Generation
(Ex. “꽃”이라는 오브젝트(Aspect Planning)에 “진한 노란색”이라는 색깔 정보(Lexical Constraints) 삽입 → 문장완성) | ㅤ | ||
Llama 2 | 2024 | KDD | User Study(7개 기준)
97명 대상(대학&회사직원) | Llama 2(Meta) - 영화 정보(Text) + 사용자 선호정보(Text) → 해당 영화가 왜 추천되었는지에 대한 설명 Description | 38번 논문의 7가지 Metric 차용 | ㅤ | |
CLIP | 2021 | OpenAI | zero-shot learning 가능성을 테스트(학습과정에서 한번도 보지 못한 데이터셋에 대해 성능 평가) , Cosine Similarity, Top-k Accuracy | 이미지 + 텍스트 설명 → 이미지와 텍스트 간의 연관성 판단(연관성에 대해 %로써 결과가 나옴) | ㅤ | ㅤ | |
Flamingo | 2022 | DeepMind | ㅤ | - input : 문장+이미지+문장+이미지 → output : 문장 | ㅤ | ㅤ |  arXiv.orgFlamingo: a Visual Language Model for Few-Shot Learning Flamingo: a Visual Language Model for Few-Shot Learning Building models that can be rapidly adapted to novel tasks using only a handful of annotated examples is an open challenge for multimodal machine learning research. We introduce Flamingo, a family... arXiv.org |
LLaVA | 2023 | NeurIPS | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ |
LLaVA
→ GPT보다 더 자세한 설명
빨리 나오면, DIctionary랑 원본이미지랑 프롬프트
dic : 파이썬 dictionary 형식 {key-오브젝트 이름, value-오브젝트 색상 이름}
색칠된 이미지랑 원본이미지랑 프롬프트
UGRP 전용으로, API 키를 받아서 프롬프트 키를 받으면 좋음.
방법 1 : 한 명이 하나의 OpenAI 계정을 만들어서 결제후 API 키 공유
Chat GPT plus 결제 시 두가지 선택지
1) 유료계정 하나 공유(계정당 월 20달러)
2) Team plan (1인당 월 30달러) : 1) 방법보다 시간당 질문 가능 횟수 들어남]
- 단순
- OpenAI 계정 개설에 대한 비용 추가 X
방법 2 : Google Workspace를 통해 계정 생성
- 도메인을 할당 받아야해서 도메인 사용에 대한 추가금 결제 필요(제일 저렴한 게 1년에 12달러)
- Google Workspace 자체도 별도의 요금이 부과(1달에 10.8달러) -> Google Workspace 계정이 일반적인 이메일처럼 여겨지는데 굳이 추가금을 내서 생성할 필요가 있을까 의문
→ 방법 1이 나을 것이라 판단되어 OpenAI 계정 새롭게 생성 ([email protected] / dgistugrp2024)
*API 이용 전 미리 결제 수단 등록을 해둬야 함(등록시 5달러 결제, 일주일 정도 뒤 환급 : 이 경우 경비처리 어떻게..?)
- gpt-4o / GPT-4 turbo / GPT-4+ chat completion API를 통해 이미지 입력 가능
- 해당 모델은 이미지에 무엇이 있는지에 대한 일반적인 질문에 가장 잘 응답
- 이미지 속 사물 간의 관계 이해
- 이미지 속 특정 사물의 위치, 세부적인 질문에는 부족
- 입력 이미지 크기와 image_url 블록의 상세 옵션에 따라 결정
- https://yongeekd01.tistory.com/187
Microsoft sementic Kernal
CV Output: 오브젝트이름 & 오브젝트 색상이름
LLM Input: 프롬프트 + 원본이미지 + CV Output
LLM Output: Description