(CLIP)(VLM) CLIP 실사용 - CLIP 모델 불러오기

메타의 CLIP TEST를 위한 코드

단순 로드 및 이미지 INPUT(이미지 1개)

from PIL import Image
import requests
import torch
from transformers import CLIPProcessor, CLIPModel, AutoModel, AutoProcessor
from IPython.display import display
import numpy as np



model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")


## TEST 이미지 불러오기
image =Image.open(r'TEST.JPG')

## Anoaml 한 부분을 컬러로 표시 진행
text_query =["ANomal point is blue color,The lead(black color) has protrusion ", "ANomal point is blue color,The lead(black color) has no protrusion" ]


inputs = processor(text=text_query, images=image, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1)  # we can take the softmax to get the label probabilities

pred_idx = torch.argmax(probs[0]).item()
pred_text = text_query[pred_idx]

print(f'pred : {pred_text}')

 

결과 : 컬러로 이상 부분 표시하는 것이 구별 능력이 좋음

Probs 차이가 정상과 비정상이 크지 않음, 단어 선택에 따라 많이 바뀜.