빨간아저씨::RED UNCLE

2011년 7월 정말 궁금하다는 의도로 국내 포털 3개 서비스의 블로그 검색 서비스에 대한 블라인드 테스트를 해 보았습니다. 
당시 이것저것 고민 없이 빨리 테스트해 보고 싶은 마음에 구글, 야후, 빙을 대상으로 블라인드 테스트 할 수 있는 해외 서비스를 모방해서 후다닥 만들었었죠. (과거 버전에 대한 자세한 내용은 링크를 클릭하세요 => SearchBlindTest

한 동안 관심을 가지고 있지 않다고 지난 달 부터 관리를 해 보니 하루에 1천명 가까운 사람이 방문을 하더라구요.
다만 검색 결과를 테스트 하는 용도가 3개사 블로그 검색 결과를 한 화면에 보여주는 기능 때문에 방문을 하는 것 같다는 생각이 들었습니다. 왜냐하면 어떤 서비스가 더 좋다는 투표를 한 사람이 누적 1천명 정도 수준 밖에 안됐거든요. 검색어 입력 건수는 무려 1백만건 정도 되었는데요.
약 1%만이 투표를 하고 있다는 것이고, 이를 잘 추적해 보니 해당 서비스를 들어오는 경로가 대부분 구글의 검색 결과를 통해 들어오는 경우였습니다. 그러니 테스트에 대한 배경이 전혀 없다보니 결과만 보고 바로 이탈하게 되는 것이죠. 

그래서 좀 더 정확하고, 객관적인 형태로 테스트를 하면 좋겠다는 생각하에 로직 설계와 개발을 진행하였습니다.

바로 '네이트다음네이버' 입니다. 전에 다른 목적으로 구매했던 도메인을 이번에 사용하였습니다.  

이번에 고려한 몇 가지 사항은 다음과 같습니다.

1. 블로그 검색만 대상으로 한다. 
이미 이전에도 설명드렸던 것 처럼 Naver 는 통합 검색 결과에 대한 API는 제공 안 한다. Nate 는 API 가 없다. 적절한 놈을 찾다 보니 블로그 검색만 비교가 가능하고, 사용자 입장에서도 검색 결과가 사이트가 아니라 컨텐츠일 경우에는 블로그 검색이 더 효율적이라는 판단이 들었기 때문입니다.  

2. 검색의 정확도는 검색 결과 페이지(Landing Page) 의 정확도에 있으나 사용자는 LP 에 접근하기 위해서 검색 결과 리스트의 제목과 요약으로만 정보를 사전 습득한다. 
말이 좀 어렵나요?
검색 결과가 좋다는 것은 "내가 원하는 정보를 정확하게 찾아주었느냐?" 에 대한 수준일 것입니다. 하지만 검색하는 사람이 LP를 모두 보고 판단하기 전까지는 이 결과에 대해 답을 할 수 없을 것 입니다. 검색 회사가 해 주는 것도 가장 좋을 것 같은 LP 의 리스트만 순서대로 보여주는 일이며, 이 리스트에서 어떤 것을 클릭할 것인지는 검색하는 사람의 몫일 것입니다. 그렇기 때문에 사용자들은 검색 결과 페이지에서 제목과 요약만을 가지고 판단하고 클릭을 하게 됩니다. 그 후에 판단은 사용자가 하는 것이죠. 

3. 이번 테스트에서는 타이틀과 요약을 중심으로 진행해 보았습니다. 
테스트 하는 화면을 보시면 아시겠지만 이전과 같이 서비스별로 구분하지 않았습니다. 네이버가 좋다, 다음이 좋다 식으로 판단하기 위해서는 각 서비스가 나타내고 있는 모든 결과의 Quality를 하나로 판단하여 결정하는 것이 좋습니다. 다시 말해 이전 방식이 더 좋다는 것이죠. 검색 서비스를 비교 하는 것이라면 아마도 그렇게 했을 것입니다. 그러나 이번에는 검색 서비스가 아닌 검색 결과를 비교하고자 했기에 서비스를 구분하지 않았습니다. 

자 그렇다면 어떻게 바뀌었을까요? 그리고 어떻게 계산이 되는 것일까요? 

1. 검색 방법은 동일하게. 
테스트를 위한 방법은 동일합니다. 그냥 검색창에 검색을 입력하고 엔트를 치면 됩니다. 

2. 계산은 투표가 아니라 클릭으로 계산되는 포인트로. 
이전에는 3개 서비스의 블로그 검색 결과를 서비스명을 가린채 서비스별로 나열하였습니다. 
그리고 대충 또는 자세히 보고 난 후 자신이 원하는 검색 결과 그룹에 투표를 하면 서비스명을 보여주고 하나의 투표로 인정을 하였죠. 
(이렇게 했더니만 1,000명만 투표한 것이죠 ㅋㅋ)
이번에는 각 서비스별로 10개의 검색 결과를 가지고 옵니다. 그렇기 때문에 총 30개의 검색 결과 리스트를 보여주죠. (검색어에 따라 작을 수 있음)
네이버, 다음, 네이트의 블로그 검색을 랜덤하게 보여줍니다. 다만 이 때 각 서비스에서 제공하는 Ranking 이 중요하기에 노출하는 순서는 다음과 같이 이뤄집니다.

네이버 - 다음 - 네이트 순으로 배열할 때, 
네이버 첫번 째 결과 
다음 첫번 째 결과 
네이트 첫번 째 결과 
네이버 두번 째 결과 
다음 두번 째 결과 
네이트 두번 째 결과  
...

그리고 계산은 각 링크를 클릭하는 순간 포인트로 계산이 됩니다. 

3. 포인트 계산은 어떻게 하는가? 
일반적으로 각 서비스별로 10개의 검색결과를 제공하기 때문에 총 30개의 검색 결과를 중복을 고려하지 않고 노출합니다. 
그렇기 때문에 이럴 경우 하나의 검색 결과에 대해 1/30 포인트의 가치를 가지게 되고, 링크를 클릭할 때 마다 해당 검색 결과를 제공하는 서비스에게 1/30 포인트를 더하게 됩니다. 

4. 그렇다면 검색 결과가 적은 페이지의 경우는 어떻게 되는것인가? 
만일 하나의 서비스에서 10개씩이 아니라 5개의 검색 결과만 제공하였다면 총 25개의 검색 결과 리스트를 보여줍니다. 
이 때는 각 링크마다 1/25 포인트의 가치를 가지게 됩니다. 그만큼 적은 결과에서 사용자들의 클릭을 받은 결과이기에 더 높은 점수를 주어도 된다고 생각하였습니다. 

5. 왜 검색 결과에서 중복은 고려하지 않는가? 
이 질문에 답을 내기 전에 가장 고민을 많이 한 부분이라고 말하고 싶습니다. 
처음에는 "3개의 검색 서비스에서 모두 보여주는 결과가 있다면 그 결과가 가장 좋은 검색 결과가 아닐까?" 라고 생각했습니다. 지금도 마찬가지입니다. 하지만 기술적으로 해결이 안되는 부분이더군요. 
동일한 페이지를 분석하기 위해서는 URL 이 같은 것 검색 결과를 찾으면 됩니다. 그러나 Naver 의 API는 LP의 실질적인 URL 을 제공하지 않습니다. 그래서 타이틀로 비교해 보기로 했습니다. 하지만 타이틀이 같다고 하더라도 실제 LP는 다른 페이지일 수 있기 때문에 이 또한 적용이 불가능하였습니다. 마지막으로 요약 컨텐츠를 비교해 보기로 했습니다. 제공하는 요약 컨텐츠의 size 가 모두 달라 비교가 안되더군요. 그래서 중복을 고려하지 않았다는 변명을 합니다. 

6. 그렇다면 같은 검색 결과가 최대 3번 나오게 되면 문제가 되지 않는가? 
그럴 수 있습니다. 예를 들어 네이버 첫번재 결과, 다음 5번째 결과, 네이트 10번째 결과가 동일한 LP일 경우 대부분의 유저는 네이버의 결과를 클릭하고 다음 결과들은 클릭하지 않을 것입니다. (클릭할 수도 있겠지만). 이렇게 되면 네이버는 1/30 포인트를 얻지만 다른 서비스는 점수를 전혀 얻지 못하는 결과를 나옵니다. 그런데 잘 생각해 보면 이는 매우 중요한 의미를 가지고 있다고 보는데, 일반 서비스에서도 이미 봤던 검색 결과라고 한 다면 다시 클릭할 확률이 낮아집니다. 검색 광고 시장의 점유율에서도 제일 먼저 클릭한 놈이 모두 가져가는 구조로 계산하는 것과 동일하다고 생각하시면 될 것 같습니다. 

7. 문제가 될 수 있는 것이 있습니다. 그래서 먼저 이야기 드립니다. 
위의 경우와는 좀 다르게 
네이버 1번째, 다음 1번째, 네이트 1번째 결과가 모두 동일한 LP를 표시하는 경우가 있습니다. 앞서서도 말씀드렸던 것 처럼 네이버, 다음, 네이트 서비스의 결과가 랜덤 정렬로 나오기 때문에 해당 상황이 되면 랜덤에 따라 가장 위에 나오는 검색 결과 링크의 포인트만 증가할 확률이 높습니다. 이 부분은 아직 고민입니다. 다만 랜덤이기 때문에 해당 상황이 많아질 경우는 한쪽으로 몰리는 경우가 줄어들 것이라고 생각만 하고 있습니다. 

자 이제 더 이상 이야기 할 것도 없네요. 손가락도 아프고...
그냥 한 번 써보세요. 

이전처럼 3개 서비스 블로그 통합 검색 서비스로 사용하시고 싶으신 분들도 그렇게 사용하세요. 
계산은 알아서 되니깐요.