타베로그는 쓰레기 사이트일까?

일본의 음식점 리뷰 사이트로 타베로그라는 사이트가 있고 제가 2018년에 타베로그에 관한 글을 쓴 적이 있습니다.

https://koinegau.tistory.com/99

'타베로그 맛집'을 고르는 기준

지금 다시 글을 읽어보면 여전히 그렇게 생각하는 부분도 있고 조금 생각이 바뀌거나 부끄러운 부분도 있는데요

 

https://news.yahoo.co.jp/articles/d937ccf3c8af9c40bc2688de684c77a26f5c6b86

「食べログ被害者の会」が発足。飲食店代表が訴える“不当な点数操作”の実態（bizSPA！フレ

 

최근에 이 기사를 읽고 다시 한번 그동안의 생각을 정리해보게 되었습니다.

우선 기사의 내용을 요약하자면 '한 음식점 체인에서 타베로그가 일부 체인점을 상대로 불공정하게 평가점수를 내렸다고 주장하며 피해자의 회를 설립하고 송사 등을 진행중이다'라는 내용인데

타베로그의 점수는 기본적으로 블랙박스(유저들이 매긴 점수를 기반으로 점수를 산출하긴 하나 단순평균이 아니고 이를 바탕으로 알고리즘을 통해 점수를 산정하는데 알고리즘을 비공개) 형식이기 때문에 점수의 공정성과 관련된 문제는 항상 제기되어 왔고 이게 타베로그 무용론의 핵심이기도 합니다.

대표적으로 2019년에도 업주 측이 타베로그의 유료 회원이 되지 않았더니 점수가 강등 혹은 할인되었다는 주장이 나왔는데 이때도 반향이 꽤 컸기 때문에 일본의 공정거래위원회에서 보고서를 냈고 이 보고서에서 특정 플랫폼이 특정 레스토랑의 점수를 자의적으로 조작하는 것은 독점금지법에 저촉될 가능성이 있다고 한 것이 위 기사의 음식점 체인 측이 행동을 일으키는 근거가 되기도 하였습니다.

2019년 사례는 음식점 업주들이 본인의 음식점이 유료회원이 되지 않아 부당하게 점수가 낮춰졌다고 주장한 개별 케이스 사례 이외에 통계적인 검증으로 이어지기도 하였는데 그 요지는 본래 3.8 이상의 가게라도 유료회원에 가입하지 않으면 점수가 3.6 부근으로 내려간다는 것이었습니다.

이때 가장 처음 나온 분석은 우선 타베로그의 전체 점수 분포에 관한 분석이었습니다.

https://clean-copy-of-onenote.hatenablog.com/entry/tabelog38_problem

食べログ3.8問題を検証 - クイックノート

확실히, 타베로그 점수 분포를 보면 3.6 부근에서 뚝 떨어지고 3.8 부근에서 다시 급격히 감소합니다.

제가 예전에 주장했던 점수 분포에 3.5점대가 비정상적으로 많다는 주장이랑도 비슷한 부분이 있는데요,

하지만 이 분포 만으로는 유료회원과 이외의 점포 사이에 차별이 있다고는 할 수 없습니다.

타베로그는 유저들의 점수를 단순평균하여 가게의 점수가 결정되는 시스템이 아니므로 유저가 매긴 점수가 종 모양 분포를 따른다고 하더라도 타베로그 시스템의 알고리즘과 필터링으로 인해 유료회원점이든 무료회원/비회원점이든 이러한 비대칭적인 분포가 나올 수 있기 때문입니다.

https://konkon3249.hatenablog.com/entry/2019/10/10/020458

データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary

이 분석의 경우 엄밀한 증명은 아니지만 실제로 유료회원점과 유료회원점이 아닌 점포 양쪽 다 정규 분포를 따르지 않고 3.6의 벽/3.8의 벽이 존재한다는 것을 시각적으로 보여줍니다.

그리고 구간별 비율이나 전체 분포 등을 검정하여 두 분포가 동질적인지를 살펴볼 수는 있겠으나 이것으로도 완벽히 타베로그가 알고리즘 상으로 점수 조작을 하고 있다고 증명할 순 없습니다.

(일단 리뷰 자체를 컨설팅한 경우는 논외로 하고) 만약 상대적으로 유료회원점이 타베로그 점수에 신경을 쓰는 유명점들이 많고 비회원점은 동네 장사로 전재만 되어있는 수준의 가게가 많아 애초부터 평가의 질이 차이가 난다면, 분포가 다르다고 해서 유저의 평가와 타베로그가 산출한 점수가 서수적으로 역전되었다고 증명하기는 어려운 일이기 때문입니다.

https://konkon3249.hatenablog.com/entry/2019/10/16/042717

『食べログ独自の評価基準』の機械学習による再現を試みる - konkon3249’s diary

가장 확실한 방법은 모든 리뷰와 그 리뷰를 작성한 유저 정보를 취득한 후 딥러닝 혹은 기계학습 등을 통해 이 블랙박스 알고리즘을 재현하여 여기에 '유료회원 여부'라는 벡터를 추가했을 때와 추가하지 않았을 때를 비교하여, 만약 유료회원 여부를 추가하였을 때 타베로그가 산출한 점수의 재현도가 높아진다면 이것이 점수 산출에 영향을 미친다고 추측할 수 있겠으나..일단 위의 분석을 한 유저는 기계학습으로 알고리즘을 재현했을 경우 단순평균에 비해 타베로그의 산출 점수에 더 가까이 가긴 했으나 3.6/3.8의 벽은 재현하지 못하였고 유료회원 여부도 점수 산출에 영향을 미친다는 증거는 없다는 결론을 내렸습니다.

https://news.yahoo.co.jp/byline/inoueakito/20191012-00146614

食べログの得点計算についてのポジティブな可能性を考えるー操作されたデータを検証する難

이 외의 다양한 분석들에 관해서는 위 기사가 그나마 정리가 잘 되어있는 편입니다. (이 기사를 작성한 사람도 저와 비슷하게 체감적으로 3.5 부근에 가게들이 몰려있는 것을 느끼고 있었네요.)

 

마찬가지로 예를 들어 고급점인지 아닌지, 체인점인지 아닌지, 노포(老舗)인지 아닌지, 장르에 따라 등등 타베로그 점수에 영향을 준다고 일컬어지는 팩터들이 물론 영향을 줄 수 있지만 이것들 역시 유저들이 내린 평가 자체가 차이가 나는 것과 타베로그가 이 평가들을 취합해서 종합 점수를 산출하는 과정에서 특정 영역에 짜게 차별적인 점수를 준다는 것에는 미묘한 차이가 있고, 후자라고 명확히 단정 짓기는 쉽지 않습니다.

아무튼 어느 쪽이든 다시 제 취향에 맞게 뇌내 변환을 거쳐야 하니 최종적인 점수만 갖고 제 인상을 쓰자면

 

고급점, 고급장르:확실히 점수가 잘 붙습니다. 지금은 그나마 이게 조금 조정된 느낌이긴 합니다만 그래도 예를 들어 디저트, 서민적인 면류, 돈카츠 등의 장르는 확실히 4점대의 엄청난 벽이 있고 4점대를 넘으면 정말 굉장한 전국구 맛집입니다. (야키니쿠나 야키토리는 그나마 다른 고급 장르에 비하면 벽이 상대적으로는 높지 않으면서 4점대가 많긴 합니다.)

물론 고급점들도 4점대를 넘으면 대단한 것은 맞습니다만 고급점은 4점 이상이 워낙 많아서 관광객 입장에서는 다 가보기는 쉽지 않고 한번 더 필터링이 필요하게 됩니다. 

노포:정확히는 위와 결부되기 때문에 점수가 잘 붙는거라 생각합니다. 이 주장을 하는 사람들이 이렇게 체감하게 되는 이유도 알긴 하는데요...근데 일본에 널린 게 노포고 소위 관광지 노포들의 타베로그 점수를 보면 3.4 3.5 이런 곳들도 굉장히 많습니다. 노포라서 리스펙트 받는 가게도 있고 반대로 요즘 트렌드에 떨어졌다고 판단받는 가게도 있고 결국 점바점이라고 생각합니다.

체인점:이것도 솔직히 없지는 않다고 느낍니다. 일부 너프를 먹는다고 느껴지는 체인점이 있고 아닌 체인점이 있어요. 다만 이것도 타베로그 시스템 자체가 리뷰의 단순평균이 같다고 해도 최근 리뷰가 많고(최근 리뷰가 너무 뜸하면 대놓고 너프 먹음) 리뷰층에 소위 푸디들이 좋게 평가한 리뷰가 많을수록 점수가 올라가는 구조이기 때문에 차이가 나는 현상 자체는 있을 수도 있긴 합니다. 맨 처음의 기사가 야키니쿠쪽도 하는 체인이었으니 야키니쿠로 예를 들자면 계열점이 여럿인데도 4점 이상인 고급점의 경우는 이런 푸디층의 지지 때문이라고 볼 수도 있어서 저는 납득이 가는데, 확실히 체인점 3.2나 체인점 3.5나 비슷비슷해 보이는데 한쪽은 3.5까지 올려놨네?싶은 케이스가 없진 않아요. 그래서 체인점은 타베로그만 보고 가기에는 애매한 면이 있어요

 

그럼 제목대로 과연 타베로그는 쓰레기 사이트인가?

거기에 대한 제 답은 요즘 타베로그 까는 사람이 은근 많아져서 반골의 반골로 아직은 효용가치가 있다..입니다.

 

물론, 일반적인 층은 그냥 타베로그 3.5구나~정도의 인식일 것이고 이 구간에선 지뢰 밟았다고 맨날 올라오는 게 타베로그긴 하지만 그래도 제 나름대로 타베로그가 망하지 않는 이유를 생각해 봤습니다.

 

1.타베로그 유기한 푸디들이 많다고 하는데, 인스타나 다른 평가 사이트로 넘어간 푸디 중에서도 유명한 푸디들은 대체로 타베로그도 같이 합니다. 그리고 이러한 푸디 중 자신과 취향이 맞는 사람을 찾아 그 사람의 평가를 따라가는 데에는 충분할 정도이고요.

 

2.타베로그의 대안으로 다양한 점수 체계의 사이트들이 제시되었는데, 타베로그처럼 유저에 가중치를 두지 않는 구글맵식 점수라든지, 평가를 단순화하여 좋았는지 아닌지 여부만, 혹은 몇 단계 정도로만 평가를 하게 만든 예약/평가 사이트들이 있습니다. 하지만 이것들은 타베로그와 보완적인 관계이지 이 시스템이 절대적으로 우월하다고 할 순 없습니다.

예를 들어 구글 맵의 경우 특정 매니아들에게 강한 지지를 받아서 그 매니아들 위주로 방문하는 가게나 그 정반대로 대중적인 입맛과 가성비, 서비스를 완벽히 잡는 경우 평가가 극단적으로 높은 경우가 있는데 본인이 이러한 테이스트에 맞는다면 문제가 없겠으나, 그렇지 않은 경우 어차피 타베로그로 상세한 리뷰를 읽어보고 보완을 해야 합니다.

또한 구글 맵과 타베로그는 외국인 비율에도 차이가 있으니 양쪽 다 어느 정도 감안해야 할 부분이 있고요.

 

3.타베로그는 이미 내부의 생태계를 만들었습니다.

예를 들어 구글과는 달리 타베로그는 절대로 라멘이 고급 프렌치를 이길 수 없고, 이는 장점이자 단점이지만, 이를 보완하기 위해 백명점(百名店)이라고 각 장르별/지역별로 100곳을 선정합니다.

그리고 각 장르에 특화된 매니아들은 이러한 백명점을 활용해서 전부 제패했다, 혹은 몇 개 남기고 제패했다는 것을 자신의 스테이터스로 삼기도 하는 등 이러한 구간에서는 어느 정도 공신력이 없다곤 할 수 없습니다.

마찬가지로 상대적으로 고급점이나 올라운더의 경우 타베로그 골드/실버/브론즈가 이미 하나의 스테이터스처럼 확립되어 버렸고 가게 측과도 짝짜궁이 맞기 때문에 이걸로 시상식이나 인터뷰도 따고, 완전히 미슐랭과 경합하는 영역이 생겼습니다. 유명한 리뷰어들도 자신을 나타내는 스테이터스로도 얼마나 가봤는지를 써먹고 점포를 소개하는데도 쓰고요.

저 같은 일반인 입장에서도 인스타나 트위터의 싸구려 맛집 계정들이 사진 잘 찍히는 기획형 맛집을 추천하면서 수식어구로 타베로그 3.5X점~이라고 붙이는 것은 이제 전혀 신뢰하진 않지만 이런 어워드는 적어도 아직까진 맛과 양의 상관관계가 있다고 판단합니다.

 

아무튼 그래서 저도 요즘은 인스타나 유튜브로 휙휙 넘기면서 가게를 보긴 하지만 정말 비싼 가게를 갈지 말지 최종적으로 판단(해놓고 2년째 못 감..)할 때는 타베로그도 봅니다.

타베로그는 많은 인스타그래머, 유튜버, 블로거들이 모이는 장소이고 누적된 리뷰도 압도적이며 저같이 글로 된 리뷰를 원하는 사람에게는 괜찮은 사이트입니다.

점수가 억울한 점포도 없진 않겠으나 각 장르별로 초고점대로 갈수록 그래도 어느 정도 다들 합의할 수 있는 대략적인 순위군(A점포가 B점포보다 맛있는데 왜 A가 4.1이고 B가 4.2야 이런거 말고..)이라고 생각합니다.

그리고 급하게 어딘가를 가게 되어 근처의 가게를 찾게 되었는데 3.5짜리 가게를 점수만 보고 간다면 당연히 너무 큰 기대는 하지 않는 것도 방법입니다. 끝