링토링

일본의 음식점 리뷰 사이트로 타베로그라는 사이트가 있고 제가 2018년에 타베로그에 관한 글을 쓴 적이 있습니다.

https://koinegau.tistory.com/99

지금 다시 글을 읽어보면 여전히 그렇게 생각하는 부분도 있고 조금 생각이 바뀌거나 부끄러운 부분도 있는데요

https://news.yahoo.co.jp/articles/d937ccf3c8af9c40bc2688de684c77a26f5c6b86

최근에 이 기사를 읽고 다시 한번 그동안의 생각을 정리해보게 되었습니다.

우선 기사의 내용을 요약하자면 '한 음식점 체인에서 타베로그가 일부 체인점을 상대로 불공정하게 평가점수를 내렸다고 주장하며 피해자의 회를 설립하고 송사 등을 진행중이다'라는 내용인데

타베로그의 점수는 기본적으로 블랙박스(유저들이 매긴 점수를 기반으로 점수를 산출하긴 하나 단순평균이 아니고 이를 바탕으로 알고리즘을 통해 점수를 산정하는데 알고리즘을 비공개) 형식이기 때문에 점수의 공정성과 관련된 문제는 항상 제기되어 왔고 이게 타베로그 무용론의 핵심이기도 합니다.

대표적으로 2019년에도 업주 측이 타베로그의 유료 회원이 되지 않았더니 점수가 강등 혹은 할인되었다는 주장이 나왔는데 이때도 반향이 꽤 컸기 때문에 일본의 공정거래위원회에서 보고서를 냈고 이 보고서에서 특정 플랫폼이 특정 레스토랑의 점수를 자의적으로 조작하는 것은 독점금지법에 저촉될 가능성이 있다고 한 것이 위 기사의 음식점 체인 측이 행동을 일으키는 근거가 되기도 하였습니다.

2019년 사례는 음식점 업주들이 본인의 음식점이 유료회원이 되지 않아 부당하게 점수가 낮춰졌다고 주장한 개별 케이스 사례 이외에 통계적인 검증으로 이어지기도 하였는데 그 요지는 본래 3.8 이상의 가게라도 유료회원에 가입하지 않으면 점수가 3.6 부근으로 내려간다는 것이었습니다.

이때 가장 처음 나온 분석은 우선 타베로그의 전체 점수 분포에 관한 분석이었습니다.

https://clean-copy-of-onenote.hatenablog.com/entry/tabelog38_problem

확실히, 타베로그 점수 분포를 보면 3.6 부근에서 뚝 떨어지고 3.8 부근에서 다시 급격히 감소합니다.

제가 예전에 주장했던 점수 분포에 3.5점대가 비정상적으로 많다는 주장이랑도 비슷한 부분이 있는데요,

하지만 이 분포 만으로는 유료회원과 이외의 점포 사이에 차별이 있다고는 할 수 없습니다.

타베로그는 유저들의 점수를 단순평균하여 가게의 점수가 결정되는 시스템이 아니므로 유저가 매긴 점수가 종 모양 분포를 따른다고 하더라도 타베로그 시스템의 알고리즘과 필터링으로 인해 유료회원점이든 무료회원/비회원점이든 이러한 비대칭적인 분포가 나올 수 있기 때문입니다.

https://konkon3249.hatenablog.com/entry/2019/10/10/020458

이 분석의 경우 엄밀한 증명은 아니지만 실제로 유료회원점과 유료회원점이 아닌 점포 양쪽 다 정규 분포를 따르지 않고 3.6의 벽/3.8의 벽이 존재한다는 것을 시각적으로 보여줍니다.

그리고 구간별 비율이나 전체 분포 등을 검정하여 두 분포가 동질적인지를 살펴볼 수는 있겠으나 이것으로도 완벽히 타베로그가 알고리즘 상으로 점수 조작을 하고 있다고 증명할 순 없습니다.

(일단 리뷰 자체를 컨설팅한 경우는 논외로 하고) 만약 상대적으로 유료회원점이 타베로그 점수에 신경을 쓰는 유명점들이 많고 비회원점은 동네 장사로 전재만 되어있는 수준의 가게가 많아 애초부터 평가의 질이 차이가 난다면, 분포가 다르다고 해서 유저의 평가와 타베로그가 산출한 점수가 서수적으로 역전되었다고 증명하기는 어려운 일이기 때문입니다.

https://konkon3249.hatenablog.com/entry/2019/10/16/042717

가장 확실한 방법은 모든 리뷰와 그 리뷰를 작성한 유저 정보를 취득한 후 딥러닝 혹은 기계학습 등을 통해 이 블랙박스 알고리즘을 재현하여 여기에 '유료회원 여부'라는 벡터를 추가했을 때와 추가하지 않았을 때를 비교하여, 만약 유료회원 여부를 추가하였을 때 타베로그가 산출한 점수의 재현도가 높아진다면 이것이 점수 산출에 영향을 미친다고 추측할 수 있겠으나..일단 위의 분석을 한 유저는 기계학습으로 알고리즘을 재현했을 경우 단순평균에 비해 타베로그의 산출 점수에 더 가까이 가긴 했으나 3.6/3.8의 벽은 재현하지 못하였고 유료회원 여부도 점수 산출에 영향을 미친다는 증거는 없다는 결론을 내렸습니다.

https://news.yahoo.co.jp/byline/inoueakito/20191012-00146614

이 외의 다양한 분석들에 관해서는 위 기사가 그나마 정리가 잘 되어있는 편입니다. (이 기사를 작성한 사람도 저와 비슷하게 체감적으로 3.5 부근에 가게들이 몰려있는 것을 느끼고 있었네요.)

마찬가지로 예를 들어 고급점인지 아닌지, 체인점인지 아닌지, 노포(老舗)인지 아닌지, 장르에 따라 등등 타베로그 점수에 영향을 준다고 일컬어지는 팩터들이 물론 영향을 줄 수 있지만 이것들 역시 유저들이 내린 평가 자체가 차이가 나는 것과 타베로그가 이 평가들을 취합해서 종합 점수를 산출하는 과정에서 특정 영역에 짜게 차별적인 점수를 준다는 것에는 미묘한 차이가 있고, 후자라고 명확히 단정 짓기는 쉽지 않습니다.

아무튼 어느 쪽이든 다시 제 취향에 맞게 뇌내 변환을 거쳐야 하니 최종적인 점수만 갖고 제 인상을 쓰자면

고급점, 고급장르:확실히 점수가 잘 붙습니다. 지금은 그나마 이게 조금 조정된 느낌이긴 합니다만 그래도 예를 들어 디저트, 서민적인 면류, 돈카츠 등의 장르는 확실히 4점대의 엄청난 벽이 있고 4점대를 넘으면 정말 굉장한 전국구 맛집입니다. (야키니쿠나 야키토리는 그나마 다른 고급 장르에 비하면 벽이 상대적으로는 높지 않으면서 4점대가 많긴 합니다.)

물론 고급점들도 4점대를 넘으면 대단한 것은 맞습니다만 고급점은 4점 이상이 워낙 많아서 관광객 입장에서는 다 가보기는 쉽지 않고 한번 더 필터링이 필요하게 됩니다. 

노포:정확히는 위와 결부되기 때문에 점수가 잘 붙는거라 생각합니다. 이 주장을 하는 사람들이 이렇게 체감하게 되는 이유도 알긴 하는데요...근데 일본에 널린 게 노포고 소위 관광지 노포들의 타베로그 점수를 보면 3.4 3.5 이런 곳들도 굉장히 많습니다. 노포라서 리스펙트 받는 가게도 있고 반대로 요즘 트렌드에 떨어졌다고 판단받는 가게도 있고 결국 점바점이라고 생각합니다.

체인점:이것도 솔직히 없지는 않다고 느낍니다. 일부 너프를 먹는다고 느껴지는 체인점이 있고 아닌 체인점이 있어요. 다만 이것도 타베로그 시스템 자체가 리뷰의 단순평균이 같다고 해도 최근 리뷰가 많고(최근 리뷰가 너무 뜸하면 대놓고 너프 먹음) 리뷰층에 소위 푸디들이 좋게 평가한 리뷰가 많을수록 점수가 올라가는 구조이기 때문에 차이가 나는 현상 자체는 있을 수도 있긴 합니다. 맨 처음의 기사가 야키니쿠쪽도 하는 체인이었으니 야키니쿠로 예를 들자면 계열점이 여럿인데도 4점 이상인 고급점의 경우는 이런 푸디층의 지지 때문이라고 볼 수도 있어서 저는 납득이 가는데, 확실히 체인점 3.2나 체인점 3.5나 비슷비슷해 보이는데 한쪽은 3.5까지 올려놨네?싶은 케이스가 없진 않아요. 그래서 체인점은 타베로그만 보고 가기에는 애매한 면이 있어요

그럼 제목대로 과연 타베로그는 쓰레기 사이트인가?

거기에 대한 제 답은 요즘 타베로그 까는 사람이 은근 많아져서 반골의 반골로 아직은 효용가치가 있다..입니다.

물론, 일반적인 층은 그냥 타베로그 3.5구나~정도의 인식일 것이고 이 구간에선 지뢰 밟았다고 맨날 올라오는 게 타베로그긴 하지만 그래도 제 나름대로 타베로그가 망하지 않는 이유를 생각해 봤습니다.

1.타베로그 유기한 푸디들이 많다고 하는데, 인스타나 다른 평가 사이트로 넘어간 푸디 중에서도 유명한 푸디들은 대체로 타베로그도 같이 합니다. 그리고 이러한 푸디 중 자신과 취향이 맞는 사람을 찾아 그 사람의 평가를 따라가는 데에는 충분할 정도이고요.

2.타베로그의 대안으로 다양한 점수 체계의 사이트들이 제시되었는데, 타베로그처럼 유저에 가중치를 두지 않는 구글맵식 점수라든지, 평가를 단순화하여 좋았는지 아닌지 여부만, 혹은 몇 단계 정도로만 평가를 하게 만든 예약/평가 사이트들이 있습니다. 하지만 이것들은 타베로그와 보완적인 관계이지 이 시스템이 절대적으로 우월하다고 할 순 없습니다.

예를 들어 구글 맵의 경우 특정 매니아들에게 강한 지지를 받아서 그 매니아들 위주로 방문하는 가게나 그 정반대로 대중적인 입맛과 가성비, 서비스를 완벽히 잡는 경우 평가가 극단적으로 높은 경우가 있는데 본인이 이러한 테이스트에 맞는다면 문제가 없겠으나, 그렇지 않은 경우 어차피 타베로그로 상세한 리뷰를 읽어보고 보완을 해야 합니다.

또한 구글 맵과 타베로그는 외국인 비율에도 차이가 있으니 양쪽 다 어느 정도 감안해야 할 부분이 있고요.

3.타베로그는 이미 내부의 생태계를 만들었습니다.

예를 들어 구글과는 달리 타베로그는 절대로 라멘이 고급 프렌치를 이길 수 없고, 이는 장점이자 단점이지만, 이를 보완하기 위해 백명점(百名店)이라고 각 장르별/지역별로 100곳을 선정합니다.

그리고 각 장르에 특화된 매니아들은 이러한 백명점을 활용해서 전부 제패했다, 혹은 몇 개 남기고 제패했다는 것을 자신의 스테이터스로 삼기도 하는 등 이러한 구간에서는 어느 정도 공신력이 없다곤 할 수 없습니다.

마찬가지로 상대적으로 고급점이나 올라운더의 경우 타베로그 골드/실버/브론즈가 이미 하나의 스테이터스처럼 확립되어 버렸고 가게 측과도 짝짜궁이 맞기 때문에 이걸로 시상식이나 인터뷰도 따고, 완전히 미슐랭과 경합하는 영역이 생겼습니다. 유명한 리뷰어들도 자신을 나타내는 스테이터스로도 얼마나 가봤는지를 써먹고 점포를 소개하는데도 쓰고요.

저 같은 일반인 입장에서도 인스타나 트위터의 싸구려 맛집 계정들이 사진 잘 찍히는 기획형 맛집을 추천하면서 수식어구로 타베로그 3.5X점~이라고 붙이는 것은 이제 전혀 신뢰하진 않지만 이런 어워드는 적어도 아직까진 맛과 양의 상관관계가 있다고 판단합니다.

아무튼 그래서 저도 요즘은 인스타나 유튜브로 휙휙 넘기면서 가게를 보긴 하지만 정말 비싼 가게를 갈지 말지 최종적으로 판단(해놓고 2년째 못 감..)할 때는 타베로그도 봅니다.

타베로그는 많은 인스타그래머, 유튜버, 블로거들이 모이는 장소이고 누적된 리뷰도 압도적이며 저같이 글로 된 리뷰를 원하는 사람에게는 괜찮은 사이트입니다.

점수가 억울한 점포도 없진 않겠으나 각 장르별로 초고점대로 갈수록 그래도 어느 정도 다들 합의할 수 있는 대략적인 순위군(A점포가 B점포보다 맛있는데 왜 A가 4.1이고 B가 4.2야 이런거 말고..)이라고 생각합니다.

그리고 급하게 어딘가를 가게 되어 근처의 가게를 찾게 되었는데 3.5짜리 가게를 점수만 보고 간다면 당연히 너무 큰 기대는 하지 않는 것도 방법입니다. 끝

저는 일본 여행 계획을 짤 때면 음식에 있어서는 항상 일본의 음식점 리뷰&점수 사이트인 '타베로그'를 확인합니다.

이유는 여러가지가 있지만 이른바 '현지인 맛집'에 대한 환상때문에 구글 리뷰에 비해 선호하게 되는 점은 분명히 있습니다.

그리고 저같은 니즈가 많기 때문인지 요즘은 많은 외국인들도 타베로그를 이용하며,타베로그 역시 어설프게나마 다국어 시스템을 지원합니다.

물론 문제점도 많고 이에 따른 대체 사이트들도 나와있지만 리뷰수나 인지도 면에서 아직도 타베로그는 일본에서 점수 판별기로의 지위는 어느 정도 유지하고 있다고 생각합니다.

그러나 타베로그에 관한 글들을 찾다 보면 실상과는 조금 동떨어진 기준으로 맛집을 선별하는 글들이 많이 보입니다.

그래서 제 나름의 타베로그에 대한 기준을 정리해 봅니다.

1.타베로그에서 우연히 검색한 가게가 3점 미만이면 로또를 사라

몇몇 글들을 읽다 보면 타베로그는 3.0점이면 무난하고 3.5면 맛집이며~로 시작하는 글들이 많이 보입니다.

사실, 한국에서 타베로그를 언급하는 블로그나 SNS의 경우 아무리 그래도 3점대의 집을 직접 추천하지는 않고, 타베로그라는 일본에서 제일 유명한 맛집 사이트가 있는데 3.0점대도 무난하고 3.5면 맛집인데 이 가게는 3.5래~ 하는 식으로 자신이 추천하는 가게를 조금 더 돋보이게 하기 위해서 활용하는 경우가 많은 것 같습니다. 하지만 그럼에도 불구하고 '무난하다'는 말에는 의문이 듭니다.

사람마다 '무난함'의 기준은 다르겠으나 적어도 '3점 미만인 밑을 깔아주는 맛없는 가게들'이 존재해야 '무난하다'는 표현도 사용할 수 있다고 생각합니다.

그러나 실제로는 타베로그 점수는 기본 3.00점부터 시작하게 되며, 2.99 이하인 가게가 없지는 않지만 정말 많은 저평가라도 있지 않는 한 어지간해서는 2점대로는 내려가지 않습니다.(찾기는 했는데 명예훼손 같아서 굳이 올리진 않겠습니다.)유라쿠쵸/히비야 에리어의 경우 774건의 가게 중에서 3.00점 미만의 가게는 단 1곳으로 2.99점이며, 에리어 내에 2점대의 가게가 단 1건도 존재하지 않는 경우도 많습니다.

실제로, 타베로그에서 '스키야' 같은 규동체인점이나, '맥도날드' 같은 햄버거 체인점을 검색하면 가뿐히 3점을 넘습니다.

물론 규동이나 햄버거가 바쁜 일상 속에서 한끼의 무난한 선택이 될수는 있습니다.

하지만 여행을 가서 맛집을 고르는 기준으로 과연 3점대가 무난한지는 다시 생각해 볼 문제입니다.

다만 타베로그는 평가수에 따라 점수가 서서히 올라가는 방식이므로 평가수가 부족한 정말로 정말로 숨겨진 맛집이 3.00점이나 non-Rating일 수도 있습니다.

2.도시에는 맛집이 많다.

솔직히 3.0대의 가게는 별로 신용하지 않더라도 3.5 이상의 가게는 보는 눈이 달라집니다.

이는 타베로그 공식에서 3.5 이상의 맛집은 전체의 약 4퍼센트밖에 없는 인기점이라는 기준을 제시하기 때문입니다.

하지만 이 역시 지역간의 편차를 고려해줘야 합니다.

제 마음의 고향인 아키하바라,칸다,스이도바시 에리어에는 아직 리뷰가 쓰여있지 않은 가게를 포함하여 4461건의 가게가 등록되어 있습니다.

단순계산으로는 리뷰가 쓰이지 않은 가게를 포함해도 4%라면 178건의 가게만이 3.5를 넘어야 하는데,실제로는 약 12.6%인 563건의 가게가 3.50점을 넘고 있어 상당한 인플레이션이 있습니다.

반면 톳토리현의 경우, 도쿄의 한 에리어보다도 숫자가 적은 3769건의 음식점만이 등록되어 있습니다.

이중 3.50을 넘는 가게는 106건으로 비율로 따지면 2.8%에 불과합니다.

이는 단순히 시골이라 당연히 맛집도 적기 때문일 수도 있고,리뷰 수가 적어서 제대로 된 평가가 되지 않아서 그럴수도 있습니다. 리뷰 수는 생각보다 타베로그 점수에 많은 영향을 끼치는 요인으로, 실제로 이전까지 점수가 그리 높지 않던 가게가 미슐랭의 빕구르망이나 모 TV 프로그램에 소개되면 3.5 정도는 가볍게 뛰어넘는 경우가 많습니다.

어쨌든 확실한 것은 도쿄나 오사카와 같은 대도시는 압도적으로 많은 바가지 이자카야들에도 불구하고, 3.5 이상의 비율이 매우 높으므로(심지어 그러한 바가지 이자카야들이 3.5를 넘기도 함) 만약 타베로그 점수만을 기준으로 맛집을 찾는다면, 조금 더 높은 기준을 세우는 편이 좋습니다.

3.2할9푼을 치는 타자보다 3할0푼을 치는 타자가 더 많듯이, 3.4점대 가게보다는 3.5점대 가게가 훨씬 많다.

언젠가 MLB에서 2할9푼대의 타자보다 3할0푼대의 타자가 월등히 많다는 칼럼을 읽은적이 있습니다. 그냥 정정당당하게 치면 좋을텐데 싶지만 인간은 깔맞춤의 동물이며, 이는 타베로그에서도 예외는 아닙니다.

만약 타베로그가 정말 순수하게 외적 요인 없이 산정이 된다면, 3.0에서 출발하는 점수의 특성상 3.4점대의 가게가 3.5점대의 가게보다는 많아야 합니다. 하지만 세상은 그렇게 이상적으로만 돌아가지는 않습니다.

다시 제 마음의 고향인 아키하바라, 칸다, 스이도바시로 돌아와서 점수분포를 보면, 77~563위가 3.5점대, 564~671위가 3.4점대 이므로, 3.5점대가 487건, 3.4점대가 108건입니다. 여담으로 77위의 저 카레집은 방송에도 자주 소개가 된 집인데, 기회가 된다면 한번 들려보고 싶네요.

이 문제는 깡촌도 예외는 아니어서, 톳토리의 경우도 3.5점대가 96건, 3.4점대가 34건 존재합니다.

적어도 3.5는 받고싶다는 점포측의 마음이나 이를 감안하여 점수를 매기는 유저나 그걸 취합해서 전체점수를 산정하는 타베로그의 내부 계산식이나 영향을 끼치는 요인은 여러가지가 있을 수 있습니다.최근에는..이 아니라 유서깊게 이와 관련해 타베로그를 신뢰할 수 없다는 논란이 항상 있는 것도 사실입니다.타베로그측이 이런저런걸 요구했다고 주장하는 가게도 있구요.

결국 분명한 것은, 3.5를 절대적인 기준으로 세울 필요는 없다는 사실입니다.

'3.5'가 기준이 되려면 그 밑의 점수와는 격차가 있어야 하지만, 실제로는 3.5점대는 널려있으며 그 밑의 3.4점대라고 해서 백분위 퍼센트가 많이 차이가 나는 것도 아니기 때문입니다.

그렇다면 기준이 되는 점수는 어느정도인가 하는 문제가 남습니다.

4.타베로그의 점수에 가성비란 존재하지 않는다.오히려 반대다.

이 부분이 구글 등과는 가장 차이가 난다고 생각하는데, 타베로그의 평가 항목에 CP(코스트 퍼포먼스)가 있긴 하지만 종합적인 평가에서는 가성비는 중시되지 않으며, 오히려 '서민 음식'에는 넘을 수 없는 벽이 존재합니다.

예를 들어 전국 돈카츠 랭킹의 1위는 나리쿠라이며, 4.13점으로 상당한 고득점을 기록하고 있습니다.돈카츠 가게 중에서 4점을 넘는 가게는 4건뿐이 존재하지 않으니까요.마찬가지로, 라멘 역시 4.09점이 최고이며, 4점을 넘는 가게는 5건만이 존재합니다.이정도면 3점대 후반~4.0 정도가 이 장르 음식들의 벽이라고 보아야 할 것이며 위의 몇몇 음식점들은 그 한계를 뛰어넘은 극히 드문 예외 케이스라고 까지 생각됩니다.

반면 프렌치나 스시의 경우 미지의 영역인 4점대 후반을 쉽게 뚫습니다.

또한 4.00을 넘는 가게 역시 프렌치는 119건, 스시는 93건이 존재합니다.

일본에 널린게 스시집이라지만 라멘집은 더 널려있는데도 불구하고 압도적인 차가 납니다.

고급 재료를 사용하고 가격도 비싼 음식점이 만족도도 더 높을 개연성은 충분하므로 저는 이런 산정방식에 불만은 없습니다.

하지만 구글에서 라멘집 '인류 모두 면류'나 타베로그 스시 1위의 '스시 사이토'나 점수가 비슷한 것과는 대조적입니다.

즉, 타베로그에서 점수를 비교할 때는 같은 종목끼리 비교해야 하며, 어느 보더라인을 정해서 자기가 방문할 음식점의 필터링을 한다면 일단 한번 그 장르의 대략적인 점수대를 살펴보고 어느정도 조정을 하는 편이 좋습니다.

서두에서 썼지만 몇몇 단점들이 있긴 하나 저는 타베로그를 애용합니다. 용도에 맞게 쓴다면 써서 손해볼 일은 없다고 생각합니다. 

예를 들어 갑자기 일본에 갔는데 줄서기는 싫지만 어느정도 신경은 쓴 요리를 먹고싶다면 3.6정도로 필터링을 해서 동네의 음식점을 찾아보거나 하는데에는 유용하다고 생각합니다. 

또한 일본 내에서 아마도 가장 대중적인 사이트인 만큼 타베로그에서 고득점의 가게를 순회하는 재미 역시 있을 수 있습니다. 이는 1등 사이트만의 재미입니다.

하지만 정말 각잡고 맛집을 검색한다면 타베로그 단독으로는 이용하지 않고 구글이나 다른 사이트의 리뷰와 함께 보는것이 좋습니다.

특히 타베로그 3.5 정도는 앞서 말했듯이 어느정도 (고의 여부를 떠나 맛이나 가격 대비) 정말 신뢰할 수 없는 가게도 많기 때문에 구글 리뷰와 대조해서 영 아니다 싶은 곳은 걸러야 합니다.

그러다 보면 의외로 점수 사이의 간극이 큰 가게의 경우 구글쪽에 외국인에 대한 불친절이 있어서~ 하는 리뷰가 있는 곳도 발견하게 됩니다.

또한 미슐랭에서 별을 받은 가게라도 타베로그에서는 의외로 3점대 중후반에 머무는 경우가 있는데 왜 생각보다 점수가 높지 않은지 리뷰를 읽어보는 것도 유용할 수 있습니다.

물론 최종적으로 어떤 음식점에 갈지는 결국 개인의 판단입니다.