이야기
컬러스케일님 FSD Lite 평가 영상에 대한 드라이브오딧세이님 반박 영상
조회 3,384 · 공감 2 · 댓글 34
저도 컬러스케일님 영상 보고 의아한 부분이 많았는데 제가 생각한 것과 비슷한 방향으로 조목조목 짚어주셨네요.
물론 증류와 양자화를 헷갈려 잘못 표현하신 부분도 있긴 합니다만, 대체적으로 이쪽이 더 진실에 가까운 평가라 생각 됩니다.
HW4와 당연히 차이는 있고,
비감독형 불가도 이미 선언한 사실이고.
그 이유는 카메라가 아닌 메모리 대역폭이라 했고..
실제 저의 체감도 컬러스케일님 주장과 다른 부분이 많았습니다.
황색불 감속은 대낮에도 그렇고, HW4도 그런 증상이 있었고, TLSSC 시절에는 매뉴얼에도 황색불은 감속 대상이라고 적혀 있었고 가속페달 밟고 지나가려 하면 경고음 울리기도 하고 그랬거든요. 한국 환경에 맞춘 현지화가 안된 결과일 가능성이 있겠죠.
또한 비전처리 AI는 사람 같으면 글자 식별이 잘 안되는 저해상도에도 분류를 잘 해냅니다. 사람보다 나은건 이미 몇년 전에 증명된 사실입니다 (CNN이 주류이던 시절)
제가 느끼는 문제는 모델이 일관적인 판단을 하지 못하고 직전 프레임과 다음 프레임에 다른 판단으로 갈팡질팡을 한다. 한국 교통 상황에 맞춰 파인튜닝 되지 않았다. 라는 점이고. 첫번째 문제는 완화는 될지언정 한계가 있을거 같구요. 두번째 문제는 한국에서의 해제 피드백이 쌓이면 차기 업데이트부터 조금씩 개선될거라 예상 합니다.
HW3가 한계는 있지만, 지금 모습이 한계는 아니다. 정도가 되겠네요.
V14 Lite는 모델 아키텍처를 V14와 맞춘 상태 양자화 모델이 아니라 HW3용 아키텍처륵 유지한 상태에서 지식 증류만 해 놓은 것인데, 그래서 닮는 특성도 있지만 닮지 못하는 부분도 생기죠. LLM쪽은 아키텍처 개선으로 지식밀도가 계속 높아지고 있는데 HW3는 그럴 여지가 남아 있을자 모르겠습니다만, 증류 외에 또 개선을 시킬 수 있는 파인튜닝의 영역이 있으니까요.
댓글 34
근데 유투버 끼리 기술적으로 갑론을박 하는 분위기는 상당히 재미있네요. 두분 모두 각자의 영역에서 전문가 이기 때문에...
영상을 봤는데 상당히 어이없는 영상이라는 톤으로 반박을 하는군요... 컬러스케일 님의 반박 영상도 어떻게 나올지 궁금합니다. 여러가지 질문들에 대해서
버스전용차로도 그렇고 한국 환경에 맞춘 현지화가 안된 결과 라면
한국현지화가 되기 전에 국토부가 허용을 해줘야 하는 건지 싶네요.
부족한 경험을 강화학습 샘플로 넣어서 교정하기도 하고, 모델에 네비게이션 정보 넣어주는 영역은 룰 기반으로 버스전용차로는 진입금지 구간과 같은 형태로 반영할 수도 있겠죠. 카메라만 보고 판단하는 모델이 아니라 네비게이션 정보도 보는 모델이니 네비게이션을 통해 행동교정할 수 있는 부분도 있으니까요
일단 Trip Weights 0.8~0.9GB를 FSD 전체 모델 크기처럼 이야기한 부분이나, 그걸 Apple Intelligence 모델 크기와 비교한 부분은 컬러스케일 쪽 설명이 무리했다고 봅니다. 특히 후자는 컬러스케일님 그간 영상을 보면 이를 모를 사람은 아닌데 좀 더 쉽게 설명하고자 한 건 아닐까 싶더라고요. 엔드투엔드라서 특정 규칙을 “넣을 수 없다”고 단정한 건 데이터나 RL, 파인튜닝 등으로 행동을 유도할 수는 있긴 하나 이걸 "규칙"이라고 할 수 있는가에 대한 생각 차이는 있을 수 있겠습니다. 저는 룰과는 확실히 다르다고 생각합니다.
반박 영상에도 이상한 부분이 꽤 있었습니다.
일단 컬러스케일 영상은 “HW3는 녹색 필터가 없어서 녹색을 아예 못 본다”고 주장하지 않았습니다. Clear/R/B 정보를 가지고 녹색을 유추한다고 설명했죠. 핵심은 RCCB의 색 분리 능력에 한계가 있고, 특히 적색/황색 같은 특정 색 구분에서 문제가 생길 수 있다는 이야기였는데 반박 영상에서도 오히려 RCCB의 적색/황색 구분 문제를 직접 언급하더군요. 그러면 그 부분은 원래 영상의 핵심 주장과 크게 다르지 않습니다.
첫 장면도 마찬가지인데, 화면에 신호등이 빨간색으로 표시됐다는 건 perception 쪽에서 red로 분류했다는 증거는 될 수 있어도, FSD가 실제로 적절한 시점에 제동해서 정지했을 것이라는 증거는 아니죠. 운전자가 먼저 개입했으니 실제로 멈췄을지는 컬러스케일도 증명할 수 없지만, 반대로 “원래 멈췄을 텐데 운전자가 불안해서 브레이크를 밟은 것”이라고 심리적인 문제로 결론 내리는 것도 똑같이 추측이라고 봅니다.
그리고 개인적으로 제일 이상했던 건 85% FSD 사용률 부분이었습니다. 이건 FSD를 켜고 달린 거리의 비율이지 성공률이나 intervention-free rate가 아니죠. 100km 중 85km를 FSD로 달리면서 그 안에서 여러 번 개입했어도 사용률은 85%입니다. 이걸 HW4 95% vs HW3 85% 식으로 놓고 “상당히 성공적인 경량화”라고 해석하는 건 지표를 너무 멀리 확장한 것 같습니다. 게다가 “영상 이후에는 봉인하겠다”는 말과 그동안 1,100km 정도 테스트했다는 것도 전혀 모순이 아니고요. 오히려 충분히 써보고 내린 평가라고 저는 봅니다.
컬러스케일 영상에서 수정해야 할 세부 설명은 분명히 있을 수 있습니다. 다만 HW3에는 HW4와 비교해 카메라/컴퓨팅 자원 양쪽의 물리적 한계가 있고, V14 Lite가 그 제약에 맞춰 축소 및 증류된 모델이고, HW3로 Unsupervised FSD가 불가능하다는 것까지 테슬라가 인정한 상황이라는 큰 그림은 그대로고 메시지는 문제가 없다고 생각합니다.
반박 영상에서도 결국 HW3의 컴퓨팅 한계, Lite의 성능 손실 가능성, 심지어 85~90% 정도가 HW3의 현실적인 한계일 수 있고 발전도 끝부분에 가까울 수 있다는 이야기를 하던데요.
“컬러스케일 영상의 기술 설명 중 몇 군데가 부정확하다”까지는 (부분적) 동의하는데, “그래서 FSD Lite의 근본적인 HW3 한계를 지적한 영상 전체가 잘못됐다”까지 가는 건 반박 영상 쪽도 과하게 나간 것 같습니다.
컬러스케일이 테슬라를 무지성으로 깐 것도 전혀 없는데 양측 댓글창 개판난거 보면 ㅋㅋ 그게 제일 웃기긴 합니다.
물리적 한계 지적, 우리는 비감독형을 약속 받았고 Lite가 약속 이행은 아니다라는 큰 틀은 잘 짚었던 것 같은데, 원인을 너무 본인의 관심분야로 끌고 와 단정적으로 말하는 느낌이었습니다. (AI에 대한 이해도가 높다고 생각되지는 않았습니다)
예를 들어 빨강/황색이 인지의 문제인지, 판단의 문제인지를 센서 특성이 그렇다고 단정적으로 결론을 내릴 문제는 아니죠. 사람에게는 작은 차이지만 모델에게는 큰 구분일 수 있고, 시각화 묘사와 행동이 다른 것. 네비랑 다르게 가는 것 등을 보면 인지의 문제가 아닐 수도 있거든요.
한계는 있겠지만 한계는 어디인지 아직은 모른다 정도가 지금 적당한 판단 아닐까 싶습니다. 첫 버전만 보고 지금이 한계다 라고 단정 짓는건 AI 트렌드를 너무 모르는 소리일거구요.
저도 지금 V14 Lite의 모습이 곧 HW3의 최종 한계라고 단정하는 건 무리라고 생각합니다. 추가 학습이나 파인튜닝, 증류 최적화가 더 이루어지면 지금보다 당연히 더 좋아질 여지는 있겠죠.
다만 저는 여기서 “현재 보이는 특정 실패가 센서 때문이라고 확정할 수 있느냐”와 “HW3의 센서/컴퓨팅 제약이 최종적으로 도달 가능한 성능의 ceiling을 만들 수 있느냐” 두 가지는 구분해야 한다고 생각합니다.
전자는 저도 컬러스케일님이 너무 단정적으로 설명한 부분이 있다고 생각하지만, 후자의 HW3 하드웨어 한계 자체는 일론도 인정한 부분입니다.
말씀하신 대로 빨강/황색에서 이상 행동을 했다고 해서 그 원인이 perception인지 planning인지 행동만 보고 확정할 수는 없죠. 다만 반대로 “모델은 사람이 구분 못 하는 작은 차이도 구분할 수 있으니 센서 문제는 아닐 수 있다” 역시 가능성이지 반증은 아니라고 생각합니다. 입력에 구분 가능한 정보가 충분히 남아 있을 때 모델이 인간보다 잘 분류할 수 있다는 것과, 센서의 spectral/spatial information 자체가 제한되어 있는 문제는 별개의 얘기니까요. RCCB 계열에서 색 분리 정확도와 감도 사이에 trade-off가 있고, 특히 red/yellow separation이 불리해질 수 있다는 것 자체도 머신비전 쪽에서 알려진 문제고요.
특히 컬러스케일 영상에서 황색 점멸을 화면상 적색으로 표시하는 사례까지 실제로 있었다면, 최소한 그 사례에서는 perception 쪽의 오분류 가능성도 배제하기 어렵다고 봅니다. 물론 그것조차 UI visualization과 실제 NN 내부 representation이 동일하다는 증거는 아니니 원인 확정까지 가면 안 되겠지만요.
결국 저도 표현을 고른다면 “HW3의 한계가 지금 여기다”보다는 “HW3에는 HW4에는 없는 물리적 제약이 분명히 있고, 그 제약 아래에서 소프트웨어로 어디까지 끌어올릴 수 있을지는 아직 모른다” 정도가 제 기준에서는 가장 정확해 보입니다.
그리고 테슬라가 이미 구형인 HW3를 대상으로 이런 최적화를 얼마나 오래, 적극적으로 이어갈지도 별개의 문제고요. V14 Lite 자체가 알려진대로 HW4의 V14를 HW3에 맞게 증류한 모델이라면 더더욱 그럴듯 합니다.
그래서 오히려 두 영상을 합쳐서 보면 그 정도 결론으로 수렴하는 것 같습니다. 컬러스케일님은 물리적 한계를 개별 증상의 원인으로 다소 빠르게 연결했고, 반박 영상은 반대로 ‘아직 개선 가능하다’는 것과 ‘물리적 ceiling이 어디까지 영향을 미치는지는 아직 모른다’는 것을 조금 섞어서 이야기한 느낌입니다.
오딧세이님 말씀은 HW3 RCCB 한계가 새로운 발견이 아니라 그 한계 안에서 FSD가 개발되어 왔다는 말씀이신 것 같아요.
FSD는 구형 스택의 ‘신호등 및 정지표지 제어’부터 FSD ‘베타‘를 거쳐 E2E 전환 후인 v12.4까지 HW3 입력이 중심이었습니다. 업데이트도 HW3에 먼저 됐고 HW4는 에뮬레이션으로 뒤따라가던 시기가 있었죠.
적색 황색 혼동 문제가 RCCB의 불가역적 문제라서 처음부터 지금까지 동일한 문제가 쭈욱 있어왔는지, 아니면 Lite 버전의 증류 과정에서 좀 더 나타나는 문제이고 한국이라는 환경에서 부각되는 문제인지 확실치 않지만.. Lite가 버전업되면서 실패 빈도에 변화가 있는지를 봐야할 것 같습니다.
RCCB로 인한 적황 혼동 문제가 확실하다면, 미국에서 FSD를 오래 사용해오셨던 분들은 그 차이를 느끼셨을 수 있죠. 특히 테슬라 직원으로서 구형 오토파일럿 스택부터 FSD 최신 버전까지 HW3와 4를 두루 경험하셨을 오딧세이같은 분들이 말입니다.
“HW3 내내 그랬는데 HW4로 바꾸고 완전 줄었어“
아니면
”12.6.4보다 14 Lite에서 유독 심해졌어“ 등등..
분명한 것은, 한국은 HW3가 FSD로 이제 막 데뷔했다는 것입니다.
빨강 황색이 판단의 문제든 인지의 문제든 똑같이 심각한겁니다. 어차피 결과는 같거든요? 센서의 문제면 해결 불가이고 판단의 문제는 개선할 수 있다고 보는 모양인데.... 색을 구분하는 건 운전의 기본중의 기본이랍니다.
초기에는 파란불에서도 급정거 하는 문제까지 있었고, 후기 버전으로 갈수록 나아지긴 했지만, 여전히 빨간불에 출발한다던가 신호오인하는 문제가 계속 있었습니다.
저 역시도 많이 겪었고, 제가 V12를 못쓸 물건이라고 판단하게 된 가장 큰 부분입니다.
아쉽게도 v14 lite는 사용해보지 못해서 따로 드릴 말씀은 없지만,
FSD에서뿐만 아니라 오토파일럿에서도 hw3에서 야간 주행시에 사이드리피터 카메라 빛번짐 이슈는 지속적으로 발생하는 문제이고, 전방카메라 역시 야간에 일반 라이트를 점멸등(비상등)으로 잘못 인식한다던가 하는 문제가 흔하게 발생합니다. 특히 가로등이 없는 어두운 환경에서 더 잘 나타나는것 같습니다.
사람들이 V14 Lite를 V14를 경량화 했다고 생각하고 계시더군요. 양자화는 진즉 뽑아먹을 수 있는 한계까지 쓰고 있는 상황인걸로 알고 있고, V12 아키텍처에 V14의 행동양식만 사후 학습시키는 방식(증류)이라, V12 약점을 상당 부분 계승한 상태에서 특정 능력만 V14를 따라가는 형태 같습니다.
V14 만든다고 손 놨던 버전인데 이제 좀 신경써서 개선해주면 좋겠네요.
구형 스택인 ‘신호등 및 정지표지판 제어’부터 FSD 베타 11까지의 비슷하거나 일관된 실패 패턴이 있었는지 없었는지 모르는 상태에서..
“파란불에 급정거하고 빨간불에 출발했다”는 12만의 경험으로 HW3에 색 구분 문제가 있다고 단정할 수는 없습니다.
Lite 버전에서 새롭게 나타나는 특징이 있는지 비교할 추가 정보도 없는 셈이고..
사이드리피터 빛번짐 점멸 문제도 우리가 느끼는 불편함 그대로 AI 인식에 연결시킬 필요는 없다고 봅니다.
(HW3 카메라 문제가 아니라는 말은 아닙니다.)
그리고 제가 말씀드린 카메라 빛번짐이나 점멸등 문제는 제가 카메라 영상을 볼때 그렇게 보이는 것이 아니라, 오토파일럿의 ai가 그렇게 판단하고 속도를 줄이거나 경고를 띄우는 문제입니다. 물론 오토파일럿과 FSD의 ai는 서로 다르지만, 같은 하드웨어를 공유하고 그 영상 처리에서 에러가 발생한다면 같은 문제가 있지않나 상당부분 의심해볼수 있다고 생각합니다.
물론 저도 이게 100프로 확실하다고 하는 말은 아닙니다.
HW3 카메라의 색 인식 문제라면 구형 스택부터 Lite까지 색 혼동이 일관된 패턴으로 나타나야 할 텐데 실제로 그래왔는지는 모르겠네요. 특히 V11까지는 인식 모듈이 분리되어 있어서 시각화에 표시되는 신호 상태가 인식 결과였으니 그때도 동일한 색 혼동이 있었는지 확인해보는 것도 재미있을 것 같습니다.
갓길 주차처럼 자신의 주행차로를 일부 침범한 정지 차량에 대한 오토파일럿의 인식 실패와, 온전히 들어와 있는 선행 정지 차량에 대한 여타 ACC류의 인식 실패는 동일한 실패가 아닙니다.
(하물며 커버하는 범위가 비교도 안되는 FSD Lite는 말할 것도 없죠.)
영상 내내 나오는 태도가...그런 태도를 현실에서 많이 겪어서일까요? 너무 힘들었어요
게다가 말꼬리를 잡기만 하는 느낌이라...
강화학습까지 보다가 나왔는데요
강화학습을 한다고 백퍼센트 통제되는게 아님을 본인이 알고있음에도 저렇게 말한다는건 그냥 꼬투리 잡는거죠
본인 영상 내용도 약간 핀트가 엇나가는 부분이 있어보여서.
1. 적색불 무시하고 가려는 경우 분명히 있습니다. 저도 겪었고 카페에서 심심찮게 보이죠.
2. 구 모델3와 당시 스마트폰 화소 수를 비교하는 것이 의미가 있나요? 그때 이 하드웨어로 FSD된다고 광고하고 팔았는데, 지금 현재 자율주행하기에 부족하면 그냥 부족한 것이죠. 컬러스케일의 현재 스마트폰 카메라와의 비교도 부적절한 거 같고요. 지금 HW3의 해상도가 FSD 구현이 가능한 정도인지 아닌지를 따져야하는 게 아닌가 싶네요. 물론 그건 테슬라만 알겠죠.
일단 의견에는 대부분 동의한다는 말씀을 드리고 첨언하면요.
당시 카메라 해상도는 추론칩 성능에 밸런스를 맞춰 놓았을테고, 그 당시엔 최선이었겠죠. 지금 카메라가 문제인지 추론칩 성능이 문제인지는 가장 진실에 가까울 일론의 발언에서 메모리 대역폭이라 했고, 카메라가 병목인지는 추측의 영역일 뿐입니다.
안 보이면 조심히 보수적으로 판단하고 행동한다를 붙인다면 솔직히 카메라가 운전면허 취득을 위한 시력 제한 조건보다 더 나쁘지는 않을거구요. 단일 프레임으로 판단이 아니고 동적으로 여러 프레임을 통해 정보를 얻는데다가, AI의 사물식별 능력은 사람은 그 해상도와 다이나믹레인지로는 도저히 인지 못할 정보까지 추출해 내곤 합니다.
몇달 기다려보면 알겠죠 대부분의 문제가 카메라 문제였는지 학습 문제였는지. (추론 딜레이 한계는 어쩔 수 없구요)
걍 hw3가 좀더 해맨다. 오작동이많다.. 정도지 본질적인 삽질 패턴은 비슷해요.
컬러스케일님의 영상은 저도 봤는데 틀린 말은 아니지만... 마치 911을 가져다놓고 도어가 2개고 2열 무릎공간이 좁아 거주성이 나쁘고 승차감이 나쁘고 시끄럽다.. 라는 이야기만 하는 리뷰를 본 듯 했습니다.
별 공감 안되고 뭐 이 정도도 감독 못하고 탈거면 도대체 차라는 물건에 주는 신뢰가 너무 과한거 아닌가? 뭘 기대한거지? 같은 생각이 들더라구요.
fsd 출시 전 대부분의 사람들은 자동차가 자율적으로 안전하게 움직일거라고 생각하지 않았을까요