모두의공원

아래 구인글에서 SQL 튜닝 얘기가 나와서.... 30

1
aqure84
5,135
2018-03-07 11:12:37 223.♡.82.58

SQL 튜닝 별거 있겠어...? 라고 호기롭게 리펙토링 작업 시작했다가...

전문 DBA분과 6개월 리펙토링 작업하면서 신세계를 맛봤습니다...


그때 리펙토링하는 서비스가 php + mysql  조합이었는데, pk가 char형으로 되어 있는 신박한(?) 구조였습니다.

그래서 가벼운 마음으로 시작했는데...

Reverse Timestamp방식으로 적재하는 방법과 신박한 SQL 프로시저...(이게 제일 충격이었습니다...프로시저를 그렇게 짜도 돌아가다니!!! 심지어 개발자가 짠거보다 더빠름!!!!!), 주기적인 파티셔닝 프로시저 짜는 정도로... 서비스가 완전히 바뀌었죠.


제가 거기 들어가서 한게 innodb 관련설정이랑 mysql cluster 구성한거 밖에 -_- 엔지니어링 적인것과 서비스 리펙토링만 하고 끝났습니다...


인력이 4명이서 6개월동안 열심히 작업했거든요. 한시적 인력 운영이라 전 6개월 후 바로 나왔습니다만... 그때 당시 만난 DBA님이 참... SQL의 신으로 보일정도로 존경스러웠습니다.


SQL 관련 튜닝은 아무나 하는게 아니더군요... 


aqure84 님의 게시글 댓글
댓글 • [30] 을 클릭하면 간단한 회원메모를 할 수 있습니다.
반건조우주오징어
IP 8.♡.101.4
03-07 2018-03-07 11:13:51
·
DBA라는 직업이 달리 존재하는 게 아니겠죠.
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:15:05
·
DBA는 정말 경험이 필수인거 같아요. 그 직업군의 계신분들은 시스템도 알아야 하고 코딩도 어느정도 알아야 조언도 해줄 수 있는 부분이라... 전반적인 IT에 대한 지식이 해박하시더군요.
비글K
IP 27.♡.242.71
03-07 2018-03-07 11:13:55
·
DBA가 그래서 연봉이 높다고 하죠 ㅎㄷ
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:15:53
·
프로시저 하나 보고 나서.. 아... 그만큼 연봉을 받는 분이구나... 라고 생각이... 정말 대단하셨습니다 ㅋㅋㅋ
삭제 되었습니다.
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:16:24
·
문제는 제가 그 코드를 이해를 못했....돌리고 나서 그 값어치를 알게 되었어요 ㅋㅋㅋㅋㅋ
닥터놀
IP 58.♡.80.76
03-07 2018-03-07 11:14:41
·
전문과 비전문의 차이가...
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:17:21
·
첫회의때 전문가 앞에서 호기롭게 얘기했다가 발렸..던 기억이 ㅋㅋㅋㅋㅋㅋ 바로 인정하고 그분에게 충성모드로 일했습니다...
한대맞았다
IP 112.♡.166.101
03-07 2018-03-07 11:15:30
·
실제로 DBM인가 국내 10위 안에 드시는 분들은 그냥 대기업 수준이에요...
1시간 봐주고 몇백씩 받던데요... 튜닝 SQL 차이가 성능을 좌우하니까요...
복구도 그렇고 튜닝도 그렇고...
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:19:16
·
저랑 같이 일했던 분은 은행계열을 주로 튜닝작업하셨던 분이셨습니다. 알고보니 책도 여러권 번역작업하셨더라구요. SQL뿐만아니라 시스템 전반부에 대한 이해도가 높으셨던 분이었습니다...
ner1354
IP 211.♡.120.9
03-07 2018-03-07 11:16:18
·
고참급 DBA는 어딜가던 최상급으로 대우받죠.
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:21:09
·
경력은 그때 당시 13년정도 되셨던...지금은 19년정도 되셨네요 -_-
굉장히 유명한 (클리앙에서 가끔 언급되는...) IT 스타트업 회사 2011년도에 DB 리펙토링 한달에 4번 조언해주는데 2천만원 받으셨다고 하더군요.....
ner1354
IP 211.♡.120.9
03-07 2018-03-07 11:22:40
·
시스템 크고 기간이 길어지면 억단위도 우습더라구요.
indian31
IP 183.♡.35.172
03-07 2018-03-07 11:16:20
·
글로만 봐도 멋지네요. 튜닝하는 거 한번 보고 싶네요.
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:21:42
·
실제로 보시면 더 멋있습니다....ㅋㅋㅋ
glados41
IP 117.♡.28.25
03-07 2018-03-07 11:16:24
·
DBA를 괜히 모시고 다니는게 아니죠
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:22:23
·
게임회사에서는 정말 필요한 존재인거 같아요. 중급 게임회사중에 없는 회사와 있는 회사의 서버운영의 차이는 클라스가...다르죠 ㅋㅋㅋ
rwsrwxrwx
IP 124.♡.13.201
03-07 2018-03-07 11:16:26
·
튜너들 몸 값이 비싸죠. 뭐 세시간 걸리는 배치를 10분 안쪽으로 끝나게 해주는 걸 보면 그만큼 돈 값을 하긴 하는데... 문제는 몸 값이 비싸기 때문에 잘 안쓰죠. 개발자 보다는 당연히 성과가 좋습니다. sql 뿐만 아니라 특정 db의 물리적 논리적 구조 부터 엔진이 어떻게 동작하는지 다 아니까요.
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:23:58
·
개발자보다 성과가 좋기도 하지만...개발자 보다 개발 지식이 더 많으셨던 분이었습니다... 정말 지식이 풍부하시더라구요.
앗싸가오리
IP 61.♡.154.166
03-07 2018-03-07 11:18:13
·
DBA는 어마어마하죠...
DBA가 필요한 작업도 그냥 개발자한테 설계하고 알아서 하라고해서 문제지.... ㅡ.ㅜ
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:24:58
·
보통 중소기업은 개발자가 엔지니어링도 하고 개발도 하고 DBA도 되어야하는 구조라 ㅋㅋㅋ 서비스가 터지면 그때부터 부랴부랴 시스템을 고치기 시작하죠 ㅠㅠ 돈이 문제인거 같습니다.
훗쇼
IP 174.♡.54.157
03-07 2018-03-07 11:19:20
·
개인적인 생각으로는 이전 코볼 프로그래머들처럼 극히 일부만 남기고 사라질것같은 ㅠㅗㅠ 이미 많은 회사들이 ai기반 옵티마이저와 ai기반 지동튜닝 개발을 열심히 진행중이더군요. ㅠㅗㅠ
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:28:50
·
NoSQL도 한몫하는거 같습니다.... NoSQL을 운영중인데... 엔지니어링적인 부분이 더 많이 작용하고 인덱싱 플랜이나 cluster 확장 플랜이 대부분 데이터 적재 방식보다는 하드웨어의 영향이 많이 받더군요...
에피네프린
IP 111.♡.137.230
03-07 2018-03-07 11:23:33
·
보통은 그정도의 극한 튜닝을 잘 안하지 않나요 요샌;
예전이야 분산처리가 힘든 시절이었지만...
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:30:24
·
요즘은 갈레라 클러스터도 있고 mysql cluster도 굉장히 안정적인데 그때 당시엔 lock time을 줄이기 위해 무던히 노력하던 시절이었죠...안그럼 서비스가 전체적으로 느려져서...극한 튜닝을 했던거 같아요.
스나이퍼H
IP 121.♡.30.32
03-07 2018-03-07 11:25:16
·
PK가 char형인것이 신박하다고 하신 이유가 궁금합니다.
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:27:34
·
그때 당시 그 서비스가 char형에 int형태로 쓰고 있었거든요... php코드내에서 last char를 가져와서 +1시키는 로직도 있었....그래서 신박하다는 의미였습니다 ㅋㅋㅋㅋ
삭제 되었습니다.
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:30:58
·
시간당 페이가 강려크하신 분들입니다... 하는 일도 많구요. 심지어 그 실력을 얻기 위한 기회시간과 비용도 꽤 많이 소모하신 분들이라 납득이 갑니다.
삭제 되었습니다.
aqure84
IP 223.♡.82.58
03-07 2018-03-07 11:34:31
·
프로시저는 제가 지금 가지고 있는게 없구요...가지고 있더라도 전 이해를 못했.....습니다... 프로그램 처럼 짜는게 아니라는 느낌을 받았거든요...

reverse timestamp로 쌓는 것만 보더라도... 약간 신박하다고 생각했는데요. timestamp는 2038년까지만 쓸 수 있는데 그걸 이용해서 natural order와 같이 timestamp order index를 태우기 위해 2038년 xx월 xx일 - 현재 시간 = reverse timestamp입니다. 시간이 흐르면 흐를수록 값이 작아지고 1970년에 수렴하는데, desc order를 위해 (최신 시간 얻기) indexing을 안줘도 되고 네츄럴 오더기 때문에 성능이 잘나옵니다...

단점은 2038년이후로는 이 서비스가 운영이 안되겠네요 ㅋㅋㅋㅋㅋ

삭제 되었습니다.
한대맞았다
IP 112.♡.166.101
03-07 2018-03-07 11:46:03
·
어느 분야든 실력자들은 뭐...
예전에 대학생 때, 시멘트 회사 알바하는데 어느날보니 시멘트 굽는 기계 장치를 천으로 다 가려두었더군요...
독일에서 온 기술자들이 내부에 벽돌(?) 쌓고 있는 중인데 노하우 보장 차원에서 그렇게 한다는데...
수십억 하는 가격에 정말 놀랐었는데...
snowdeer
IP 223.♡.8.66
03-07 2018-03-07 12:32:21
·
reverse timestamp같은건 패턴류에 속하다보니 공부한 사람과 안한 사람들간 차이가 생길거에요. 스스로 뭔가를 터득하기는 쉽지 않으니깐요. 일반적인 개발에서도 디자인패턴같은걸 많이 공부하고 익혀놓으면 도움이 많이 되는데 그런걸 공부안하고 무작정 코딩하는 사람들이 많아서 아쉽더라구요.
목록으로
글쓰기
목록으로 댓글보기