0 to 1, PO 다마고치의 끝나지 않는 모험 0 to 1, PO 다마고치의 끝나지 않는 모험

그래서 A/B 테스트라는걸 해야 한다는걸 알겠는디 어떻게 해야해? 1. 배경지식 이 질문에 답하기 위해서는 선행지식이 필요합니다. 바로 타입1 에러와 타입2 에러죠! 알람을 생각해 봅시다. 화재가 안났는데 알람이 울리는 것도 문제고, 화재가 났는데 알람이 안울리는 것도 문제입니다. 화재가 안났을 때 알람이 안울리는 것은 정상이고, 화재가 날 때 알람은 반드시 울려야 합니다! 그래서 화재가 안났는데 알람이 울리는 것은..아아 변수가 2개가 되면 머리가 꼬이기 시작하지만 힘을 내야 합니다. False Positive입니다. 그리고 화재가 났는데 알람이 안울리는 것은 False negative입니다. 이것을 A/B테스트에 적용하면 A/B테스트가 차이가 없을 가설(Null hypothesis)="화재가 났는지 ..

자 이제 게으름을 한껏 피웠으니 해야 하는 일을 할 차례입니다. 사실 오늘의 포스팅은 모두 A/B 테스팅을 설명하기 위합입니다. 1. RCT 이전에 말씀드린 것처럼 다마고치는 대학에서 큰 죄를 지어서 대학원에 갔습니다.. 교수님이 RCT 한 논문은 제대로 된 논문이고 RCT 안한 논문은 믿을 수 없으니까 제껴! 라고 해서 열심히 분류했죠. 무작위비교연구(Randomized controlled trial)는 주로 치료나 의학 쪽에서 씁니다. 예를 들면 새로 나온 A치료법의 어린이 자폐증 환자에 대한 효과를 테스트해보기 위해서, 다른 모든 조건을 똑같이 맞춰놓고, A치료법 에만 차이를 줍니다. 환자들이 뭔가 새로운 치료를 받았으니 좋아질꺼야 라는 기대를 하지 않도록, 무작위로 샘플을 뽑아서 반반씩 나누어 너..