Data drifit 검출 예제

Quickstart Tutorial - UpTrain Documentation

Data drift 설정은 checks에 추가해 줍니다.

checks = [types.Check(
  type=uptrain.Monitor.DATA_DRIFT,
  reference_dataset=orig_training_file,
  is_embedding=True,
  measurable_args=types.MeasurableArgs(
    type=uptrain.MeasurableType.INPUT_FEATURE,
    feature_name='kps',
  ),
)]

실제 데이터를 초기 학습한 모델 입력으로 전달하여 예측값을 얻어옵니다.

각 batch에서 사용한 입력과 출력을 그대로 log 함수에 전달합니다.

log 함수내에서 checks 옵션으로 설정한 DataDrift monitor 에게 입력과 출력을 전달합니다. DataDrift monitor는 값의 이상 여부를 확인합니다.

데이터 이상을 감지하면, retrain 함수는 training_func를 이상이 있는 데이터와 함께 호출합니다. training_func 설정으로 전달한 사용자 모델 생성 함수로 새로운 모델을 학습합니다. inference_func 설정으로 전달한 사용자 평가함수를 근거로 이전 모델과 새로운 모델 중 선택 합니다.

더 확인해 볼일

• Data drifit detect 알고리즘
• kps, id와 같은 암묵적인 데이터 전달 형식의 정리