목록sparksql (1)

해뜨기전에자자

Spark SQL로, Hive parquet 접근 시 필드명이 parquet schema와 다르게 잡힐 때..

문제 며칠 전 spark SQL로 조회하던 parquet 파일 베이스의 hive external table의 필드 schema의 대소문자가 꼬여 문제가 생겼던 적이 있다. 어떤 field는 대소문자를 구분했고, 어떤 필드는 소문자로만 보였다. case-sensitive와 case-insesitive가 섞인 mixed-case 의 형태를 보인 것이다. spark.sql('FROM tbl').printSchema() root |-- isValid: string (nullable = true) # 대소문자를 구분한다 |-- requestid: string (nullable = true) # parquet schema상으로는 reqeustId이지만, 소문자로만 조회가 된다. ..개발 및 테스트 과..
개발/spark 2020. 11. 19. 19:30
이전 Prev 1 Next 다음