# Oracle ETL at MIS DB & build test fail issue

以下說明是基於Morris跟幾摳的突破往下切入

### 1. Parse MIS 資料庫狀況說明

*需確認目標資料庫的網路環境，通常需為內網
把ORACLE_METADATA_ETL.job template 修改好後，下列方式擇一：
1. 放至 WhereHows/wherehows-backend/jobs，再 docker build
2. 複製job檔案至 backend容器的 **/application/jobs/** 目錄

    docker cp ORACLE_METADATA_ETL.job wherehowsdocker_wherehows-backend_1:/application/jobs/

目前使用try catch可以跳過library無法處理的data(尤其中文)
也對資料庫來的data做了一些unicode encode，但還是有些資料會有問題

但Web端會有可以看的dataset metadata
目前修改OracleExtract.py的 [writer.writerow(data)](https://goo.gl/f6qUFr)，僅供參考如下 (修改後請記得rebuild)

      def write_csv(self, csv_filename, csv_columns, data_list):
        csvfile = open(csv_filename, 'wb')
        os.chmod(csv_filename, 0644)
        writer = csv.DictWriter(csvfile, fieldnames=csv_columns, delimiter='\x1A', lineterminator='\n',
                                quoting=csv.QUOTE_NONE, quotechar='\1', escapechar='\0')
        writer.writeheader()
        for data in data_list:
          try:
            if isinstance(data, unicode):
              writer.writerow(data.encode('utf-8'))
            elif isinstance(data, dict):
              if isinstance(data['name'], unicode):
                data['name'] = data['name'].encode('utf-8')
              writer.writerow(data)
            else :
              writer.writerow(data)
          except :
            print "[DEBUG] The problem data is " + str(data) + "\n Type is :" + str(type(data))
        csvfile.close()

::: warning
修改時請用空白鍵做排版，如果空白鍵混搭 tab，runtime 會出錯：
ERROR w.c.j.Launcher:87 - IndentationError: ('unindent does not match any outer indentation level', ...)
:::

尚未釐清的問題有：
　　(1). 無法顯示Sample Data
　　(2). 無法搜尋Dataset
　　(3). 還是有些資料沒有成功encode而有error

另外，宗哲也發現Data lineage wherehows尚未實作
所以在Data Lineage頁面只看到一個節點是可以預期的

For (2)，需給 frontend [search template](https://github.com/linkedin/WhereHows/tree/master/wherehows-data-model/ELASTICSEARCH)、新增 backend job，且需確認許多額外初始化、參數與檔案位置 (有必要詳情請找宗哲)

ex: 由於過程中要生成檔案 /var/tmp/wherehows/resource/dataset.json，所以需要開資料夾以及設定權限，以 docker 為例，修改 [wherehows-docker 的 backend Dockerfile](https://github.com/linkedin/WhereHows/blob/master/wherehows-docker/wherehows-backend/Dockerfile)，新增以下指令 (by 小林)：

RUN mkdir /var/tmp/wherehows
RUN chmod a+rw /var/tmp/wherehows
RUN mkdir /var/tmp/wherehows/resource

大致概念：目前用 ORACLE_METADATA_ETL.job trigger rebuild (加入此行 rebuild.tree.dataset=true)，跑 DATASET_TREE_BUILDER.job (將 ELASTIC_SEARCH_ETL.job 的參數放過去) 並修改 [DatasetTreeBuilder.py](https://github.com/linkedin/WhereHows/blob/master/wherehows-etl/src/main/resources/jython/DatasetTreeBuilder.py#L90) 的 update_dataset(...) 為 run() 強迫初始化 search 的 index)

理論上或許單獨跑 ORACLE_METADATA_ETL.job 以及 ELASTIC_SEARCH_ETL.job 即可，未必要用 DATASET_TREE_BUILDER.job

---

### 2. Build test fail的原因
(1). 幾摳發現沒有設定JAVA_HOME環境變數給測試檔讀取
(2). 以及要清除之前因為build test fail產生的temp***.job 檔案

#### macOS Solution

1. `./gradlew build` Failed message

2. 找到os上的java home路徑 輸入 `/usr/libexec/java_home -v 1.8`
並將路徑設為**JAVA_HOME**的環境變數

3. 在未清除因build失敗產生的暫存job時，依然會顯示錯誤

4. 在JobsUtilTest.java 有問題的function擇一 (e.g., testGetEnabledJobs)
加下列兩行找檔案路徑

    System.out.println("Filename 1 is " + filename1);
    System.out.println("Dir is : " + dir);

此外，在wherehows-common/build.gradle的test block改成如下

    test {
        // enable TestNG support (default is JUnit)
        useTestNG()
        testLogging.showStandardStreams = true // add this
    }

* 若已知檔案的部分名稱，也可用grep找比較快

5. 從Error Report找到temp job 檔案路徑，到該目錄下列出所有檔案
例如 `var/folders/76sqx3gn7ms3v1sg3yzvjtsm0000gn/T/`
會看到許多temp***.job這也解釋了為什麼越build檔案越多
因為他fail之後就中斷沒有清除檔案，感覺是他們沒寫好
之後輸入 `rm temp*.job`，到根目錄輸入`./gradlew build`指令即可
#### Windows 7 solution
::: warning
1. 設定環境變數，新增系統變數 JAVA_HOME 路徑 C:\Program Files\Java\jdk1.8.0_111
2. Windows 7 的temp*.job檔案目錄在 ****C:\Users\USERNAME\AppData\Local\Temp****
3. 移除所有的 temp***.job
4. 尚需解決Windows特有的[Hadoop環境變數](https://hackmd.io/KYVgzGAsBGAmwFoDGBDEIGRUsCAcSW+AjLGMYdgOyTFA?both#設定環境變數)問題
5. 完成上述步驟後，在根目錄下 `./gradlew build` 即可
:::

以上資訊，希望對大家開發Wherehows能有一點幫助~