Pada tulisan ini akan diuraikan tahapan untuk mengambil data dari file Google Sheet kemudian diolah lebih lanjut di Microsoft excel dengan menggunakan tool Power Query. Tool ini sudah ada di Microsoft Excel 2010 pro sampai sekarang yang digunakan untuk melakukan koneksi ke beberapa type database, halaman web, text file, transformasi data dan analisa data. Khusus di Microsoft Excel 2010 pro dan 2013, Power Query tersedia dalam bentuk add-in sedangkan untuk versi setelah itu sudah menjadi built-in tool. Cara instalasi power query silakan mengacu ke https://www.howtoexcel.org/power-query/how-to-install-power-query/

Saat menulis tutorial ini, saya menggunakan dimana tool Power Query ini ada di menu [Data] pada ribbon [Get & Transform Data]

Gambaran file google sheet yang akan diolah berupa catatan progress harian pekerjaan pengukuran bidang tanah yang terbagi dalam beberapa sheet. Tiap sheet menunjukkan desa sedangkan dalam sheet terdapat catatan harian yang dibedakan berdasarkan blok.

Contoh salah satu sheet di google sheet:

Tiga (3) desa lainnya menggunakan format yang sama tetapi disimpan dalam sheet terpisah.

Hasil yang akah dihasiklan adalah rekap progress tiap blok di masing-masing desa lengkap dengan tanggal terakhir laporan di masing-masing blok.

Berikut Langkah-langkah yang aku kerjakan. Mohon saran dan usulan jika ada metode yang lain selain yang aku uraikan dalam tutorial ini.

Setting Shareable Link di Google Sheet

Buka file google sheet kemudian click tombol di kanan atas Google Sheet.

Pilih setting:

Copy url sheet download file google sheet

Url ini nantinya digunakan sebagai alamat web saat menggunakan get data from web di Power Query.

Pada menu Google Sheet di menu [File] pilih [Download] kemudian pilih [Microsoft Excel (.xlsx).

Tentukan lokasi download di komputer. File di komputer ini sifatnya hanya sementara saja karena pada saat nanti program dijalankan proses pengambilan data akan selalu mengambil data dari google sheet yang tersimpan di google drive.

Jika proses download selesai, tekan Ctrl+J di chrome untuk melihat link hasil download. Click kanan di link download, kemudian pilih [Copy link address]

Simpan / Paste link address tersebut di notepad atau di file lainnya untuk nantinya akan digunakan di power query.

Setting connection ke web di Power Query

1. Jalankan program Excel.
2. Pilih sheet yang kosong kemudian buat table seeperti di bawah ini:

Cell [A2] berisi alamat link download yang dicopy dari google sheet di Langkah sebelumnya.

1. Rubah table di atas menjadi dengan cara blok range [A1:A2], kemudian tekan CTRL+T. Check pilihan [My table has headers].
2. Namai table misalnya : tbl_sheet

1. Convert tabe tbl_gsheet menjadi data connection dengan memilih menu [Data] kemudian [From Table/Range]

Setelah Langkah di atas, maka ditampilkan window Power Query Editor.

1. Click kanan, Task Pane Queries (area kosong di bawah tulisan tbl_gsheet), pilih [New Query]>[Other Sources]>[Web]

Pada isian URL, masukkan lagi alamat link google sheet.

1. Pada setting Navigator, Pilih salah satu sheet yang akan diolah, misal Bantarwuni, kemudian click [OK]

Data yang akan diambil mulai baris ke 5 ke bawah.

Setelah tahap di atas Task Pane Queries menampilkan tambahan query [Bantarwuni]

1. Pilih query [Bantarwuni] kemudian di pilih [Source[ di tahapan Query Setting.

Copy formula di formula bar:

Formula ini akan ditambahkan di query tbl_gsheet.

1. Pilih Query tbl_gsheet kemudian di Power Query pilih menu [Add Column], pilih [Custom Column]

1. Pada column name isikan nama kolom misal Data, kemudian paste formula dari Langkah sebelumnya ke custom colum formula:

1. Text dalam tanda petik hasil copy dari Langkah sebelumnya adalah sama dengan kolom Gsheet, sehingga kita bisa ganti text tersebut, termasuk tanda petiknya, dengan columns [Gsheet]. Blok mulai tanda petik awal sampai tanda petik akhir, lalu pilih kolom Gsheet di Available columns kemudian click [<<Insert], custom column formula menjadi

Click tombol [OK], kemudian click [Continue] saat ada warning data privacy. Anda bisa juga set data privacy setting dengan pilihan yang telah disediakan. Pada tutorial saat ini saya pilih “Ignore Privacy Level”

Click [Save]

Sampai tahap ini , sudah dilakukan setting agar Power Query menjalankan query dengan terlebih dahulu mencari sumber data yang ditulis ditabel tbl_gsheet. Jika menggunakan data yang lain, cukup merubah alamat url di table tbl_gsheet tanpa perlu mengulang Langkah 1-11.

Untuk menyimpan Langkah di atas, sebelum dilanjutkan ke Langkah berikutnya, pada menu [File] di query editor, pilih [Save & Load to] kemudian pilih [Only create connection]

Menggabungkan sheet yang diinginkan

Seperti pada Langkah sebelumnya , proses penggabungan menggunakan fungsi yang di-copy dari query tbl_bantarwuni.

1. Pilih query [Bantarwuni] kemudian di pilih [Source[ di tahapan Query Setting, click setting [Navigation]

   

   Pada tampilan table di atas, baris yang akan diproses adalah mulai baris ke-5 dengan sedangkan untuk baris ke-4 tidak diikutkan dalam proses agar saat penggabungan dari sheet lainnya text Desa, No dan Tanggal tidak muncul di hasil query penggabungan.

    

2. Agar baris 1-3 tidak tampil di table hasil import, saat setting [Navigation] terpilih rubah formula

    

   Semula:

   = Source{[Item=”Bantarwuni”,Kind=”Sheet”]}[Data]

    

   Menjadi:

   =Table.Skip(Source{[Item=”Bantarwuni”,Kind=”Sheet”]}[Data],3)

    

   Sehingga tampilan table menjadi:

   

    

   Formula pada langkah 2 di atas kemudian dicopy ke query tbl_gsheet sehingga nantinya akan berlaku di sheet yang lain tidak hanya di sheet Bantarwuni.

    

3. Pilih query bantarwuni, kemudian click tanda panah / tombol [Expand] di samping tulisan Data

   

   Pilih [Select all columns] kemudian click [OK]

   

   Lakukan filter Data.Kind = Sheet dan [Data.Item]=Petahunan, Pangebatan dan Bantarwuni. [Data.Item] berisi data sheet yang mempunyai struktur table yang sama dengan table/sheet bantarwuni yang akan kita gabung menjadi satu table untuk proses Analisa selanjutnya.

    

4. Pilih kolom [Data.Data] kemudian dari menu [Home], pada pilihan [Remove Columns], click [Remove Other Columns]

    

   

   Table menjadi:

   

5. Langkah selanjutnya adalah membuat kolom baru yang berisi table baru dengan tidak mengikutkan data di baris 1 sampai 3 (Langkah 2).

   Click [Add Colum]>[Custom Column]

    

   Pada New Column Name isikan Data kemudian paste formula =Table.Skip(Source{[Item=”Bantarwuni”,Kind=”Sheet”]}[Data],4) ke custom column formula kemudian rubah formula tersebut menjadi

   

   Kemudian click [OK]

6. Pilih column [Data] kemudian pilih [Remove Other Column] dari menu [Home], sehingga query hanya menampilkan kolom [Data]
7. Click tombol [Expand] di samping kanan tulisan [Data], kemudian pilih [Select All Columns], Hasil dari proses menghasilkan table baru hasil gabungan dari sheet yang dipilih pada Langkah 3, tetapi belum ada nama headernya.

    

   

    

8. Jadikan baris pertama sebagai nama header dengan cara click tombol [Use First Row as Header] di menu [Transform]

   

    

9. Hasil dari Langkah-9, text header dari sheet yang lain masih masuk di hasil query gabungan, untuk menghilangkannya filter header [Desa] kemudian uncheck tulisan “Desa” dan (null)

Analisa Produktivitas Harian dengan Menggunakan Fungsi Agregat

Pada tahap ini akan dilakukan rangkuman progress pengukuran tiap blok di masing-masing desa dengan menjumlahkan progress harian di masing-masing blok.

1. Pilih header atau kolom [Blok-01] sampai [Blok-68]
2. Kemudian dari menu [Transform], pilih [Unpivot Column]
3. Tekan tombol CTRL, pilih kolom [Desa], [Tanggal], [Atribute] dan [Value] kemudian dari menu [Home] pilih [Remove other column] sehingga tampilan table menjadi:

    

   

    

4. Tekan tombol CTRL, pilih kolom [Desa],dan [Atribute], kemudian dari menu [Transform], pilih [Group by]
5. Lakukan setting sebagai berikut:

    

   

   Kemudian click OK

    

6. Expand tombol Rangkuman, kemudian pilih [Agregate]
7. Pada Agregate [tanggal], pilih Minimum dan Maximum untuk mengetahui tanggal awal dan akhir pengukuran

   

8. Kemudian pilih Sum of Value untuk menampilkan pemjumlah progress tiap bloknya.
9. Clik [OK]
10. Rubah nama header, kemudian lakukan sorting [Desa] kemudian [Blok] sehingga tabel menjadi

     

    

     

    Pada tahap ini table query bantarwuni tidak diperlukan lagi, table tersebut hanya digunakan untuk keperluan copy formula saja. Cara menghapus query, click kanan query di task pane query kemudian pilih [Delete]

11. Tutup dan simpan hasil query dengan memilih menu [Home], kemudian [Close and Load]

     

     

Menampilkan Hasil Query di Worksheet Excel Sebagai Tabel

1. Pada menu [Data] di Microsoft excel, pilih [Queries & Connections]

   

2. Pada group queries, click kanan query tbl_gsheet kemdian pilih [Load To]
3. Pilih [Table] kemudian pilih [New Worksheet] atau [Existing Worksheet]
4. Maka table akan ditampilkan dalam excel.
5. Lakukan format angka dan tanggal jika diperlukan.

Tabel ini bersifat dinamis, jika ada perubahan di google sheet, maka dengan menkan tombol [Refresh All], maka data otomatis akan terupdate

#silakan dicoba#

Pada tulisan [CAD-CIV-17]: Membuat Surface dari Data LIDAR / Point Clouds di Civil 3D telah diuraikan langkah-langkah membuat surface dari data point cloud ekteksi LAS yaitu format file dari proses pemetaan dengan LIDAR. Sedangkan pada tulisan ini akan dijelaskan cara import titik koordinat format PointNumber, Bujur, Lintang , Tinggi dari ribuan titik dan diperlakukan sebagai point clount bukan sebagai object titik di civil 3d.

Sumber data saya dapatkan dari anggota grup I love geodesy yang menanyakan cara import titik forma bujur,lintang dalam format csv (comma delimited) terdiri dari 104285 titik ke civil 3D. Pada grup tersebut sudah saya jelaskan cara import titik tersebut dengan membuat custom format kemudian ditentukan type proyeksinya (zone utm) sebelum dilakukan import ke civil 3D. Titik yang didapat pada proses tersebut berupa object titik civil 3D bukan berupa point clouds.

Berikut adalah cara import titik csv dalam format Bujur, Lintang dan Tinggi ke Civil 3D sebagi point cloud

Buka file csv dan tentukan urutan kolomya. Pada contoh file tersebut urutan kolomnya adalah: PointNumber(PN), Bujur (Long), Lintang (Lat), Elevasi (Z)
Tentukan Zone (Projection/Grid Coordinate) Misalkan data akan diproyeksikan ke koordinat UTM, maka berdarkan lokasi bujur dan lintang, zone utm-nya terletak di Zone 48N
Jalankan Civil 3D dengan template metric, kemudian lakukan setting coordinate system gambar ke Zone UTM84-48N >>Pada [Toolspace] civil 3D, pilih [Setting] >>Click kanan [Drawing1], kemudian pilih [Edit Drawing Setting..] >>Pada tab [Units and Zone], masukkan di Selected coordinate system code : UTM84-48N, kemudian click [Apply] lalu [OK]
Membuat Database Point Clouds >> Pada Civil 3D [Toolspace], pilih tab [Prospector] >> Click kanan [Point Clouds] kemudian pilih [Create Point Cloud…}
>> Pada setting [Information] , pilih salah satu [Point Cloud Style] misal [Elevation Ranges], kemudian click [Next]
>> Pada setting [Source Data]: >> pilih point cloud format [PENZ (comma delimited). (1) >> Klik icon kemudian pilih file yang akan diimport dengan terlebih dahulu menyesuaikan extensi filenya. Pada contoh extensi filenya adalah csv. (2) >> Kilk icon untuk menentukan Coordinat sistem (3), kemudian isikan pada [Selected coordinate system code]: LL84 Artinya adalah: file sumber coordinate systemnya Latitute-Longitude (lintang, bujur) dalam ellipsoid wgs 84 >> Kilk [Finish]
Proses pembuatan point clouds sedang diproses
Jika proses sudah selesai, maka pada civil 3d [Toolspace] di tab [Propector] di bawah group [Point Clouds] akan muncul database database point cloud baru
Lakukan zoom extent untuk melihat hasil import
Untuk merubah point cloude menjadi surface,: >> click kanan batas point cloud, kemudian click [Add points to surface] >> pada setting [Surface Option], pilih nama dan surface stylenya, misalnya [Contours 1m and 5m (Background)], kemudian click [Next] >> pada setting [Region Setting], pilih [Point cloud extent], kemudian click [Finish]
Pada civil 3D [Toolspace], di tab [Propestocs] terdapat surface baru di bawah grup [Surface]

===selemat mencoba==

Seperti diuraikan pada post sebelumnya bahwa disarankan untuk menyimpan data pengukuruan total sation dalam bentuk data ukuran yang minimal berisi informasi tentang:

• Tempat berdiri alat dan backsight
• Tinggi alat dan tinggi target
• Nama detail
• Ukuran jarak miring, bacaan sudut horisontal, bacaan sudut vertikal

Dengan informasi di atas, maka jika ada perubahan data atau editing data ukuran misal salah input tinggi alat, tinggi target atau salah input koordinat station dan backsigh dapat dilakukan tanpa harus melakukan pengukuran ulang lagi.

Posting sebelumnya telah diuraikan bagaimana cara mengkonversi data ukuran dari koordinat xyz ke dalam file field book di civil 3d, sedangkan kali ini diuraikan cara menghitung data hasil ukuran koordinat dari total station dengan menggunakan microsoft excel.

Data yang akan diolah adalah data yang saya terima dari surveyoer yaitu berupa data koordinat dalam bentuk XYZ atau lebih tepatnya berformai PENZD (PointNumber, East, North, Z dan Description). Setelah saya gambarkan dalam Civil 3D ternyata posisi koordinat tersebut tidak tepat. Berdasarkan informasi dari surveyornya, ternyata ada salah memasukkan koordinat titik berdiri alat dan koordinat backsight.

Koordinat XYZ yang benar ada dikolom masing FIX_E, FIX_N dan FIX_Z untuk masing-masing station dan backsightnya sehingga perlu dilakukan hitungan koreksi untuk titik SS (sight shot) mulai titik 3 sampai akhir.

Ururutan untuk menghitung koreksi secara garis besar adalah:

1. Menghitung Jarak dan Sudut dari Station ke Detail (SS).

   Dengan menggunakan koordinat awal (koordinat belum dikoreksi):

• Hitung Azimut arah station ke backsight (AZ_BS)
• Hitung Azimuth arah Station ke Foresight / SS (AZ_FS)
• Hitung sudut horisontal dengan rumus (HZ)
• Hitung jarak datar dari station ke detail (HD)
• Hitung beda tinggi dari station ke detail (DH)

1. Menghitung Koordinat Detail berdasarkan Jarak dan Sudut dari titik berdiri alat (Station)

• Dengan koordinat fix, Hitung Azimuth arah station ke backsight (AZ_FIX_BS)
• Hitung Azimuth dari station ke Foresight (SS) (AZ_FIX_FS)
• Hitung koordinat terkoreksi dengfan rumus:

  X_FIX=X_FIX_STA + HD*SIN(AZ_FIX_FS)

  Y_FIX=Y_FIX_STA + HD*COS(AZ_FIX_FS)

  Z_FIX=Z_FIX_STA+DH

Untuk mempermudah input data data , spreadsheet dibuat menggunakan object table. Detail mengenai keuntungan menggunakan object data silakah dibaca di https://www.excelefficiency.com/excel-table-benefits/

==semoga bermanfaat==

Hasil konversi pengukuran total station menjadi data ukur dalam format FBK pada posting sebelumnya adalah:

Saat dilakukan survey, koordinat titik awal di station (STN) di titik 35 dan backsight (BS) awal di titik 34 adalah koordinat hasil pengukuran GPS geodetic dengan nilai sebagai berikut:

Sedangkan untuk koordinat ikat terakhir hasil pengukuran total station yaitu titik 73 dan 74, selanjutnya dicek lagi dengan hasil pengukuran GPS geodetic sehingga akan didapat pengukuran polygon terbuka terikat di awal dan di akhir.

Berikut tahapan pengolahan data fbk tersebut di Civil 3D:

1. Setting Survey Database
   

2. Menentukan Folder / Lokasi Penyimpanan Survey Database
   

Pilih toolspace [Survey], kemudian click kanan [Survey Databases] lalu pilih [Set working folder..]

Pilih atau buat folder baru untuk menyimpan survey database, misal di folder : C:\Civil 3D Projects\dbsurvey_project1.

Clik kanan [Survey Databases] lalu pilih [New local survey database..] kemudian isikan nama local survey database, misalnya dbsvy_01

Tampilan toolspace [Survey] menjadi:

Sedangkan susunan folder survey database menjadi:

1. Setting Survey Database
   

Pada toolspace [Survey], click kanan local survey database (dbsvy_01) kemudian pilih [Edit survey database setting..]. Set survey database seperti gambar di bawah:

1. Menjalankan File FBK
   

2. Membuat Network
   

Pada toolspace [Survey] di bawah folder local database dbsvy_01, click kanan icon [Network] kemudian pilih [New]

Masukkan nama network misalnya net1, sehingga tampilan folder local survey database menjadi:

1. Memasukkan Control Points.
   

Masih di toolspace survey, di bawah network net1, click kanan [Control Points] kemudian pilih [New]

Masukkan nilai koordinat fix (control point) titik 35 dan 34

Cek nilai koordinat control points, dengan click kanan [Control Points] kemudian pilih [Edit]

1. Memasukkan Hasil Ukuran (file fbk) ke Network
   

Click kanan [net1], pilih [Import] kemudian [Import fieldbook]..

Pilih file fieldbook dari latihan sebelumnya kemudian lakukan setting sebagai berikut:

Clik [OK] untuk memulai import fbk.

Koordinat hasil import fbk:

1. Insert Titik dari Survey Database ke Gambar.
   

Masih di local survey database dbsvy_01, click kanan [Survey Points] kemudian [Points]>>[Insert into drawing]

Pilih point style yang diinginkan untuk menampilkan titik

1. Perhitungan Poligon
   

2. Input Tambahan Control Points
   

Misal hasil pengukuran GPS geodetic di titik ikat 73 dan 74 adalah sebagai berikut:

Lakukan input control points seperti langkah B-2

1. Membuat Object Traverse Baru
   

Dalam folder [ net1], Click kanan [Traverses] kemudian pilih [New]

Masukkan dengan setting sebagai berikut:

1. Perhitungan Poligon
   

Dalam folder [ net1], Click [Traverses] kemudian click kanan object polygon yang telah dibuat sebelumnya (pol-01), lalu pilih [Traverse Analysis]

Lakukan setting perhitungan polygon sebagai berikut:

Click [OK]

Hasil perhitungan polygon akan ditampilkan empat (4) text file dengan penamaan file diawali dengan nama polygon/traverse yaitu:

1. pol-01 Raw Closure.trv à kesalahan penutup sebelum dikoreksi
2. pol-01 Balanced Angles.trv à pengukuran sudut terkoreksi
3. pol-01 Vertical Adjustment.trvà elevasi terkoreksi
4. pol-01.lsoà koordinat telah terkoreksi

Kesimpulan dari Bagian-01 dan Bagian-02 bahwa dengan melakukan perhitungan jarak dan sudut dari data koordinat (X, Y, Z) di Excel, maka Analisa polygon dan perhitungan detail/side shot bisa dilakukan di civil 3D dengan syarat, diketahui informasi titik berdiri alat (station) dan setting backsight.

Saya pernah menerima data survey dari surveyor hasil download total station dalam format nama Titik, X, Y, Z (PXYZ) tanpa menyertakan data mentah atau raw data yang berisi informasi tempat berdiri alat, backsight, jarak miring, sudut vertikal, sudut horisontal, tinggi alat dan tinggi target. . Contoh data yang aku terima:

Format hasil download berupa titik, X, Y dan Z mempunyai kelemahan antara lain:

1. Jika ada koreksi data ukuran seperti data jarak, sudut, tinggi alat atau tinggi target maka otomatis koordinat tidak bisa dihitung ulang.
2. Tidak bisa dilakukan pengolahan data poligon atau network adjustment.

Agar data bisa diolah lebih lanjut di civil, maka data di atas perlu dimodifikasi dan diberi data tambahan sebagai berikut:

1. Rubah nama titik menjadi angka bulat karena civil 3d tidak bisa menerima nama titik dalam selain angka bulat. Nama titik menjadi dijadikan point description dalam civil 3d. Format titik menjadi PENZD atau (PointNumber, East, North, Elevation dan Description)
2. Menambahkan koordinat tempat berdiri alat dan koordinat backsight yang nantinya akan digunakan untuk menghitung sudut horisontal
3. Setelah data yang terdiri sudut horisontal, jarak dan beda tinggi sudah dihitung, maka dilakukan konversi ke format autodesk fieldbook (fbk) untuk selanjutnya diproses dengan civil 3d dengan menggunakan tool civil 3d survey.

Format data setelah diedit menjadi:

Tahapan berikutnya adalah untuk menghitung kembali jarak dan sudut horisontal dari data koordinat:

Pada tahap ini jarak datar, sudut horisontal dan beda tinggi sudah didapatkan. Tahap berikutnya adalah merubah data di atas menjadi FBK

Pada tahap ini, file ukuran sudah dirubah menjadi format FBK dan siap untuk di proses di civil 3d. Pilih range [AA3:AA17], kemudian paste di notepad lalu simpan dengan ekstensi *.fbk

((Lanjut ke Bagian-2))