數據團隊守護神-DQT|Mark Yang|PyCon APAC 2022

數據團隊守護神-DQT|Mark Yang|PyCon APAC 2022

PyCon APAC 2022|一般演講 Talks|國泰金控 Cathay Financial Holdings / 美光科技 Micron 冠名贊助

✏️ 共筆 Note:https://hackmd.io/@pycontw/rJrRUaQJs
🖐🏻 Slido:https://app.sli.do/event/gFHqR4nX2VJNiGfcJBXvg8
💬 語言 Language:中文演講/英文投影片 Chinese talk w. English slides
🎯 層級 Level:入門 Novice
🔎 分類 Category:應用 Application

💡 摘要 Abstract 💡
在這個大數據時代,數據量也是與日俱增,如何確保 Data Quality(資料品質)成為各企業的重要課題,在這個 Talk 中,我們會簡介什麼是資料品質以及國泰金控的目前正在發展的 Data Quality Tool,最後介紹 Data Quality Tool 的未來發展。

🪄 說明 Description 🪄
敝公司作為金控業的龍頭,台灣金融數位轉型的領頭羊,手中握有巨量的數據,每天使用這些數據為我們的客戶提供更好的服務,如何確保資料的品質成為重要的課題。這場Talk將會介紹什麼是 Data Quality,我們 Lab 自主研發的 Data Quality Tool 現況以及 Data Quality Tool 未來的發展。目前 Data Quality Tool 使用 PySpark 作為核心運算引擎,以因應巨量資料處理,而使用者僅需會 SQL 語法,即可輕鬆上手; 而未來我們也會將 Data Sketch 演算法,ML 等相關技術應用在資料品質這個領域,以期待Data Quality Tool 成為全集團的資料團隊守護神,保護我們不會取得 Dirty Data,產生 Dirty Result。

🚀 講者介紹 About Speaker – Mark Yang 🚀
目前服務於國泰數數發的資料科學研研發科,是個 Python 初學者。 以前不懂事,都在寫 Scala;現在長大了,開始學 Python。請大家多多指教!!

#pycontw #pyconapac2022 #python #dataquality #pyspark #datasketch

Follow “PyCon Taiwan”
⭐️ Official Website: https://tw.pycon.org
⭐️ Facebook: https://www.facebook.com/pycontw
⭐️ Instagram: https://www.instagram.com/pycontw
⭐️ Twitter: https://twitter.com/PyConTW
⭐️ LinkedIn: https://www.linkedin.com/company/pycontw
⭐️ Blogger: https://pycontw.blogspot.com

日本最大級のゲームアカウントフリマサービス

CTA-IMAGE 遊ばなくなったアプリゲーム、 せっかく課金までしたのに、このまま アカウント削除するのは勿体ないな。。 なんて思った事ありませんか? そんなお悩みの方にフリマ感覚で 売買ができるサイトを紹介するよ。 もちろん、運営サイトを仲介しての取引だから安心、安全!取引中のサポートも充実しているから興味のある方は覗いてみてね。

無料アプリダウンロード

Google Play で手に入れよう

総まとめカテゴリの最新記事