2022四不像论坛

栏目树形导航

您现在的位置：娱乐新闻网 >> 明星资讯 >> 正文

2022四不像论坛

★★★

【字体：小大】

2022四不像论坛

作者：佚名明星资讯来源：来自网络点击数：1 更新时间：2023/6/5

近日，火山引擎安全研究团队对外开源了Jeddak-DPSQL(项目地址：https://github.com/bytedance/Jeddak-DPSQL)，这是基于差分隐私的SQL代理工具，适用于数据管理者可信的场景模式，以中间件的形式接收SQL统计查询请求，返回满足差分隐私的查询结果。据悉，火山引擎对于用户敏感数据尤为重视，在火山引擎提供的数据分析产品中，广泛采用差分隐私技术对用户敏感信息进行保护。此类数据产品通常构建于 ClickHouse 等数据引擎之上，以 SQL 查询方式来执行计算逻辑，且查询逻辑往往较为复杂，因此对差分隐私的应用提出了以下要求：零改造、零感知：最大程度避免影响业务现有查询方式，最好做到业务零感知、零改造;良好、灵活的适配性：能够适配不同数据引擎的查询语法，以及能够处理包含多层嵌套、多重计算、多表连接等情形的复杂 SQL 语句;安全性与可用性平衡：能够根据业务数据质量要求，计算合理的隐私预算，在安全性和数据可用性之间保持平衡;为更好解决数据安全和隐私合规治理相关问题，火山引擎安全研究团队进行了产品调研，目前市面上在SQL查询场景下加入差分隐私能力的产品，发现这些产品大多都没有提供SQL 的自动化分析能力，需主动调用 API 或是在 SQL 中调用 UDF 来引入差分隐私能力，接入成本较高。其中OpenDP产品限定了输入 SQL 的方言，仅支持 SQL 92标准，难以在 Hive、ClickHouse 等主流数仓引擎中透明应用。同时，火山引擎安全研究团队也注意到云服务厂商在To B场景下会提供多款数据分析产品，部分产品的模式面临泄漏用户隐私、法律合规的风险，该类产品通常是通过数据库引擎使用面向实时分析的 clickhouse，计算逻辑用SQL查询的方式执行，因此考虑结合差分隐私技术提供隐私保护的SQL查询能力。基于上述挑战，火山引擎安全研究团队自主研发了Jeddak-DPSQL ，希望能够为同样面临该类问题的企业和个人提供一定参考和帮助，同时也希望能够有更多的外部开发者能够一起对该开源项目进行共建，完善 Jeddak-DPSQL 产品功能，共同构建更完备的应用生态。据了解，Jeddak-DPSQL 能够兼容多种数据引擎和SQL方言，内嵌多种差分噪声扰动算法，具备隐私预算管理能力，并且能够与底层数据引擎结合，在数据分析师无感的情况下，对 SQL 语句进行自动化分析和结果加噪处理。同时，Jeddak-DPSQL 已经在抖音集团相关业务中得到了普遍应用与验证。一、全面了解 Jeddak-DPSQL1、 Jeddak-DPSQL介绍Jeddak-DPSQL采用中心化差分隐私(Centralized Differential Privacy，简称CDP，适用于数据管理者可信的场景)模式，以中间件的形式接收SQL统计查询请求，返回满足差分隐私的查询结果。一个典型的查询请求处理流程如下：●首先，核心服务接受客户提交的SQL查询语句，对该语句进行解析和重写，以便于计算隐私噪声(如将AVG计算改为SUM/COUNT);●然后，核心服务调用元数据管理服务，计算重写后的SQL查询所对应的数据表敏感度，同时在数据库上执行重写后的SQL查询，得到原始的查询结果;●最后，核心服务调用隐私预算管理服务得到为该查询分配的隐私预算，并结合敏感度在原始的查询结果中添加噪声并返回。2、 Jeddak-DPSQL解决的问题案例背景假设有一个数据库 business，存储用户消费数据，使用 clickhouse 引擎，其中一个表 user 存储用户信息，表中存在以下列：uid，name，age，sex，city，代表用户id、姓名、年龄、性别、城市。查询需求假设要查询用户数量和平均年龄的城市分布，使用 SQL 语句 1：风险如果不应用隐私保护技术，可能面临差分攻击的风险，比如攻击者通过某渠道得知张三的 uid 为 803719，构造下面的 SQL 语句 2：#FormatImgID_2#通过执行上面的 SQL语句1 和 SQL 语句2，可分别得到两个查询结果：那么就可以通过比较两次查询结果得知张三所在的城市是北京，年龄大约 61 岁（120008*49.3276 = 5919706.62，120007*49.3275 = 5919645.29，5919706.62 - 5919645.29 约等于 61）以上是一个简单的例子，现实场景中，攻击者可能通过背景知识构造更多样、更复杂的查询语句达到窃取隐私的目的。因此，在上述SQL查询场景下，可以通过接入Jeddak-DPSQL对SQL进行分析和重写，最终执行重写后的SQL能够保证返回给使用者的数据满足差分隐私要求，进而达到对个人隐私保护的效果。3、 Jeddak-DPSQL在火山引擎的应用验证1.Jeddak-DPSQL已接入火山引擎的增长分析(finder)、A/B 测试等产品，间接服务300+外部客户，日均处理查询请求 200+。Jeddak-DPSQL服务不仅帮助业务满足了隐私保护和业务合规的需求，同时也成为创新型隐私计算技术应用的典范案例。2.开放隐私计算OpenMPC对外公布了“隐私计算2021年度优秀应用案例TOP10”。火山引擎云安全凭借“融合差分隐私的火山引擎DPSQL服务”案例，成功入选TOP10。二、如何使用Jeddak-DPSQLGitHub 开源项目地址：https://github.com/bytedance/Jeddak-DPSQL1. 下载#FormatImgID_4#2. 快速部署完成Jeddak-DPSQL下载后，按照README中的部署引导部分完成服务部署，整个部署过程包括以下步骤：●服务依赖包安装：进入项目根目录，使用pip install -r requirements.txt安装服务所需完整pip包●metaData存储准备：在使用DPSQL时，需要维护源数据表的metaData信息，为后续加噪计算敏感度作准备。Jeddak-DPSQL使用Mysql对相应元数据信息进行存储，因此需要用户提前在自己的Mysql数据库中创建相应的表●隐私预算消耗存储准备：使用Jeddak-DPSQL系统过程，可以记录对表级别的数据查询时的隐私预算消耗。主要通过Mysql进行记录，因此需要用户提前在自己的Mysql数据库中创建相应的表●数据库连接配置：Jeddak-DPSQL中使用数据库主要有Mysql和Redis，因此需要对这两个数据库连接地址进行配置●服务启动：完成上述配置后可以在项目根目录运行bootstrap.sh脚本启动服务3. 正式使用完成Jeddak-DPSQL部署后，按照README中的快速开始部分可以进行功能体验，整个过程如下：●选择要测试的数据源(Hive或ClickHouse)，导入要进行查询测试的原始数据集●初始化metadata和隐私预算○生成 metadata启动dpsql服务后，调用接口 /api/v1/metadata/generate，生成metadata，可参考：○确认metadata 生成完成调用 /api/v1/metadata/get 接口，确认 metadata 生成完成●调用隐私保护查询接口，获得经过差分隐私保护的查询结果更多接口使用方式可以参考项目README中的API documentation部分。三、后续计划火山引擎安全研究部门相关负责人表示，Jeddak-DPSQL会长期维护，欢迎大家使用。他也指出，近期开源的Jeddak-DPSQL是首个版本，因此还存在很多不完善的地方，也希望有更多的外部开发者能够一起对该开源项目进行共建，完善产品功能，构建更完备的应用生态。(作者：崔世高)

明星资讯录入：admin 责任编辑：admin

上一个明星资讯：资料库软件

下一个明星资讯：刘伯温图库tk058

【发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口】

最新热点		最新推荐		相关文章
		婵犵數濮烽弫鍛婃叏閻戣棄鏋侀柛娑橈攻閸欏繘鏌ｉ幋锝嗩棄闁哄绶氶弻娑樷槈濮楀牊鏁鹃梺鍛婄懃缁绘﹢寮婚敐澶婄闁挎繂妫Λ鍕⒑閸濆嫷鍎庣紒鑸靛哺瀵鎮㈤崗灏栨嫽闁诲酣娼ф竟濠偽ｉ鍓х＜闁诡垎鍐ｆ寖缂備緡鍣崹鎶藉箲閵忕姭妲堥柕蹇曞Х椤撴椽姊虹紒妯哄闁诲繑宀稿畷瀹狀槾缂佽鲸鎸婚幏鍛矙濞嗙偓娈洪梻浣呵归鍐磹濠靛棭鍤曢悹鍥ㄧゴ濡插牓鏌曡箛鏇烆潔闁靛⿵璐熸禍婊堟煛閸愩劌鈧摜鏁懜鐐逛簻妞ゆ劗鍠愬▍鍥╃磼鏉堛劍灏伴柟宄版嚇楠炴捇骞掑鍜佹闂傚倸鍊风粈浣圭珶婵犲洤纾婚柛鈩冪☉缁愭鏌熼幑鎰【濠殿噮鍓熼弻宥堫檨闁告挾鍠庨～蹇旂節濮橆剛锛滃┑顔矫畷顒劼烽埀顒傜磽閸屾瑧顦︽い鎴濇閺侇噣鏁撻悩鍙夌€悗骞垮劚椤︻垳鐚惧澶嬬厱妞ゆ劑鍊曢弸鏃堟煕濮椻偓缁犳牕顫忓ú顏勪紶闁告洖鐏氭瓏婵犵數鍋涢ˇ鏉棵哄Ο鑲╃焿闁圭儤顨呴～鍛存煏閸繃顥犻柛姗嗕邯濮婅櫣鍖栭弴鐐测拤闂佹寧姘ㄧ槐鎺懳旀担鍝ョ懖闂侀潧娲ょ€氫即銆侀弴銏℃櫜闁搞儮鏅濋弶浠嬫⒒娴ｈ姤銆冮柣鎺炵畵瀹曟繂鈻庤箛鏇熸闂侀潧艌閺呪晠寮崱娑欑厓鐟滄粓宕滈悢缁橈紓婵犳鍠楅敃鈺呭礂濮椻偓瀵劍绂掔€ｎ亞顔婇梺瑙勫劶濡嫮澹曠憴鍕箚闁靛牆瀚崝宥夋煕濞嗗繒绠婚柡宀嬬秮楠炲鏁愰崱鈺傤棄缂備胶鍋撻崕鎶解€﹂悜钘夎摕闁挎繂顦粻娑欍亜閹烘垵鈧鍒掗悽鍛娾拺闁告繂瀚ˉ鐐电磼椤旇姤宕岀€殿喛顕ч鍏煎緞婵犲嫬骞愬┑鐐舵彧缁蹭粙骞夐垾鏂ユ灁闁靛ě鍛紳婵炶揪绲块悺鏃堝吹濞嗘劒绻嗘い鎰剁悼缁犵偟鈧鍠栭…鐑藉箖閵忋倕绀傞悘蹇旂墬鐎氫粙姊虹拠鏌ュ弰婵炰匠鍕彾濠电姴浼ｉ敐澶樻晪闁逞屽墴瀵鎮㈢喊杈ㄦ櫖濠电姴锕ら崯顖炴倶閸績鏀芥い鏃傘€嬮弨缁樹繆閻愯埖顥夐摶鐐烘煕閹扳晛濡锋俊鎻掔墢閳ь剝顫夊ú鏍洪妸鈹库偓渚€宕ㄧ€涙ǚ鎷洪柣鐘叉穿鐏忔瑧绮婚幎鑺ョ厱閻庯綆鍓欐禒褔鏌嶈閸撴岸鎳濇ィ鍐╃厐闁挎繂顦粻鏍ㄧ箾閸℃ɑ灏伴柛濠勭帛娣囧﹪顢涢悙瀛樻殸闁诲孩鐭划娆忣潖缂佹ɑ濯撮柛娑㈡涧缂嶅﹤顕ｉ悽鍓叉晢闁告洦鍓欐禒顓㈡偡濠婂嫭顥嗘俊顐ゅ枛濮婃椽骞愭惔銏㈩槬闂佺ǹ锕ょ紞濠囧箖閳ユ枼鏋庨柟瀵稿У閿涘繘姊洪崫鍕垫Ц闁诲繑绻堥幊婊堟偡閹冲﹦鎳撻オ浼村川椤撴繃顫曢梻浣告惈閼活垳绮旈悜閾般劍绗熼埀顒勫蓟濞戙垹绠婚柡澶嬪灥閹界敻鎮楃憴鍕闁荤喆鍔戞俊鐢稿箛閺夎法顔婇梺鐟邦嚟婵厼危閼哥數绡€闁汇垽娼ф禒锕傛煕椤垵鐏︾€规洜顢婇妵鎰板箳閹炬枼鍋撻崸妤佺厱妞ゎ厽鍨垫禍鏍瑰⿰鍕煉闁哄瞼鍠栧畷顐﹀礋椤撳鍎甸弻娑滅疀閹惧墎鍔梺鍝勮嫰缁夊墎妲愰幒鎳崇喓鎷犻懠顒婄处闂傚倷绀侀幖顐︽儗婢跺本宕叉繝闈涙閺嗭箓鏌曟繛鐐珦闁轰礁锕鍝勨枎閹呬画濡炪値鍋勭粔褰掑蓟閿濆棙鍎熼柕鍫濆缂嶅牓姊洪崷顓€褰掑箺濠婂牆鐒垫い鎺嶈兌椤ｅ弶绻濋姀鈽呰€块柨婵堝仩缁犳盯骞樻担瑙勩仢妞ゃ垺妫冨畷鐔碱敇瑜嶉弫褰掓⒒娴ｄ警鏀伴柛瀣姉閹即濡烽埡浣虹枃闂佹悶鍎洪崜娆戠不椤栨埃鏀介柣妯虹－椤ｆ煡鏌嶉柨瀣仼缂佽鲸甯為埀顒婄秵閸嬫帡宕曢妷鈺傜厱閹兼番鍨规慨宥夋煛瀹€鈧崰鏍х暦椤愶箑唯闁靛鍊曢ˉ姘辩磽閸屾瑧顦﹂柛濠傛憸缁棃鎮烽幍顔芥闂侀潧饪垫俊鍥╁姬閳ь剟姊洪崨濠傚闁告柨鏈穱濠囧箮閼恒儮鎷绘繛鎾村焹閸嬫挻绻涙担鍐叉储閸嬫垿鏌涢…鎴濅簵缂佽妫濋弻娑㈠Ψ椤旂厧顫╅梺绋胯閸旀垵顫忓ú顏嶆晢闁逞屽墰缁棃鎮界粙璺ㄥ幈闂佺鎻梽鍕偂閺囩喓绡€闂傚牊绋掗ˉ婊勩亜韫囷絼閭柡灞剧〒娴狅妇鎷犻幓鎺濇綆闂備礁鎼張顒勬儎椤栨凹鍤曟い鎺戝閸ゅ嫭銇勯弽銊ュ毈濞寸厧鍟村缁樻媴閸濄儲鐎銈嗘肠閸涱垳鐓嬮梺鍦檸閸ｎ垳绱為弽銊х瘈濠电姴鍊绘晶鏇㈡煟閹烘垹浠涢柕鍥у楠炴帡骞嬪┑鎰偅闂備浇妫勯崯浼村窗閹邦喗宕叉繛鎴欏灩缁狅絾绻涢崱妤冪濞寸娀绠栧铏圭矙閸栤€充紣濡炪値鍘鹃崗妯侯嚕鐠囨祴妲堥柕蹇曞閵娾晜鐓ユ繝闈涙閸ｈ銇勯鈧悧鍡涒€旈崘顔嘉ч柛娑橆嚟瀹曨亪姊洪悷鏉挎闁瑰嚖鎷�		2022四不像论坛 2022四不像论坛 2022四不像论坛 2022四不像论坛 2022四不像论坛 2022四不像论坛 2022四不像论坛 2022四不像论坛 2022四不像论坛 2022四不像论坛

　　网友评论：（只显示最新10条。评论内容只代表网友观点，与本站立场无关！）

没有任何评论

娱乐新闻网声明：登载内容出于传递信息之目的，绝不意味着赞同其观点或证实其描述，若侵权请来信告知，我们将及时处理！站长：