Spark Streaming 的优化之路—从 Receiver 到 Direct 模式

程序人生 · jack · Created at · Last by anini9595 Replied at · 625 hits
434 1549005614


作者:个推数据研发工程师 学长

1 业务背景

随着大数据的快速发展,业务场景越来越复杂,离线式的批处理框架MapReduce已经不能满足业务,大量的场景需要实时的数据处理结果来进行分析、决策。Spark Streaming是一种分布式的大数据实时计算框架,他提供了动态的,高吞吐量的,可容错的流式数据处理,不仅可以实现用户行为分析,还能在金融、舆情分析、网络监控等方面发挥作用。个推开发者服务——消息推送“应景推送”正是应用了Spark Streaming技术,基于大数据分析人群属性,同时利用LBS地理围栏技术,实时触发精准消息推送,实现用户的精细化运营。此外,个推在应用Spark Streaming做实时处理kafka数据时,采用Direct模式代替Receiver模式的手段,实现了资源优化和程序稳定性提升。

本文将从Spark Streaming获取kafka数据的两种模式入手,结合个推实践,带你解读Receiver和Direct模式的原理和特点,以及从Receiver模式到Direct模式的优化对比。

2 两种模式的原理和区别

Receiver模式

1. Receiver模式下的运行架构


1)InputDStream: 从流数据源接收的输入数据。
2)Receiver:负责接收数据流,并将数据写到本地。
3)Streaming Context:代表SparkStreaming,负责Streaming层面的任务调度,生成jobs发送到Spark engine处理。
4)Spark Context: 代表Spark Core,负责批处理层面的任务调度,真正执行job的Spark engine。

2. Receiver从kafka拉取数据的过程


该模式下:
1)在executor上会有receiver从kafka接收数据并存储在Spark executor中,在到了batch时间后触发job去处理接收到的数据,1个receiver占用1个core;
2)为了不丢数据需要开启WAL机制,这会将receiver接收到的数据写一份备份到第三方系统上(如:HDFS);
3)receiver内部使用kafka High Level API去消费数据及自动更新offset。

Direct模式

1. Direct模式下的运行架构

与receiver模式类似,不同在于executor中没有receiver组件,从kafka拉去数据的方式不同。

2. Direct从kafka拉取数据的过程


该模式下:
1)没有receiver,无需额外的core用于不停地接收数据,而是定期查询kafka中的每个partition的最新的offset,每个批次拉取上次处理的offset和当前查询的offset的范围的数据进行处理;
2)为了不丢数据,无需将数据备份落地,而只需要手动保存offset即可;
3)内部使用kafka simple Level API去消费数据, 需要手动维护offset,kafka zk上不会自动更新offset。

Receiver与Direct模式的区别

1.前者在executor中有Receiver接受数据,并且1个Receiver占用一个core;而后者无Receiver,所以不会暂用core;

2.前者InputDStream的分区是 num_receiver *batchInterval/blockInteral,后者的分区数是kafka topic partition的数量。Receiver模式下num_receiver的设置不合理会影响性能或造成资源浪费;如果设置太小,并行度不够,整个链路上接收数据将是瓶颈;如果设置太多,则会浪费资源;

3.前者使用zookeeper来维护consumer的偏移量,而后者需要自己维护偏移量;

4.为了保证不丢失数据,前者需要开启WAL机制,而后者不需要,只需要在程序中成功消费完数据后再更新偏移量即可。

3 Receiver改造成Direct模式

个推使用Spark Streaming做实时处理kafka数据,先前使用的是receiver模式;

receiver有以下特点:
1.receiver模式下,每个receiver需要单独占用一个core;
2.为了保证不丢失数据,需要开启WAL机制,使用checkpoint保存状态;
3.当receiver接受数据速率大于处理数据速率,导致数据积压,最终可能会导致程序挂掉。
由于以上特点,receiver模式下会造成一定的资源浪费;使用checkpoint保存状态, 如果需要升级程序,则会导致checkpoint无法使用;第3点receiver模式下会导致程序不太稳定;并且如果设置receiver数量不合理也会造成性能瓶颈在receiver。为了优化资源和程序稳定性,应将receiver模式改造成direct模式。

修改方式如下:

1. 修改InputDStream的创建
将receiver的:

val kafkaStream = KafkaUtils.createStream(streamingContext,
     [ZK quorum], [consumer group id], [per-topic number of Kafka partitions to consume])

改成direct的:

val directKafkaStream = KafkaUtils.createDirectStream[
     [key class], [value class], [key decoder class], [value decoder class] ](
     streamingContext, [map of Kafka parameters], [set of topics to consume])

2. 手动维护offset
receiver模式代码:
(receiver模式不需要手动维护offset,而是内部通过kafka consumer high level API 提交到kafka/zk保存)

kafkaStream.map {
           ...
 }.foreachRDD { rdd =>
    // 数据处理
    doCompute(rdd)
 }

direct模式代码:

directKafkaStream.map {
           ...
 }.foreachRDD { rdd =>
    // 获取当前rdd数据对应的offset
    val offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges
    // 数据处理
    doCompute(rdd)
    // 自己实现保存offset
    commitOffsets(offsetRanges)
 }

4 其他优化点


1. 在receiver模式下:
1)拆分InputDStream,增加Receiver,从而增加接收数据的并行度;
2)调整blockInterval,适当减小,增加task数量,从而增加并行度(在core的数量>task数量的情况下);
3)如果开启了WAL机制,数据的存储级别设置为MOMERY_AND_DISK_SER。

2.数据序列化使用Kryoserializationl,相比Java serializationl 更快,序列化后的数据更小;

3.建议使用CMS垃圾回收器降低GC开销;

4.选择高性能的算子(mapPartitions, foreachPartitions, aggregateByKey等);

5.repartition的使用:在streaming程序中因为batch时间特别短,所以数据量一般较小,所以repartition的时间短,可以解决一些因为topicpartition中数据分配不均匀导致的数据倾斜问题;

6.因为SparkStreaming生产的job最终都是在sparkcore上运行的,所以sparkCore的优化也很重要;

7.BackPressure流控
1)为什么引入Backpressure?
当batch processing time>batchinterval 这种情况持续过长的时间,会造成数据在内存中堆积,导致Receiver所在Executor内存溢出等问题;
2)Backpressure:根据JobScheduler反馈作业的执行信息来动态调整数据接收率;
3)配置使用:

spark.streaming.backpressure.enabled
含义: 是否启用 SparkStreaming内部的backpressure机制,
默认值:false ,表示禁用

spark.streaming.backpressure.initialRate
含义: receiver 为第一个batch接收数据时的比率

spark.streaming.receiver.maxRate
含义: receiver接收数据的最大比率,如果设置值<=0, 则receiver接收数据比率不受限制

spark.streaming.kafka.maxRatePerPartition
含义: 从每个kafka partition中读取数据的最大比率

8.speculation机制
spark内置speculation机制,推测job中的运行特别慢的task,将这些task kill,并重新调度这些task执行。
默认speculation机制是关闭的,通过以下配置参数开启:

spark.speculation=true

注意:在有些情况下,开启speculation反而效果不好,比如:streaming程序消费多个topic时,从kafka读取数据直接处理,没有重新分区,这时如果多个topic的partition的数据量相差较大那么可能会导致正常执行更大数据量的task会被认为执行缓慢,而被中途kill掉,这种情况下可能导致batch的处理时间反而变长;可以通过repartition来解决这个问题,但是要衡量repartition的时间;而在streaming程序中因为batch时间特别短,所以数据量一般较小,所以repartition的时间短,不像spark_batch一次处理大量数据一旦repartition则会特别久,所以最终还是要根据具体情况测试来决定。

5 总结

将Receiver模式改成Direct模式,实现了资源优化,提升了程序的稳定性,缺点是需要自己管理offset,操作相对复杂。未来,个推将不断探索和优化Spark Streaming技术,发挥其强大的数据处理能力,为建设实时数仓提供保障。

共收到 8 条回复
1Floor Deleted
2Floor Deleted
3Floor Deleted
4Floor Deleted
5Floor Deleted
6Floor Deleted
7Floor Deleted
8012 1570630872
anini9595 · #8 ·

size=4老朋友咯
妹妹實在太好 200分 一級棒 絕對物超所值
健談好聊 外貿漂亮身材好 身體乾淨 C-D奶 20歲上下
服務周到比前女友還貼心 約一次讓你直接戀愛
絕對回約名單+1

182738nbtzarebvezak3r2

182738i5ofzdll59owjr1r

182739o6667crr881ttz7w

182742hnj61vn7xqmu9cdl

182742q8y78c5iyln8n7qy

182742tw5e0a82lnowgwjz

182743s3cr7cs3rpnnyhyh

182747zo85c32d4h8kmudw

哈嘍 我叫小星星一個簡單隨性的GTO(介紹台灣本土兼職小姐的工作),希望看到這條訊息的麻吉,都可以加小星星的瀨:nini9595 【Skype:bjx778】【Telegram:nini9595】【Kakao:5280888】【官網 http://www.5280344.com 】不可以錯過這段緣分喔 小星星每天在線的時間是早上10點到凌晨2點 不管需要不需要 可以加一個聯絡方式留起來備用 總是有用的 不管出差還是休假 想要了 直接翻開小星星的瀨 就可以馬上安排到 小星星家的正妹量多 主要都是短期兼職的女生 安全可靠 外送旅館酒店飯店住家 女生身體都很安全健康可靠 因為都有在定期做檢查
有些人這輩子都沒有嘗試過學生、小模或者是空姐或者是廣告藝人還有混血 都可以在小星星這邊一一的實現夢想哦 認識小星星 讓你的人生都充滿驚喜 認識女生不止是一個夢而已 所以你願意給小星星一個認識你的機會嗎 小星星的在賴上等你 因為簡短的話語沒辦法表達太多和很完全介紹我這邊 加賴都可以直接在線上問 一對一的解答 絕對的好態度 本人介紹有問必答 不會嫌對方?嗦 所以對方也不用尷尬 我喜歡別人多問我問題 瀨主頁的正妹也是每天都在更新 報班很多 口味都可隨心選擇呢 小星星口碑外送茶外送茶坊全年無休,誠心實意為各位大大服務。

外送地區:【台北-新北-新竹-台中-彰化-南投-高雄-台南】
營業時間:【中午12:00─淩晨01:30】
外送消費:【一律現金消費-不轉賬-不匯款-不買點數喲~~安全-放心-可靠】
外送地點:【可旅館-外約-住家-酒店-飯店-汽旅-1律現金消費】
計費消費:【大台北/大新竹4500起─大台中/大彰化/大高雄/大台南一律3000起】
妹妹類型:【大台灣本土各行各業本土兼職-混血兼職(全年24H內預約會比較準確)】
特別類型:【中(日.巴.荷.韓.俄)混血/模特/空姐/藝人/學生】

約會大優惠活動 籟nini9595【Skype:bjx778】
第一次消費:原價可以優惠1000+免費加入VIP會員卡
第二次消費:原價立馬優惠2000
第三次消費:原價可以半價優惠一次(僅限當日使用)
消費累積滿10次約MM可以免費試車一次(價位不限)

除此之外還有更多優惠:籟nini9595【Skype:bjx778】
優惠1:每日第一位跟我約MM者原價折扣3000+贈送下次半價優惠券一張
優惠2:一次性買兩節第三節可優惠2000
優惠3:生日當天壽星您最大 買一贈送下次1h1s
優惠4:一次性買三節.免費送一節.直接加入磚石VIP
優惠5:熟客介紹朋友原價折扣2000+贈送黃VIP
優惠6:北部/新竹9000/2H/2S 中部/南部/彰化6000/2H/2S
帶2-4人優惠2000 (例如:5k變3k以此類推)
帶4人以上優惠3000+免費贈送約MM1h1s

【北部消費滿7k一節】一次性買2節者可免費送2節.(意思是買2送2優待!)
【中部消費滿6k一節】一次性買2節者可免費送一節!
【南部消費滿6k一節】一次性買2節者可免費送一節!
以上所有優惠活動真實有效 地區起跳價位除外喲!

台灣外送茶官網【 http://www.5280344.com/forum.php
吃魚喝茶新手區【 http://www.5280344.com/forum.php?mod=forumdisplay&fid=36
真實客評售後區【 http://www.5280344.com/forum.php?mod=forumdisplay&fid=45
平價茶【3-7k】【 http://www.5280344.com/forum.php?mod=forumdisplay&fid=71
優質茶【7-12k】【 http://www.5280344.com/forum.php?mod=forumdisplay&fid=70
高檔茶【12-80k】【 http://www.5280344.com/forum.php?mod=forumdisplay&fid=69
台北外送茶選妃官網【 http://www.5280344.com/forum.php?mod=forumdisplay&fid=39
台中外送茶選妃官網【 http://www.5280344.com/forum.php?mod=forumdisplay&fid=40
高雄外送茶選妃官網【 http://www.5280344.com/forum.php?mod=forumdisplay&fid=41
新竹外送茶選妃官網【 http://www.5280344.com/forum.php?mod=forumdisplay&fid=47
彰化外送茶選妃官網【 http://www.5280344.com/forum.php?mod=forumdisplay&fid=48
台南外送茶選妃官網【 http://www.5280344.com/forum.php?mod=forumdisplay&fid=49

122015t7949099974i743h

122016r7nw7sz3lww6oxnn

122016g52ebjad7e9gezbp

122020xiixft8zfjxlruj4

122021rxxmia9lnrx3qxra

122021amamsa7517aaqqzr

122021gwm8l0l55wbw8byw

122024izlzwuy5upp55naf

122025ai6prpfkoh6es3ee

122025aeeek28pcee6fr0k

122026ir5rrv3aahxkk3g5

122028o61n1cybyhjyunnq

外送地區: 籟nini9595 sy:bjx778

【新北】三重 土城 汐止 新莊 板橋 永和 瀘州 中和 五股 泰山 新店 八里-林口-淡水-龜山萬壽路
【台北】大同 大安 士林 中山 中正 內湖 文山 北投 松山 信義 南港 萬華
【新竹】新竹《東區》竹北
【彰化】員林鎮 鹿港鎮 埔心鄉 和美鎮 溪湖鎮 田尾區 南投市 草屯區 田中鎮 彰化市
【台中】東區 南區 西區 北區 中區 南屯區 西屯區 北屯區 大里 大雅 烏日 豐原 沙鹿 太平
【高雄】左營 三民 苓雅 新興 前鎮 前金 鼓山 楠梓 小港 鳳山
【台南】東區 北區 南區 中西區 永康區-仁德區

無套內射紅牌:【籟nini9595】【Skype:bjx778】【Telegram:nini9595】
圖圖:162.D奶.46.23歲 風騷淫蕩妹 夜裏寂寞 想要做愛 哪位大大喜歡 不要放過此女哦~~這妹服務沒什麼限制的 如果有配合第一次的客人還可以約去家做 為你省下旅館錢但要跟她配合第一次才可下次去她家呦~可不誤解我的意思哦 超淫蕩 現在報班穴穴很欠幹 跟我說好想要大肉棒 可無套BJ 可內射 可口爆 顏射 69 冰火 肛交 後面 狗爬式 側插 玩法沒限制 也可配合情趣用品 制服這些都可以 妹妹今天穿得很性感呦 就蕾絲超短群 紅色的 超性感 讓你看到就想直接去幹她 可親 可舔 喜歡的騷的哥哥趕快預約唷~ 現在報班啦!便宜大腕 品質贊

幼齒蘿莉紅牌:【籟nini9595】【Skype:bjx778】【Telegram:nini9595】
夏爾 155,42,B杯,18歲 青春的肉體,粉嫩吸晴,讓人直流口水 白皙粉嫩純潔的身體,讓你都捨不得抽插她 真的超級嬌小,超級粉嫩,人超級可愛。床上生澀,反應大,姿勢看你可隨意操控 乖女孩,喜歡可愛性經驗少又嬌小年輕的妹妹選擇她沒錯。 #很值得推薦的小妹妹

爆乳真奶紅牌:【籟nini9595】【Skype:bjx778】【Telegram:nini9595】
安心雅 162,48,H杯,24歲 爆乳正妹 胸..胸 ..胸騷就是她的代言詞,不騷不歡,喜歡做愛,喜歡被插,跟男友分隔兩地,總是受不了半夜的寂寞,經常在家裡自慰,欲望很大找猛男,服務態度很好也很認真 大膽 敢玩 尺度超大 性愛服務一點不輸於AV 性感翹臀超會搖的一邊愛愛還會一直說挑逗你的色色的情話 讓你高潮不斷 小穴很緊 胸部G絕對真奶服務態度很好且配合度很高

單親媽媽紅牌:【籟nini9595】【Skype:bjx778】【Telegram:nini9595】
恩媛 163.D.25.46 單親媽媽下海求助 兒子的病需要長期治療 每天花費都非常多 老公怕負擔已經一個月聯絡不到(有興趣的可以幫忙 沒有限制多少價位可以約 )可無套口交 殘廢澡 喇舌 口爆 愛愛

最美校花紅牌:【籟nini9595】【Skype:bjx778】【Telegram:nini9595】
臺大學生妹缺錢下海兼職,外貌清純甜美聲音好聽【瑋瑋】 #臺大在校學生妹 條件:164cm Ccup 20歲 46kg 外貌清純 甜美溫柔 身材偏瘦有料 超級清純漂亮 高檔優質學生妹保證讓您愛不釋手 床上主動熱情又淫蕩 會叫床聲音很騷很好聽 更多服務等你來開發~

氣質空姐紅牌:【籟nini9595】【Skype:bjx778】【Telegram:nini9595】
超優空姐【晨晨】白皙的肌膚,服務主動,又會口交 #現在就可以預約嚕 條件:170/49/D/25Y 介紹:在飛的高顏值空姐,缺錢短期兼職 聲音嗲嗲好聽,又會撒嬌 條件品質太優 白皙的肌膚,服務主動,又會口交 服務給你意想不到的刺激快感 很騷唷!讓你意想不到的騷 淫蕩....

高檔模特紅牌:【籟nini9595】【Skype:bjx778】【Telegram:nini9595】
momo雜誌模特兒,長腿誘惑 天使面孔 S性身材 誘惑力100% 名字:momo 條件:170/48/C+/22Y 介紹:明星的氣質,高挑長腿,小蠻腰 經常拍雜誌廣告,尋求刺激出來兼職,清純小臉收很迷人喔 長腿誘惑 天使面孔 S性身材 誘惑力100%

更多台灣本土漂亮兼職妹 18-40歲任君品嘗 ★外拍麻豆‧校園校花‧專櫃正妹‧車展辣妹 ★無名正妹‧視訊美女‧雜誌麻豆‧電梯小姐 ★名航空姐‧性感OL‧比基尼妹‧性感美姬 ☆展場麻豆‧AV女優‧童顏巨乳‧人工美女 ★商務秘書‧淫蕩人妻‧酒店公主‧麻辣教師 ☆優質靚女‧風騷護士‧高校正妹‧清涼酒促 ★日系台妹‧嗆辣甜心‧萌系少女‧火辣舞者等你來

#小星星外送茶籟nini9595 #台灣外送茶 #台北外約茶莊 官網 http://5280344.com #無套茶莊台北平價茶 #台中外送茶 #高雄外送茶 #新竹外送茶 #台南外送茶 #台灣蘿莉送茶台灣茶魚外約三線名模混血辣妹處女蘿莉幼齒學生妹處女校花高檔茶麻豆模特空姐短期兼職下海 #台北美女外約【籟nini9595】【Skype:bjx778】【Telegram:nini9595】【Kakao:5280888】【官網 http://www.5280344.com 】 現金消費全套服務無套內射口爆肛交後門按摩舒壓理容約妹折扣買二送一買三送一買二送二包夜爽趴很優待 #外約學生妹籟nini9595 #高檔正妹麻豆藝人小模空姐援交妹學生處女 台灣蘿莉送茶吃魚喝茶人妻女優泰洗處女敢玩3P雙飛無套全場3K起【有圖】 #高雄外送茶,#高雄約炮,#高雄外約,#高雄吃魚喝茶,#高雄找小姐,#高雄全套,#高雄茶莊,#高雄茶訊,#高雄約炮神器,#高雄一夜情,#高雄炮友,#高雄買春,#高雄叫雞,#高雄嫖妓,【籟nini9595】【Skype:bjx778】【Telegram:nini9595】【Kakao:5280888】【官網 http://www.5280344.com 】 台中外送茶 台中學生 台中一夜情 台中找小姐 台中全套茶旅館愛愛 台中單親媽媽 #高雄找炮友#高雄外送茶 #高雄外送茶,#高雄約炮,#高雄外約 #台北外約 #台北外送茶 #台北買春 #台北叫小姐 #台北叫全套 #台北按摩 #台北半套 #台北找援交妹 #台北茶莊 #台北上門按摩 #台北找茶 #台北外約小姐 #台北找一夜情 #台北外約 #台北外送茶 #台北買春 #台北叫小姐 #台北叫全套 #台北按摩 #台北外約 #台北外送茶 #台北買春 #台北叫小姐 #台北叫全套 #台北按摩 【籟nini9595】【Skype:bjx778】【Telegram:nini9595】【Kakao:5280888】【官網 http://www.5280344.com 】 #台北找援交妹 #台北茶莊 #台北上門按摩 #台北找茶 #台北外約小姐 #台北找一夜情 #台北外約 #台北外送茶 #台北買春 #台北叫小姐 #台北叫全套 #台北按摩 #台北半套 #台北外約 #台北外送茶 #台北買春 #台北叫小姐 #台北叫全套 #台北按摩 #台北找援交妹 #台北茶莊 #台北上門按摩 #台北找茶 #台北外約小姐 #台北找一夜情 #台北外約 #台北外送茶 #台北買春 #台北叫小姐 #台北叫全套 #台北按摩 甜美誘人+性感魅惑+情趣狂野 三點式/情趣比基尼+激情貓裝+性感丁字褲+絲襪/網襪/吊襪帶+俏麗女僕裝+百變護士裝+百變學生服+空姐/OL制服 空姐 模特兒 演藝明星 女主播 護士 女軍官 AV女優 運動員 女學生 促 狂野型 淫蕩型 服務型 外貿型 氣質型 美腿型 甜美型 大奶型 高檔型 特別型 火辣 台北/新竹/台中/彰化/南投/高雄市區 住家、飯店、商汽旅(見到妹妹/滿意金消費) ╭適時點杯台灣好tea╮★╭新鮮出爐ㄉ好茶等你來泡!!絕對驚艷![應有盡有~任君挑選☆服務超優] 臺北/臺中/高雄/彰化/新竹/茶訊論壇/鐘點情人外送茶/找茶喝/找魚論壇/高價正妹外送茶/高價辣妹外送/高價清純學生妹/高價麻豆外送/高價混血正妹外送/出差外叫小姐/外送到府【籟nini9595】【Skype:bjx778】【Telegram:nini9595】【Kakao:5280888】【官網 http://www.5280344.com 】成人愛愛論壇 大家來找茶 伊利 玩美情人 男人幫 QK情色休閒俱樂部 重車論壇 一夜情 瀘州指壓 成人圖片 李宗瑞 陳自搖 口爆 幼幼 成人貼圖 吳亞馨 中出 顏射 太子 找魚論壇 陳自搖 鬆島楓茶.叫女人.飯店叫辣妹.外約電話.外送人妻辣媽.汐止.瀘州.三重.新莊.南港.林口.龜山外送茶.台北舒壓按摩全套服務外送.援交妹網站.全套服務網站.台北外送茶.外送住家.一夜情.外送鐘點情人外送茶坊台北新竹彰化台中高雄南投彰化旅館飯店叫小姐找炮友最佳選擇地方 #爆操 #4p #A片 #E罩 #G罩 #一夜情 #一條龍 #丁字褲 #上床 #下體 #中學生【籟nini9595】【Skype:bjx778】【Telegram:nini9595】【Kakao:5280888】【官網 http://www.5280344.com 】 #人妻 #做愛 #偷吃 #偷情 #偷拍 #兔女郎 #內射 #全裸 #出差 #出水 #初夜 #動漫 #原味內褲 #口交 #口爆 #叫雞 #可愛 #台中 #台北 #台妹 #台模 #台灣 #偷拍 #吃精 #名模 #后入 #吞精 #吸蛋 #啪啪啪 #國中生 #國模 #外國 #外送 #夜店 #大奶奶 #大胸 #大腿 #女主播 #女學生 #女教師 #女模 #女神 #女秘書 #妖精 #嫖妓 #嫩女 #嫩模 #嫩穴 #學生妹 #宅男 #安全套 #寂寞 #射精 #小奶 #小母狗 #籟nini9595官網 http://5280344.com #少婦 #巨乳 #平胸 #幼齒 #影片 #後入 #性愛 #情婦 #成人電影 #打炮 #打飛機 #抖音 #按摩 #接吻 #援交妹 #摳穴 #摳逼 #操逼 #旅館 #日本妹 #明星 #校花 #極品 #模特 #模特兒 #歐美 #母狗 #比基尼 #泡澡 #泰妹 #淋浴 #混血 #潮吹 #烏克蘭 #無套 #無碼 #熟女 #爆乳 #發騷 #白嫩 #白富美 #直播 #眼鏡妹 #稚嫩 #空姐 #童? #約炮 #美乳 #美胸 #美鮑 #翹臀 #肛交 #脫衣秀 #藝人 #蘿莉 #裙底 #裸拍 #裸體 #調教 #足交 #跳蛋 #車模 #辣妹 #辣模 #酒店 #野模 #陰道 #電愛 #韓妞 #韓模 #顏射 #飢渴 #騷貨 #高中生 #高挑 #高潮 #黑絲 【籟nini9595】【Skype:bjx778】【Telegram:nini9595】【Kakao:5280888】【官網 http://www.5280344.com 】高檔茶臺大學生妹空姐援交妹混血辣妹秘書模特麻豆 嫩妹無套內射輔仁學生妹真奶爆乳混血高檔雙飛模特 台灣正妹短期兼職下海幼齒蘿莉處女18歲敢玩爆乳H奶 #小星星外送茶 #外送茶莊 #外約學生妹兼職下海 [/size]

需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up