| 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847848849850851852853854855856857858859860861862863864865866867868869870871872873874875876877878879880881882883884885886887888889890891892893894895896897898899900901902903904905906907908909910911912913914915916917918919920921922923924925926927928929930931932933934935936937938939940941942943944945946947948949950951952953954955956957958959960961962963964965966967968969970971972973974975976977978979980981982983984985986987988989990991992993994995996997998999100010011002100310041005100610071008100910101011101210131014101510161017101810191020102110221023102410251026102710281029103010311032103310341035103610371038103910401041104210431044104510461047104810491050105110521053105410551056105710581059106010611062106310641065106610671068106910701071107210731074107510761077107810791080108110821083108410851086108710881089109010911092109310941095109610971098109911001101110211031104110511061107110811091110111111121113111411151116111711181119112011211122112311241125112611271128112911301131113211331134113511361137113811391140114111421143114411451146114711481149115011511152115311541155115611571158115911601161116211631164116511661167116811691170117111721173117411751176117711781179118011811182118311841185118611871188118911901191119211931194119511961197119811991200120112021203120412051206120712081209121012111212121312141215121612171218121912201221122212231224122512261227122812291230123112321233123412351236123712381239124012411242124312441245124612471248124912501251125212531254125512561257125812591260126112621263126412651266126712681269127012711272127312741275127612771278127912801281128212831284128512861287128812891290129112921293129412951296129712981299130013011302130313041305130613071308130913101311131213131314131513161317131813191320132113221323132413251326132713281329133013311332133313341335133613371338133913401341134213431344134513461347134813491350135113521353135413551356135713581359136013611362136313641365136613671368136913701371137213731374137513761377137813791380138113821383138413851386138713881389139013911392139313941395139613971398139914001401140214031404140514061407140814091410141114121413141414151416141714181419142014211422142314241425142614271428142914301431143214331434143514361437143814391440144114421443144414451446144714481449145014511452145314541455145614571458145914601461146214631464146514661467146814691470147114721473147414751476147714781479148014811482148314841485148614871488148914901491149214931494149514961497149814991500150115021503150415051506150715081509151015111512151315141515151615171518151915201521152215231524152515261527152815291530153115321533153415351536153715381539154015411542154315441545154615471548154915501551155215531554155515561557155815591560156115621563156415651566156715681569157015711572157315741575157615771578157915801581158215831584158515861587158815891590159115921593159415951596159715981599160016011602160316041605160616071608160916101611161216131614161516161617161816191620162116221623162416251626162716281629163016311632163316341635163616371638163916401641164216431644164516461647164816491650165116521653165416551656165716581659166016611662166316641665166616671668166916701671167216731674167516761677167816791680168116821683168416851686168716881689169016911692169316941695169616971698169917001701170217031704170517061707170817091710171117121713171417151716171717181719172017211722172317241725172617271728172917301731173217331734173517361737173817391740174117421743174417451746174717481749175017511752175317541755175617571758175917601761176217631764176517661767176817691770177117721773177417751776177717781779178017811782178317841785178617871788178917901791179217931794179517961797179817991800180118021803180418051806180718081809181018111812181318141815181618171818181918201821182218231824182518261827182818291830183118321833183418351836183718381839184018411842184318441845184618471848184918501851185218531854185518561857185818591860186118621863186418651866186718681869187018711872187318741875187618771878187918801881188218831884188518861887188818891890189118921893189418951896189718981899190019011902190319041905190619071908190919101911191219131914191519161917191819191920192119221923192419251926192719281929193019311932193319341935193619371938193919401941194219431944194519461947194819491950195119521953195419551956195719581959196019611962196319641965196619671968196919701971197219731974197519761977197819791980198119821983198419851986198719881989199019911992199319941995199619971998199920002001200220032004200520062007200820092010201120122013201420152016201720182019202020212022202320242025202620272028202920302031203220332034203520362037203820392040204120422043204420452046204720482049205020512052205320542055205620572058205920602061206220632064206520662067206820692070207120722073207420752076207720782079208020812082208320842085208620872088208920902091209220932094209520962097209820992100210121022103210421052106210721082109211021112112211321142115211621172118211921202121212221232124212521262127212821292130213121322133213421352136213721382139214021412142214321442145214621472148214921502151215221532154215521562157215821592160216121622163216421652166216721682169217021712172217321742175217621772178217921802181218221832184218521862187218821892190219121922193219421952196219721982199220022012202220322042205220622072208220922102211221222132214221522162217221822192220222122222223222422252226222722282229223022312232223322342235223622372238223922402241224222432244224522462247224822492250225122522253225422552256225722582259226022612262226322642265226622672268226922702271227222732274227522762277227822792280228122822283228422852286228722882289229022912292229322942295229622972298229923002301230223032304230523062307230823092310231123122313231423152316231723182319232023212322232323242325232623272328232923302331233223332334233523362337233823392340234123422343234423452346234723482349235023512352235323542355235623572358235923602361236223632364236523662367236823692370237123722373237423752376237723782379238023812382238323842385238623872388238923902391239223932394239523962397239823992400240124022403240424052406240724082409241024112412241324142415241624172418241924202421242224232424242524262427242824292430243124322433243424352436243724382439244024412442244324442445244624472448244924502451245224532454245524562457245824592460246124622463246424652466246724682469247024712472247324742475247624772478247924802481248224832484248524862487248824892490249124922493249424952496249724982499250025012502250325042505250625072508250925102511251225132514251525162517251825192520252125222523252425252526252725282529253025312532253325342535253625372538253925402541254225432544254525462547254825492550255125522553255425552556255725582559256025612562256325642565256625672568256925702571257225732574257525762577257825792580258125822583258425852586258725882589259025912592259325942595259625972598259926002601260226032604260526062607260826092610261126122613261426152616261726182619262026212622262326242625262626272628262926302631263226332634263526362637263826392640264126422643264426452646264726482649265026512652265326542655265626572658265926602661266226632664266526662667266826692670267126722673267426752676267726782679268026812682268326842685268626872688268926902691269226932694269526962697269826992700270127022703270427052706270727082709271027112712271327142715271627172718271927202721272227232724272527262727272827292730273127322733273427352736273727382739274027412742274327442745274627472748274927502751275227532754275527562757275827592760276127622763276427652766276727682769277027712772277327742775277627772778277927802781278227832784278527862787278827892790279127922793279427952796279727982799280028012802280328042805280628072808280928102811281228132814281528162817281828192820282128222823282428252826282728282829 |
- <!DOCTYPE HTML>
- <html lang="" >
- <head>
- <meta charset="UTF-8">
- <meta content="text/html; charset=utf-8" http-equiv="Content-Type">
- <title>服务器开发中网络数据分析与故障排查经验漫谈 · 高性能服务器开发 技术专栏</title>
- <meta http-equiv="X-UA-Compatible" content="IE=edge" />
- <meta name="description" content="">
- <meta name="generator" content="GitBook 3.2.3">
- <meta name="author" content="easy_coder">
-
-
-
- <link rel="stylesheet" href="../../gitbook/style.css">
-
-
-
- <link rel="stylesheet" href="../../gitbook/gitbook-plugin-chapter-fold/chapter-fold.css">
-
-
-
- <link rel="stylesheet" href="../../gitbook/gitbook-plugin-search-pro/search.css">
-
-
-
- <link rel="stylesheet" href="../../gitbook/gitbook-plugin-splitter/splitter.css">
-
-
-
- <link rel="stylesheet" href="../../gitbook/gitbook-plugin-back-to-top-button/plugin.css">
-
-
-
- <link rel="stylesheet" href="../../gitbook/gitbook-plugin-prism/prism.css">
-
-
-
- <link rel="stylesheet" href="../../gitbook/gitbook-plugin-tbfed-pagefooter/footer.css">
-
-
-
- <link rel="stylesheet" href="../../gitbook/gitbook-plugin-code/plugin.css">
-
-
-
- <link rel="stylesheet" href="../../gitbook/gitbook-plugin-anchor-navigation-ex/style/plugin.css">
-
-
-
- <link rel="stylesheet" href="../../gitbook/gitbook-plugin-fontsettings/website.css">
-
-
-
- <link rel="stylesheet" href="../../gitbook/gitbook-plugin-theme-fexa/fexa.css">
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
- <meta name="HandheldFriendly" content="true"/>
- <meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=no">
- <meta name="apple-mobile-web-app-capable" content="yes">
- <meta name="apple-mobile-web-app-status-bar-style" content="black">
- <link rel="apple-touch-icon-precomposed" sizes="152x152" href="../../gitbook/images/apple-touch-icon-precomposed-152.png">
- <link rel="shortcut icon" href="../../gitbook/images/favicon.ico" type="image/x-icon">
-
- <link rel="next" href="../高性能服务器框架设计/" />
-
-
- <link rel="prev" href="从抓包的角度分析connect函数的连接过程.html" />
-
- </head>
- <body>
-
- <div class="book">
- <div class="header-inner">
- <!-- LOGO -->
- <div class="logo"></div>
- <span class="title"></span>
- <!-- Search -->
-
- <div id="book-search-input" role="search">
- <input type="text" placeholder="Type to search" />
- </div>
- <!-- Nav -->
- <ul class="header-nav">
-
- </ul>
- </div>
- <div class="book-summary">
- <div class="book-summary-title">文档目录</div>
-
-
- <nav role="navigation">
-
- <ul class="summary">
-
-
-
-
-
- <li class="header">Part I</li>
-
-
-
- <li class="chapter " data-level="1.1" data-path="../../">
-
- <a href="../../">
-
-
- Introduction
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="1.2" data-path="../C++必知必会的知识点/">
-
- <a href="../C++必知必会的知识点/">
-
-
- C++必知必会的知识点
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="1.2.1" data-path="../C++必知必会的知识点/如何成为一名合格的CC++开发者？.html">
-
- <a href="../C++必知必会的知识点/如何成为一名合格的CC++开发者？.html">
-
-
- 如何成为一名合格的C/C++开发者？
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="1.2.2" data-path="../C++必知必会的知识点/不定参数函数实现var_arg系列的宏.html">
-
- <a href="../C++必知必会的知识点/不定参数函数实现var_arg系列的宏.html">
-
-
- 不定参数函数实现var_arg系列的宏
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="1.2.3" data-path="../C++必知必会的知识点/你一定要搞明白的C函数调用方式与栈原理.html">
-
- <a href="../C++必知必会的知识点/你一定要搞明白的C函数调用方式与栈原理.html">
-
-
- 你一定要搞明白的C函数调用方式与栈原理
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="1.2.4" data-path="../C++必知必会的知识点/深入理解CC++中的指针.html">
-
- <a href="../C++必知必会的知识点/深入理解CC++中的指针.html">
-
-
- 深入理解C/C++中的指针
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="1.2.5" data-path="../C++必知必会的知识点/详解C++11中的智能指针.html">
-
- <a href="../C++必知必会的知识点/详解C++11中的智能指针.html">
-
-
- 详解C++11中的智能指针
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="1.2.6" data-path="../C++必知必会的知识点/C++17结构化绑定.html">
-
- <a href="../C++必知必会的知识点/C++17结构化绑定.html">
-
-
- C++17结构化绑定
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="1.2.7" data-path="../C++必知必会的知识点/C++必须掌握的pimpl惯用法.html">
-
- <a href="../C++必知必会的知识点/C++必须掌握的pimpl惯用法.html">
-
-
- C++必须掌握的pimpl惯用法
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="1.2.8" data-path="../C++必知必会的知识点/用VisualStudio调试Linux程序.html">
-
- <a href="../C++必知必会的知识点/用VisualStudio调试Linux程序.html">
-
-
- 用Visual Studio调试Linux程序
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="1.2.9" data-path="../C++必知必会的知识点/如何使用VisualStudio管理和阅读开源项目代码.html">
-
- <a href="../C++必知必会的知识点/如何使用VisualStudio管理和阅读开源项目代码.html">
-
-
- 如何使用Visual Studio管理和阅读开源项目代码
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="1.2.10" data-path="../C++必知必会的知识点/利用cmake工具生成VisualStudio工程文件.html">
-
- <a href="../C++必知必会的知识点/利用cmake工具生成VisualStudio工程文件.html">
-
-
- 利用cmake工具生成Visual Studio工程文件
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
- <li class="chapter " data-level="1.3" data-path="../多线程/">
-
- <a href="../多线程/">
-
-
- 多线程
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="1.3.1" data-path="../多线程/后台C++开发你一定要知道的条件变量.html">
-
- <a href="../多线程/后台C++开发你一定要知道的条件变量.html">
-
-
- 后台C++开发你一定要知道的条件变量
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="1.3.2" data-path="../多线程/整型变量赋值是原子操作吗？.html">
-
- <a href="../多线程/整型变量赋值是原子操作吗？.html">
-
-
- 整型变量赋值是原子操作吗？
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
-
-
- <li class="divider"></li>
-
-
-
- <li class="chapter " data-level="2.1" data-path="../网络编程/">
-
- <a href="../网络编程/">
-
-
- 网络编程
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="2.1.1" data-path="../网络编程/bind函数重难点解析.html">
-
- <a href="../网络编程/bind函数重难点解析.html">
-
-
- bind 函数重难点解析
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="2.1.2" data-path="../网络编程/connect函数在阻塞和非阻塞模式下的行为.html">
-
- <a href="../网络编程/connect函数在阻塞和非阻塞模式下的行为.html">
-
-
- connect 函数在阻塞和非阻塞模式下的行为
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="2.1.3" data-path="../网络编程/select函数重难点解析.html">
-
- <a href="../网络编程/select函数重难点解析.html">
-
-
- select 函数重难点解析
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="2.1.4" data-path="../网络编程/Linuxepoll模型（含LT模式和ET模式详解）.html">
-
- <a href="../网络编程/Linuxepoll模型（含LT模式和ET模式详解）.html">
-
-
- Linux epoll 模型（含LT 模式和 ET 模式详解）
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="2.1.5" data-path="../网络编程/socket的阻塞模式和非阻塞模式.html">
-
- <a href="../网络编程/socket的阻塞模式和非阻塞模式.html">
-
-
- socket 的阻塞模式和非阻塞模式
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="2.1.6" data-path="../网络编程/非阻塞模式下send和recv函数的返回值.html">
-
- <a href="../网络编程/非阻塞模式下send和recv函数的返回值.html">
-
-
- 非阻塞模式下 send 和 recv 函数的返回值
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="2.1.7" data-path="../网络编程/服务器开发通信协议设计介绍.html">
-
- <a href="../网络编程/服务器开发通信协议设计介绍.html">
-
-
- 服务器开发通信协议设计介绍
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="2.1.8" data-path="../网络编程/TCP协议如何解决粘包、半包问题.html">
-
- <a href="../网络编程/TCP协议如何解决粘包、半包问题.html">
-
-
- TCP 协议如何解决粘包、半包问题
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="2.1.9" data-path="../网络编程/网络通信中收发数据的正确姿势.html">
-
- <a href="../网络编程/网络通信中收发数据的正确姿势.html">
-
-
- 网络通信中收发数据的正确姿势
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="2.1.10" data-path="../网络编程/服务器端发数据时，如果对端一直不收，怎么办？.html">
-
- <a href="../网络编程/服务器端发数据时，如果对端一直不收，怎么办？.html">
-
-
- 服务器端发数据时，如果对端一直不收，怎么办？
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
-
-
- <li class="divider"></li>
-
-
-
- <li class="chapter " data-level="3.1" data-path="./">
-
- <a href="./">
-
-
- 程序员必知必会的网络命令
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="3.1.1" data-path="利用telnet命令发电子邮件.html">
-
- <a href="利用telnet命令发电子邮件.html">
-
-
- 利用telnet命令发电子邮件
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="3.1.2" data-path="做Java或者C++开发都应该知道的lsof命令.html">
-
- <a href="做Java或者C++开发都应该知道的lsof命令.html">
-
-
- 做Java或者C++开发都应该知道的lsof命令
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="3.1.3" data-path="Linux网络故障排查的瑞士军刀.html">
-
- <a href="Linux网络故障排查的瑞士军刀.html">
-
-
- Linux网络故障排查的瑞士军刀nc命令
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="3.1.4" data-path="Linuxtcpdump使用介绍.html">
-
- <a href="Linuxtcpdump使用介绍.html">
-
-
- Linux tcpdump使用详解
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="3.1.5" data-path="从抓包的角度分析connect函数的连接过程.html">
-
- <a href="从抓包的角度分析connect函数的连接过程.html">
-
-
- 从抓包的角度分析connect函数的连接过程
-
- </a>
-
-
- </li>
-
- <li class="chapter active" data-level="3.1.6" data-path="服务器开发中网络数据分析与故障排查经验漫谈.html">
-
- <a href="服务器开发中网络数据分析与故障排查经验漫谈.html">
-
-
- 服务器开发中网络数据分析与故障排查经验漫谈
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
-
-
- <li class="header">Part II</li>
-
-
-
- <li class="chapter " data-level="4.1" data-path="../高性能服务器框架设计/">
-
- <a href="../高性能服务器框架设计/">
-
-
- 高性能服务器框架设计
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="4.1.1" data-path="../高性能服务器框架设计/主线程与工作线程的分工.html">
-
- <a href="../高性能服务器框架设计/主线程与工作线程的分工.html">
-
-
- 主线程与工作线程的分工
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="4.1.2" data-path="../高性能服务器框架设计/Reactor模式.html">
-
- <a href="../高性能服务器框架设计/Reactor模式.html">
-
-
- Reactor模式
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="4.1.3" data-path="../高性能服务器框架设计/实例：一个服务器程序的架构介绍.html">
-
- <a href="../高性能服务器框架设计/实例：一个服务器程序的架构介绍.html">
-
-
- 实例：一个服务器程序的架构介绍
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="4.1.4" data-path="../高性能服务器框架设计/错误码系统的设计.html">
-
- <a href="../高性能服务器框架设计/错误码系统的设计.html">
-
-
- 错误码系统的设计
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="4.1.5" data-path="../高性能服务器框架设计/日志系统的设计.html">
-
- <a href="../高性能服务器框架设计/日志系统的设计.html">
-
-
- 日志系统的设计
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="4.1.6" data-path="../高性能服务器框架设计/如何设计断线自动重连机制.html">
-
- <a href="../高性能服务器框架设计/如何设计断线自动重连机制.html">
-
-
- 如何设计断线自动重连机制
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="4.1.7" data-path="../高性能服务器框架设计/心跳包机制设计详解.html">
-
- <a href="../高性能服务器框架设计/心跳包机制设计详解.html">
-
-
- 心跳包机制设计详解
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="4.1.8" data-path="../高性能服务器框架设计/业务数据处理一定要单独开线程吗.html">
-
- <a href="../高性能服务器框架设计/业务数据处理一定要单独开线程吗.html">
-
-
- 业务数据处理一定要单独开线程吗
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="4.1.9" data-path="../高性能服务器框架设计/C++高性能服务器网络框架设计细节.html">
-
- <a href="../高性能服务器框架设计/C++高性能服务器网络框架设计细节.html">
-
-
- C++ 高性能服务器网络框架设计细节
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
-
-
- <li class="divider"></li>
-
-
-
- <li class="chapter " data-level="5.1" data-path="../服务器开发案例实战/">
-
- <a href="../服务器开发案例实战/">
-
-
- 服务器开发案例实战
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="5.1.1" data-path="../服务器开发案例实战/从零实现一个http服务器.html">
-
- <a href="../服务器开发案例实战/从零实现一个http服务器.html">
-
-
- 从零实现一个http服务器
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="5.1.2" data-path="../服务器开发案例实战/从零实现一款12306刷票软件.html">
-
- <a href="../服务器开发案例实战/从零实现一款12306刷票软件.html">
-
-
- 从零实现一款12306刷票软件
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="5.1.3" data-path="../服务器开发案例实战/从零实现一个邮件收发客户端.html">
-
- <a href="../服务器开发案例实战/从零实现一个邮件收发客户端.html">
-
-
- 从零实现一个邮件收发客户端
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="5.1.4" data-path="../服务器开发案例实战/从零开发一个WebSocket服务器.html">
-
- <a href="../服务器开发案例实战/从零开发一个WebSocket服务器.html">
-
-
- 从零开发一个WebSocket服务器
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="5.1.5" data-path="../服务器开发案例实战/1从一款多人联机实时对战游戏开始.html">
-
- <a href="../服务器开发案例实战/1从一款多人联机实时对战游戏开始.html">
-
-
- 从零学习开源项目系列（一） 从一款多人联机实时对战游戏开始
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="5.1.6" data-path="../服务器开发案例实战/2最后一战概况.html">
-
- <a href="../服务器开发案例实战/2最后一战概况.html">
-
-
- 从零学习开源项目系列（二） 最后一战概况
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="5.1.7" data-path="../服务器开发案例实战/3CSBattleMgr服务源码研究.html">
-
- <a href="../服务器开发案例实战/3CSBattleMgr服务源码研究.html">
-
-
- 从零学习开源项目系列（三） CSBattleMgr服务源码研究
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="5.1.8" data-path="../服务器开发案例实战/4LogServer源码探究.html">
-
- <a href="../服务器开发案例实战/4LogServer源码探究.html">
-
-
- 从零学习开源项目系列（四）LogServer源码探究
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
-
-
- <li class="header">Part III</li>
-
-
-
- <li class="chapter " data-level="6.1" data-path="../TeamTalk源码解析/">
-
- <a href="../TeamTalk源码解析/">
-
-
- TeamTalk IM源码分析
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="6.1.1" data-path="../TeamTalk源码解析/01TeamTalk介绍.html">
-
- <a href="../TeamTalk源码解析/01TeamTalk介绍.html">
-
-
- 01 TeamTalk介绍
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="6.1.2" data-path="../TeamTalk源码解析/02服务器端的程序的编译与部署.html">
-
- <a href="../TeamTalk源码解析/02服务器端的程序的编译与部署.html">
-
-
- 02 服务器端的程序的编译与部署
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="6.1.3" data-path="../TeamTalk源码解析/03服务器端的程序架构介绍.html">
-
- <a href="../TeamTalk源码解析/03服务器端的程序架构介绍.html">
-
-
- 03 服务器端的程序架构介绍
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="6.1.4" data-path="../TeamTalk源码解析/04服务器端db_proxy_server源码分析.html">
-
- <a href="../TeamTalk源码解析/04服务器端db_proxy_server源码分析.html">
-
-
- 04 服务器端db_proxy_server源码分析
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="6.1.5" data-path="../TeamTalk源码解析/05服务器端msg_server源码分析.html">
-
- <a href="../TeamTalk源码解析/05服务器端msg_server源码分析.html">
-
-
- 05 服务器端msg_server源码分析
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="6.1.6" data-path="../TeamTalk源码解析/06服务器端login_server源码分析.html">
-
- <a href="../TeamTalk源码解析/06服务器端login_server源码分析.html">
-
-
- 06 服务器端login_server源码分析
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="6.1.7" data-path="../TeamTalk源码解析/07服务器端msfs源码分析.html">
-
- <a href="../TeamTalk源码解析/07服务器端msfs源码分析.html">
-
-
- 07 服务器端msfs源码分析
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="6.1.8" data-path="../TeamTalk源码解析/08服务器端file_server源码分析.html">
-
- <a href="../TeamTalk源码解析/08服务器端file_server源码分析.html">
-
-
- 08 服务器端file_server源码分析
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="6.1.9" data-path="../TeamTalk源码解析/09服务器端route_server源码分析.html">
-
- <a href="../TeamTalk源码解析/09服务器端route_server源码分析.html">
-
-
- 09 服务器端route_server源码分析
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="6.1.10" data-path="../TeamTalk源码解析/10开放一个TeamTalk测试服务器地址和几个测试账号.html">
-
- <a href="../TeamTalk源码解析/10开放一个TeamTalk测试服务器地址和几个测试账号.html">
-
-
- 10 开放一个TeamTalk测试服务器地址和几个测试账号
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="6.1.11" data-path="../TeamTalk源码解析/11pc客户端源码分析.html">
-
- <a href="../TeamTalk源码解析/11pc客户端源码分析.html">
-
-
- 11 pc客户端源码分析
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
-
-
- <li class="divider"></li>
-
-
-
- <li class="chapter " data-level="7.1" data-path="../libevent源码深度剖析/">
-
- <a href="../libevent源码深度剖析/">
-
-
- libevent源码深度剖析
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="7.1.1" data-path="../libevent源码深度剖析/libevent源码深度剖析01.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析01.html">
-
-
- libevent源码深度剖析01
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.1.2" data-path="../libevent源码深度剖析/libevent源码深度剖析02.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析02.html">
-
-
- libevent源码深度剖析02
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.1.3" data-path="../libevent源码深度剖析/libevent源码深度剖析03.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析03.html">
-
-
- libevent源码深度剖析03
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.1.4" data-path="../libevent源码深度剖析/libevent源码深度剖析04.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析04.html">
-
-
- libevent源码深度剖析04
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.1.5" data-path="../libevent源码深度剖析/libevent源码深度剖析05.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析05.html">
-
-
- libevent源码深度剖析05
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.1.6" data-path="../libevent源码深度剖析/libevent源码深度剖析06.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析06.html">
-
-
- libevent源码深度剖析06
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.1.7" data-path="../libevent源码深度剖析/libevent源码深度剖析07.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析07.html">
-
-
- libevent源码深度剖析07
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.1.8" data-path="../libevent源码深度剖析/libevent源码深度剖析08.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析08.html">
-
-
- libevent源码深度剖析08
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.1.9" data-path="../libevent源码深度剖析/libevent源码深度剖析09.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析09.html">
-
-
- libevent源码深度剖析09
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.1.10" data-path="../libevent源码深度剖析/libevent源码深度剖析10.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析10.html">
-
-
- libevent源码深度剖析10
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.1.11" data-path="../libevent源码深度剖析/libevent源码深度剖析11.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析11.html">
-
-
- libevent源码深度剖析11
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.1.12" data-path="../libevent源码深度剖析/libevent源码深度剖析12.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析12.html">
-
-
- libevent源码深度剖析12
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.1.13" data-path="../libevent源码深度剖析/libevent源码深度剖析13.html">
-
- <a href="../libevent源码深度剖析/libevent源码深度剖析13.html">
-
-
- libevent源码深度剖析13
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
- <li class="chapter " data-level="7.2" data-path="../leveldb源码分析/">
-
- <a href="../leveldb源码分析/">
-
-
- leveldb源码分析
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="7.2.1" data-path="../leveldb源码分析/leveldb源码分析1.html">
-
- <a href="../leveldb源码分析/leveldb源码分析1.html">
-
-
- leveldb源码分析1
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.2" data-path="../leveldb源码分析/leveldb源码分析2.html">
-
- <a href="../leveldb源码分析/leveldb源码分析2.html">
-
-
- leveldb源码分析2
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.3" data-path="../leveldb源码分析/leveldb源码分析3.html">
-
- <a href="../leveldb源码分析/leveldb源码分析3.html">
-
-
- leveldb源码分析3
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.4" data-path="../leveldb源码分析/leveldb源码分析4.html">
-
- <a href="../leveldb源码分析/leveldb源码分析4.html">
-
-
- leveldb源码分析4
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.5" data-path="../leveldb源码分析/leveldb源码分析5.html">
-
- <a href="../leveldb源码分析/leveldb源码分析5.html">
-
-
- leveldb源码分析5
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.6" data-path="../leveldb源码分析/leveldb源码分析6.html">
-
- <a href="../leveldb源码分析/leveldb源码分析6.html">
-
-
- leveldb源码分析6
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.7" data-path="../leveldb源码分析/leveldb源码分析7.html">
-
- <a href="../leveldb源码分析/leveldb源码分析7.html">
-
-
- leveldb源码分析7
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.8" data-path="../leveldb源码分析/leveldb源码分析8.html">
-
- <a href="../leveldb源码分析/leveldb源码分析8.html">
-
-
- leveldb源码分析8
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.9" data-path="../leveldb源码分析/leveldb源码分析9.html">
-
- <a href="../leveldb源码分析/leveldb源码分析9.html">
-
-
- leveldb源码分析9
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.10" data-path="../leveldb源码分析/leveldb源码分析10.html">
-
- <a href="../leveldb源码分析/leveldb源码分析10.html">
-
-
- leveldb源码分析10
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.11" data-path="../leveldb源码分析/leveldb源码分析11.html">
-
- <a href="../leveldb源码分析/leveldb源码分析11.html">
-
-
- leveldb源码分析11
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.12" data-path="../leveldb源码分析/leveldb源码分析12.html">
-
- <a href="../leveldb源码分析/leveldb源码分析12.html">
-
-
- leveldb源码分析12
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.13" data-path="../leveldb源码分析/leveldb源码分析13.html">
-
- <a href="../leveldb源码分析/leveldb源码分析13.html">
-
-
- leveldb源码分析13
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.14" data-path="../leveldb源码分析/leveldb源码分析14.html">
-
- <a href="../leveldb源码分析/leveldb源码分析14.html">
-
-
- leveldb源码分析14
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.15" data-path="../leveldb源码分析/leveldb源码分析15.html">
-
- <a href="../leveldb源码分析/leveldb源码分析15.html">
-
-
- leveldb源码分析15
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.16" data-path="../leveldb源码分析/leveldb源码分析16.html">
-
- <a href="../leveldb源码分析/leveldb源码分析16.html">
-
-
- leveldb源码分析16
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.17" data-path="../leveldb源码分析/leveldb源码分析17.html">
-
- <a href="../leveldb源码分析/leveldb源码分析17.html">
-
-
- leveldb源码分析17
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.18" data-path="../leveldb源码分析/leveldb源码分析18.html">
-
- <a href="../leveldb源码分析/leveldb源码分析18.html">
-
-
- leveldb源码分析18
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.19" data-path="../leveldb源码分析/leveldb源码分析19.html">
-
- <a href="../leveldb源码分析/leveldb源码分析19.html">
-
-
- leveldb源码分析19
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.20" data-path="../leveldb源码分析/leveldb源码分析20.html">
-
- <a href="../leveldb源码分析/leveldb源码分析20.html">
-
-
- leveldb源码分析20
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.21" data-path="../leveldb源码分析/leveldb源码分析21.html">
-
- <a href="../leveldb源码分析/leveldb源码分析21.html">
-
-
- leveldb源码分析21
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="7.2.22" data-path="../leveldb源码分析/leveldb源码分析22.html">
-
- <a href="../leveldb源码分析/leveldb源码分析22.html">
-
-
- leveldb源码分析22
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
-
-
- <li class="divider"></li>
-
-
-
- <li class="chapter " data-level="8.1" data-path="../Memcached源码分析/">
-
- <a href="../Memcached源码分析/">
-
-
- Memcached源码分析
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="8.1.1" data-path="../Memcached源码分析/00服务器资源调整.html">
-
- <a href="../Memcached源码分析/00服务器资源调整.html">
-
-
- 00 服务器资源调整
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.2" data-path="../Memcached源码分析/01初始化参数解析.html">
-
- <a href="../Memcached源码分析/01初始化参数解析.html">
-
-
- 01 初始化参数解析
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.3" data-path="../Memcached源码分析/02网络监听的建立.html">
-
- <a href="../Memcached源码分析/02网络监听的建立.html">
-
-
- 02 网络监听的建立
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.4" data-path="../Memcached源码分析/03网络连接建立.html">
-
- <a href="../Memcached源码分析/03网络连接建立.html">
-
-
- 03 网络连接建立
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.5" data-path="../Memcached源码分析/04内存初始化.html">
-
- <a href="../Memcached源码分析/04内存初始化.html">
-
-
- 04 内存初始化
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.6" data-path="../Memcached源码分析/05资源初始化.html">
-
- <a href="../Memcached源码分析/05资源初始化.html">
-
-
- 05 资源初始化
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.7" data-path="../Memcached源码分析/06get过程.html">
-
- <a href="../Memcached源码分析/06get过程.html">
-
-
- 06 get过程
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.8" data-path="../Memcached源码分析/07cas属性.html">
-
- <a href="../Memcached源码分析/07cas属性.html">
-
-
- 07 cas属性
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.9" data-path="../Memcached源码分析/08内存池.html">
-
- <a href="../Memcached源码分析/08内存池.html">
-
-
- 08 内存池
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.10" data-path="../Memcached源码分析/09连接队列.html">
-
- <a href="../Memcached源码分析/09连接队列.html">
-
-
- 09 连接队列
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.11" data-path="../Memcached源码分析/10Hash表操作.html">
-
- <a href="../Memcached源码分析/10Hash表操作.html">
-
-
- 10 Hash表操作
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.12" data-path="../Memcached源码分析/12set操作.html">
-
- <a href="../Memcached源码分析/12set操作.html">
-
-
- 12 set操作
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.13" data-path="../Memcached源码分析/13do_item_alloc操作.html">
-
- <a href="../Memcached源码分析/13do_item_alloc操作.html">
-
-
- 13 do_item_alloc操作
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.14" data-path="../Memcached源码分析/14item结构.html">
-
- <a href="../Memcached源码分析/14item结构.html">
-
-
- 14 item结构
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.15" data-path="../Memcached源码分析/15Hash表扩容.html">
-
- <a href="../Memcached源码分析/15Hash表扩容.html">
-
-
- 15 Hash表扩容
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.16" data-path="../Memcached源码分析/16线程交互.html">
-
- <a href="../Memcached源码分析/16线程交互.html">
-
-
- 16 线程交互
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="8.1.17" data-path="../Memcached源码分析/17状态机.html">
-
- <a href="../Memcached源码分析/17状态机.html">
-
-
- 17 状态机
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
-
-
- <li class="divider"></li>
-
-
-
- <li class="chapter " data-level="9.1" data-path="../游戏开发专题/">
-
- <a href="../游戏开发专题/">
-
-
- 游戏开发专题
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="9.1.1" data-path="../游戏开发专题/1游戏服务器开发的基本体系与服务器端开发的一些建议.html">
-
- <a href="../游戏开发专题/1游戏服务器开发的基本体系与服务器端开发的一些建议.html">
-
-
- 1 游戏服务器开发的基本体系与服务器端开发的一些建议
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="9.1.2" data-path="../游戏开发专题/2网络游戏服务器开发框架设计介绍.html">
-
- <a href="../游戏开发专题/2网络游戏服务器开发框架设计介绍.html">
-
-
- 2 网络游戏服务器开发框架设计介绍
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="9.1.3" data-path="../游戏开发专题/3游戏后端开发需要掌握的知识.html">
-
- <a href="../游戏开发专题/3游戏后端开发需要掌握的知识.html">
-
-
- 3 游戏后端开发需要掌握的知识
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="9.1.4" data-path="../游戏开发专题/4关于游戏服务端架构的整理.html">
-
- <a href="../游戏开发专题/4关于游戏服务端架构的整理.html">
-
-
- 4 关于游戏服务端架构的整理
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="9.1.5" data-path="../游戏开发专题/5各类游戏对应的服务端架构.html">
-
- <a href="../游戏开发专题/5各类游戏对应的服务端架构.html">
-
-
- 5 各类游戏对应的服务端架构
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="9.1.6" data-path="../游戏开发专题/6从腾讯QQgame高性能服务器集群架构看“分而治之”与“自治”等分布式架构设计原则.html">
-
- <a href="../游戏开发专题/6从腾讯QQgame高性能服务器集群架构看“分而治之”与“自治”等分布式架构设计原则.html">
-
-
- 6 从腾讯QQgame高性能服务器集群架构看“分而治之”与“自治”等分布式架构设计原则
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="9.1.7" data-path="../游戏开发专题/7QQ游戏百万人同时在线服务器架构实现.html">
-
- <a href="../游戏开发专题/7QQ游戏百万人同时在线服务器架构实现.html">
-
-
- 7 QQ游戏百万人同时在线服务器架构实现
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="9.1.8" data-path="../游戏开发专题/8大型多人在线游戏服务器架构设计.html">
-
- <a href="../游戏开发专题/8大型多人在线游戏服务器架构设计.html">
-
-
- 8 大型多人在线游戏服务器架构设计
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="9.1.9" data-path="../游戏开发专题/9百万用户级游戏服务器架构设计.html">
-
- <a href="../游戏开发专题/9百万用户级游戏服务器架构设计.html">
-
-
- 9 百万用户级游戏服务器架构设计
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="9.1.10" data-path="../游戏开发专题/10十万在线的WebGame的数据库设计思路.html">
-
- <a href="../游戏开发专题/10十万在线的WebGame的数据库设计思路.html">
-
-
- 10 十万在线的WebGame的数据库设计思路
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="9.1.11" data-path="../游戏开发专题/11一种高性能网络游戏服务器架构设计.html">
-
- <a href="../游戏开发专题/11一种高性能网络游戏服务器架构设计.html">
-
-
- 11 一种高性能网络游戏服务器架构设计
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="9.1.12" data-path="../游戏开发专题/12经典游戏服务器端架构概述.html">
-
- <a href="../游戏开发专题/12经典游戏服务器端架构概述.html">
-
-
- 12 经典游戏服务器端架构概述
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="9.1.13" data-path="../游戏开发专题/13游戏跨服架构进化之路.html">
-
- <a href="../游戏开发专题/13游戏跨服架构进化之路.html">
-
-
- 13 游戏跨服架构进化之路
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
-
-
- <li class="header">Part IV</li>
-
-
-
- <li class="chapter " data-level="10.1" data-path="../程序员面试题精讲/">
-
- <a href="../程序员面试题精讲/">
-
-
- 程序员面试题精讲
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="10.1.1" data-path="../程序员面试题精讲/腾讯后台开发实习生技能要求.html">
-
- <a href="../程序员面试题精讲/腾讯后台开发实习生技能要求.html">
-
-
- 腾讯后台开发实习生技能要求
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="10.1.2" data-path="../程序员面试题精讲/聊聊如何拿大厂的offer.html">
-
- <a href="../程序员面试题精讲/聊聊如何拿大厂的offer.html">
-
-
- 聊聊如何拿大厂的 offer
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="10.1.3" data-path="../程序员面试题精讲/网络通信题目集锦.html">
-
- <a href="../程序员面试题精讲/网络通信题目集锦.html">
-
-
- 网络通信题目集锦
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="10.1.4" data-path="../程序员面试题精讲/我面试后端开发经理的经历.html">
-
- <a href="../程序员面试题精讲/我面试后端开发经理的经历.html">
-
-
- 我面试后端开发经理的经历
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="10.1.5" data-path="../程序员面试题精讲/LinuxCC++后端开发面试问哪些问题.html">
-
- <a href="../程序员面试题精讲/LinuxCC++后端开发面试问哪些问题.html">
-
-
- Linux C/C++后端开发面试问哪些问题
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
- <li class="chapter " data-level="10.2" data-path="../职业规划/">
-
- <a href="../职业规划/">
-
-
- 职业规划
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="10.2.1" data-path="../职业规划/给工作4年迷茫的程序员们的一点建议.html">
-
- <a href="../职业规划/给工作4年迷茫的程序员们的一点建议.html">
-
-
- 给工作 4 年迷茫的程序员们的一点建议
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="10.2.2" data-path="../职业规划/聊聊技术人员的常见的职业问题.html">
-
- <a href="../职业规划/聊聊技术人员的常见的职业问题.html">
-
-
- 聊聊技术人员的常见的职业问题
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="10.2.3" data-path="../职业规划/写给那些傻傻想做服务器开发的朋友.html">
-
- <a href="../职业规划/写给那些傻傻想做服务器开发的朋友.html">
-
-
- 写给那些傻傻想做服务器开发的朋友
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
- <li class="chapter " data-level="10.3" data-path="../自我提升与开源代码/">
-
- <a href="../自我提升与开源代码/">
-
-
- 自我提升与开源代码
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="10.3.1" data-path="../自我提升与开源代码/2020年好好读一读开源代码吧.html">
-
- <a href="../自我提升与开源代码/2020年好好读一读开源代码吧.html">
-
-
- 2020 年好好读一读开源代码吧
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
- <li class="chapter " data-level="10.4" data-path="../后端开发相关的书籍/">
-
- <a href="../后端开发相关的书籍/">
-
-
- 后端开发相关的书籍
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="10.4.1" data-path="../后端开发相关的书籍/后台开发应该读的书.html">
-
- <a href="../后端开发相关的书籍/后台开发应该读的书.html">
-
-
- 后台开发应该读的书
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
- <li class="chapter " data-level="10.5" data-path="../程序员的简历/">
-
- <a href="../程序员的简历/">
-
-
- 程序员的简历
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="10.5.1" data-path="../程序员的简历/程序员如何写简历.html">
-
- <a href="../程序员的简历/程序员如何写简历.html">
-
-
- 程序员如何写简历
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
- <li class="chapter " data-level="10.6" data-path="../程序员的薪资与年终奖那些事儿/">
-
- <a href="../程序员的薪资与年终奖那些事儿/">
-
-
- 程序员的薪资与年终奖那些事儿
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="10.6.1" data-path="../程序员的薪资与年终奖那些事儿/技术面试与HR谈薪资技巧.html">
-
- <a href="../程序员的薪资与年终奖那些事儿/技术面试与HR谈薪资技巧.html">
-
-
- 技术面试与HR谈薪资技巧
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="10.6.2" data-path="../程序员的薪资与年终奖那些事儿/聊一聊程序员如何增加收入.html">
-
- <a href="../程序员的薪资与年终奖那些事儿/聊一聊程序员如何增加收入.html">
-
-
- 聊一聊程序员如何增加收入
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="10.6.3" data-path="../程序员的薪资与年终奖那些事儿/谈一谈年终奖.html">
-
- <a href="../程序员的薪资与年终奖那些事儿/谈一谈年终奖.html">
-
-
- 谈一谈年终奖
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
- <li class="chapter " data-level="10.7" data-path="../程序员的烦心事/">
-
- <a href="../程序员的烦心事/">
-
-
- 程序员的烦心事
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="10.7.1" data-path="../程序员的烦心事/拒绝了一家公司的offer后，他们的副总和hr总监同时打电话来询问拒绝原因并极力要求加入，我该不该去？.html">
-
- <a href="../程序员的烦心事/拒绝了一家公司的offer后，他们的副总和hr总监同时打电话来询问拒绝原因并极力要求加入，我该不该去？.html">
-
-
- 拒绝了一家公司的offer后，他们的副总和hr总监同时打电话来询问拒绝原因并极力要求加入，我该不该去？
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="10.7.2" data-path="../程序员的烦心事/我是一名程序员，结婚时女友要求我用两年的工资作为彩礼，我该不该答应？.html">
-
- <a href="../程序员的烦心事/我是一名程序员，结婚时女友要求我用两年的工资作为彩礼，我该不该答应？.html">
-
-
- 我是一名程序员，结婚时女友要求我用两年的工资作为彩礼，我该不该答应？
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
- <li class="chapter " data-level="10.8" data-path="../作者的故事/">
-
- <a href="../作者的故事/">
-
-
- 作者的故事
-
- </a>
-
-
- <ul class="articles">
-
-
- <li class="chapter " data-level="10.8.1" data-path="../作者的故事/我的2019.html">
-
- <a href="../作者的故事/我的2019.html">
-
-
- 我的 2019
-
- </a>
-
-
- </li>
-
- <li class="chapter " data-level="10.8.2" data-path="../作者的故事/我是如何年薪五十万的.html">
-
- <a href="../作者的故事/我是如何年薪五十万的.html">
-
-
- 我是如何年薪五十万的
-
- </a>
-
-
- </li>
-
- </ul>
-
- </li>
-
-
- <li class="divider"></li>
- <li>
- <a href="https://www.gitbook.com" target="blank" class="gitbook-link">
- Published with GitBook
- </a>
- </li>
- </ul>
- </nav>
-
-
- </div>
- <!-- Content nav -->
- <div class="book-anchor">
- <div class="book-anchor-title">在这篇文章中:</div>
- <div class="book-anchor-body">
- </div>
- </div>
- <div class="book-body">
-
- <div class="body-inner">
-
-
- <div class="book-header" role="navigation">
-
- <!-- Title -->
- <h1>
- <i class="fa fa-circle-o-notch fa-spin"></i>
- <a href="../.." >服务器开发中网络数据分析与故障排查经验漫谈</a>
- </h1>
- </div>
- <div class="page-wrapper" tabindex="-1" role="main">
- <div class="page-inner">
-
- <div id="book-search-results">
- <div class="search-noresults">
-
- <section class="normal markdown-section">
-
- <div id="anchor-navigation-ex-navbar"><i class="fa fa-navicon"></i><ul><li><span class="title-icon "></span><a href="#服务器开发中网络数据分析与故障排查经验漫谈"><b></b>服务器开发中网络数据分析与故障排查经验漫谈</a></li><ul><li><span class="title-icon "></span><a href="#二、常用的网络故障排查工具"><b></b>二、常用的网络故障排查工具</a></li><li><span class="title-icon "></span><a href="#三、-tcp三次握手和四次挥手过程解析"><b></b>三、 tcp三次握手和四次挥手过程解析</a></li><li><span class="title-icon "></span><a href="#四、-关于跨系统与跨语言之间的网络通信连通问题"><b></b>四、 关于跨系统与跨语言之间的网络通信连通问题</a></li></ul></ul></div><h1 id="服务器开发中网络数据分析与故障排查经验漫谈"><a name="服务器开发中网络数据分析与故障排查经验漫谈" class="anchor-navigation-ex-anchor" href="#服务器开发中网络数据分析与故障排查经验漫谈"><i class="fa fa-link" aria-hidden="true"></i></a>服务器开发中网络数据分析与故障排查经验漫谈</h1>
- <p>​ </p>
- <p>一、 操作系统提供的网络接口</p>
- <p>为了能更好的排查网络通信问题，我们需要熟悉操作系统提供的以下网络接口函数，列表如下：</p>
- <table>
- <thead>
- <tr>
- <th>接口函数名称</th>
- <th>接口函数描述</th>
- <th>接口函数签名</th>
- </tr>
- </thead>
- <tbody>
- <tr>
- <td>socket</td>
- <td>创建套接字</td>
- <td>int socket(int domain, int type, int protocol);</td>
- </tr>
- <tr>
- <td>connect</td>
- <td>连接一个服务器地址</td>
- <td>int connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen);</td>
- </tr>
- <tr>
- <td>send</td>
- <td>发送数据</td>
- <td>ssize_t send(int sockfd, const void *buf, size_t len, int flags);</td>
- </tr>
- <tr>
- <td>recv</td>
- <td>收取数据</td>
- <td>ssize_t recv(int sockfd, void *buf, size_t len, int flags);</td>
- </tr>
- <tr>
- <td>accept</td>
- <td>接收连接</td>
- <td>int accept4(int sockfd, struct sockaddr <em>addr, socklen_t </em>addrlen, int flags);</td>
- </tr>
- <tr>
- <td>shutdown</td>
- <td>关闭收发链路</td>
- <td>int shutdown(int sockfd, int how);</td>
- </tr>
- <tr>
- <td>close</td>
- <td>关闭套接字</td>
- <td>int close(int fd);</td>
- </tr>
- <tr>
- <td>setsockopt</td>
- <td>设置套接字选项</td>
- <td>int setsockopt(int sockfd, int level, int optname, const void *optval, socklen_t optlen);</td>
- </tr>
- </tbody>
- </table>
- <p>注意：这里以bekeley提供的标准为例，不包括特定操作系统上特有的接口函数（如Windows平台的WSASend，linux的accept4），也不包括实际与网络数据来往不相关的函数（如select、linux的epoll），这里只讨论与tcp相关的接口函数，像与udp相关的函数sendto/recvfrom等函数与此类似。</p>
- <p>下面讨论一下以上函数的一些使用注意事项：</p>
- <p>1 以上函数如果调用出错后，返回值均为-1；但是返回值是-1，不一定代表出错，这还得根据对应的套接字模式（阻塞与非阻塞模式）。</p>
- <p>2 默认使用的socket函数创建的套接字是阻塞模式的，可以调用相关接口函数将其设置为非阻塞模式（Windows平台可以使用ioctlsocket函数，linux平台可以使用fcntl函数，具体设置方法可以参考<a href="http://mp.weixin.qq.com/s?__biz=MzU2MTQ1MzI3NQ==&mid=2247483953&idx=1&sn=290847bffc273bbeb33ae1d71a53ab00&chksm=fc79c385cb0e4a93d9a4f2d85184c10e8ac498aea6a87a7afe3641d8ed0d1b0e043c062560e8&scene=21#wechat_redirect" target="_blank">这里</a>。）。阻塞模式和非阻塞模式的套接字，对服务器的连接服务器和网络数据的收发行为影响很大。详情如下：</p>
- <p><strong>阻塞模式</strong>下，connect函数如果不能立刻连上服务器，会导致执行流阻塞在那里一会儿，直到connect连接成功或失败或网络超时；而非阻塞模式下，无论是否连接成功connect将立即返回，此时如果未连接成功，返回值将是-1，错误码是EINPROGRESS，表示连接操作仍然在进行中。Linux平台后续可以通过使用select/poll等函数检测该socket是否可写来判断连接是否成功。</p>
- <p><strong>阻塞套接字模式</strong>下，send函数如果由于对端tcp窗口太小，不足以将全部数据发送出去，将阻塞执行流，直到出错或超时或者全部发送出去为止；同理recv函数如果当前协议栈系统缓冲区中无数据可读，也会阻塞执行流，直到出错或者超时或者读取到数据。send和recv函数的超时时间可以参考下文关于常用socket选项的介绍。</p>
- <p><strong>非阻塞套接字模式</strong>下，如果由于对端tcp窗口太小，不足以将数据发出去，它将立刻返回，不会阻塞执行流，此时返回值为-1，错误码是EAGAIN或EWOULDBLOCK，表示当前数据发不出去，希望你下次再试。但是返回值如果是-1，也可能是真正的出错了，也可能得到错误码EINTR，表示被linux信号中断了，这点需要注意一下。recv函数与send函数情形一样。</p>
- <p>3 send函数虽然名称叫“send”，但是其并不是将数据发送到网络上去，只是将数据从应用层缓冲区中拷贝到协议栈内核缓冲区中，具体什么时候发送到网络上去，与协议栈本身行为有关系（socket选项nagle算法与这个有关系，下文介绍常见套接字选项时会介绍），这点需要特别注意，所以即使send函数返回一个大于0的值n，也不能表明已经有n个字节发送到网络上去了。同样的道理，recv函数也不是从网络上收取数据，只是从协议栈内核缓冲区拷贝数据至应用层缓冲区，并不是真正地从网络上收数据，所以，调用recv时，操作系统的协议栈已经将数据从网络上收到自己的内核缓冲区中了，recv仅仅是一次数据拷贝操作而已。</p>
- <p>4 由于套接字实现是收发全双工的，收和发通道相互独立，不会相互影响，shutdown函数是用来选择关闭socket收发通道中某一路（当然，也可以两路都关闭），其how参数取值一般有三个：SHUT_RD/SHUT_WR/SHUT_RDWR，SHUT_RD表示关闭收消息链路，即该套接字不能再收取数据，同理SHUT_WR表示关闭套接字发消息链路，但是这里有个问题，有时候我们需要等待缓冲区中数据发送完后再关闭连接怎么办？这里就要用到套接字选项LINGER，关于这个选项请参考下文常见的套接字选项介绍。最后，SHUT_RDWR同时关闭收消息链路和发消息链路。通过上面的分析，我们得出结论，shutdown函数并不会要求操作系统底层回收套接字等资源，真正会回收资源是close函数，这个函数会要求操作系统回收相关套接字资源，并释放对ip地址与端口号二元组的占用，但是由于tcp四次挥手最后一个阶段有个TIME_WAIT状态（关于这个状态下文介绍tcp三次握手和四次回收时会详细介绍），导致与该socket相关的端口号资源不会被立即释放，有时候为了达到释放端口用来复用，我们会设置套接字选项SOL_REUSEPORT（关于这个选项，下文会介绍）。综合起来，我们关闭一个套接字，一般会先调用shutdown函数再调用close函数，这就是所谓的优雅关闭：</p>
- <p><img src="../imgs/netdown1.webp" alt=""></p>
- <p>5 常见的套接字选项</p>
- <p>严格意义上说套接字选项是有不同层级的（level），如socket级别、TCP级别、IP级别，这里我们不区分具体的级别。</p>
- <ul>
- <li><strong>SO_SNDTIMEO与SO_RCVTIMEO</strong></li>
- </ul>
- <p>这两个选项用于设置阻塞模式下套接字，SO_SNDTIMEO用于在send数据由于对端tcp窗口太小，发不出去而最大的阻塞时长；SO_RCVTIMEO用于recv函数因接受缓冲区无数据而阻塞的最大阻塞时长。如果你需要获取它们的默认值，请使用getsockopt函数。</p>
- <ul>
- <li><strong>TCP_NODELAY</strong></li>
- </ul>
- <p>操作系统底层协议栈默认有这样一个机制，为了减少网络通信次数，会将send等函数提交给tcp协议栈的多个小的数据包合并成一个大的数据包，最后再一次性发出去，也就是说，如果你调用send函数往内核协议栈缓冲区拷贝了一个数据，这个数据也许不会马上发到网络上去，而是要等到协议栈缓冲区积累到一定量的数据后才会一次性发出去，我们把这种机制叫做nagle算法。默认打开了这个机制，有时候我们希望关闭这种机制，让send的数据能够立刻发出去，我们可以选择关闭这个算法，这就可以通过设置套接字选项TCP_NODELAY，即关闭nagle算法。</p>
- <ul>
- <li><strong>SO_LINGER</strong></li>
- </ul>
- <p>linger这个单词本身的意思，是“暂停、逗留”。这个选项的用处是用于解决，当需要关闭套接字时，协议栈发送缓冲区中尚有未发送出去的数据，等待这些数据发完的最长等待时间。</p>
- <ul>
- <li><strong>SO_REUSEADDR/SO_REUSEPORT</strong></li>
- </ul>
- <p>一个端口，尤其是作为服务器端端口在四次挥手的最后一步，有一个为TIME_WAIT的状态，这个状态一般持续2MSL（MSL，maximum segment life， 最大生存周期，RFC上建议是2分钟）。这个状态存在原因如下：1. 保证发出去的ack能被送达（超时会重发ack）2. 让迟来的报文有足够的时间被丢弃，反过来说，如果不存在这个状态，那么可以立刻复用这个地址和端口号，那么可能会收到老的连接迟来的数据，这显然是不好的。为了立即回收复用端口号，我们可以通过开启套接字SO_REUSEADDR/SO_REUSEPORT。</p>
- <ul>
- <li><strong>SO_KEEPALIVE</strong></li>
- </ul>
- <p>默认情况下，当一个连接长时间没有数据来往，会被系统防火墙之类的服务关闭。为了避免这种现象，尤其是一些需要长连接的应用场景下，我们需要使用心跳包机制，即定时从两端定时发一点数据，这种行为叫做“保活”。而tcp协议栈本身也提供了这种机制，那就是设置套接字SO_KEEPALIVE选项，开启这个选项后，tcp协议栈会定时发送心跳包探针，但是这个默认时间比较长（2个小时），我们可以继续通过相关选项改变这个默认值。</p>
- <p>​ </p>
- <h2 id="二、常用的网络故障排查工具"><a name="二、常用的网络故障排查工具" class="anchor-navigation-ex-anchor" href="#二、常用的网络故障排查工具"><i class="fa fa-link" aria-hidden="true"></i></a>二、常用的网络故障排查工具</h2>
- <p><strong>1.ping</strong></p>
- <p>ping命令可用于测试网络是否连通。</p>
- <p><strong>2.telnet</strong></p>
- <p>命令使用格式：</p>
- <pre class="language-"><code>telnet ip或域名 port
- </code></pre><p>例如：</p>
- <pre class="language-"><code>telnet 120.55.94.78 8888
- telnet www.baidu.com 80
- </code></pre><p>结合ping和telnet命令我们就可以判断一个服务器地址上的某个端口号是否可以对外提供服务。</p>
- <p>由于我们使用的开发机器以windows居多，默认情况下，windows系统的telnet命令是没有打开的，我们可以在【控制面板】- 【程序】- 【程序和功能】- 【打开或关闭Windows功能】中打开telnet功能。</p>
- <p><img src="../imgs/netdown2.webp" alt=""></p>
- <p><strong>3.host命令</strong></p>
- <p>host 命令可以解析域名得到对应的ip地址。例如，我们要得到www.baidu.com这个域名的ip地址，可以输入：</p>
- <p><img src="../imgs/netdown3.png" alt=""></p>
- <p> 得到www.google.com的ip地址可以输入：</p>
- <p><img src="../imgs/netdown4.png" alt=""></p>
- <p><strong>4 .netstat命令</strong></p>
- <p>常见的选项有：</p>
- <p>-a (all)显示所有选项，netstat默认不显示LISTEN相关</p>
- <p>-t (tcp)仅显示tcp相关选项</p>
- <p>-u (udp)仅显示udp相关选项</p>
- <p>-n 拒绝显示别名，能显示数字的全部转化成数字。(重要)</p>
- <p>-l 仅列出有在 Listen (监听) 的服務状态</p>
- <p>-p 显示建立相关链接的程序名(macOS中表示协议 -p protocol)</p>
- <p>-r 显示路由信息，路由表</p>
- <p>-e 显示扩展信息，例如uid等</p>
- <p>-s 按各个协议进行统计 (重要)</p>
- <p>-c 每隔一个固定时间，执行该netstat命令。</p>
- <p><strong>5. lsof命令</strong></p>
- <p>lsof，即list opened filedescriptor，即列出当前操作系统中打开的所有文件描述符，socket也是一种file descriptor，常见的选项是:</p>
- <p>-i 列出系统打开的socket fd</p>
- <p>-P 不要显示端口号别名</p>
- <p>-n 不要显示ip地址别名（如localhost会用127.0.0.1来代替）</p>
- <p>+c w 程序列名称最大可以显示到w个字符。</p>
- <p>常见的选项组合为lsof –i –Pn：</p>
- <p><img src="../imgs/netdown5.webp" alt=""></p>
- <p>可以看到列出了当前侦听的socket，和连接socket的tcp状态。</p>
- <p><strong>6.pstack</strong></p>
- <p>严格意义上来说，这个不算网络排查故障和调试命令，但是我们可以利用这个命令来查看某个进程的线程数量和线程调用堆栈是否运行正常。指令使用格式：</p>
- <pre class="language-"><code>pstack pid
- </code></pre><p>即，pstack 进程号，如：</p>
- <p><img src="../imgs/netdown6.jpeg" alt=""></p>
- <p><strong>7.nc命令</strong></p>
- <p>即netcat命令，这个工具在排查网络故障时非常有用，因而被业绩称为网络界的“瑞士军刀”。常见的用法如下：</p>
- <ul>
- <li>模拟服务器端在指定ip地址和端口号上侦听</li>
- </ul>
- <pre class="language-"><code>nc –l 0.0.0.0 8888
- </code></pre><ul>
- <li>模拟客户端连接到指定ip地址和端口号</li>
- </ul>
- <pre class="language-"><code>nc 0.0.0.0 8888
- </code></pre><p>我们知道客户端连接服务器一般都是操作系统随机分配一个可用的端口号连接到服务器上去，这个指令甚至可以指定使用哪个端口号连接，如：</p>
- <pre class="language-"><code>nc –p 12345 127.0.0.1 8888
- </code></pre><p>客户端使用端口12345去连接服务器127.0.0.1::8888。</p>
- <ul>
- <li>使用nc命令发消息和发文件</li>
- </ul>
- <p>客户端</p>
- <p><img src="../imgs/netdown7.webp" alt=""></p>
- <p>服务器</p>
- <p><img src="../imgs/netdown8.webp" alt=""></p>
- <p>8 .tcpdump</p>
- <p>这个是linux系统自带的抓包工具，功能非常强大，默认需要开启root权限才能使用。</p>
- <p><img src="../imgs/netdown9.webp" alt=""></p>
- <p>其常见的选项有：</p>
- <p>-i 指定网卡</p>
- <p>-X –XX 打印十六进制的网络数据包</p>
- <p>-n –nn 不显示ip地址和端口的别名</p>
- <p>-S 以绝对值显示包的ISN号（包序列号）</p>
- <p>常用的过滤条件有如下形式：</p>
- <pre class="language-"><code>tcpdump –i any ‘port 8888’
- tcpdump –i any ‘tcp port 8888’
- tcpdump –i any ‘tcp src port 8888’
- tcpdump –i any ‘tcp src port 8888 and udp dst port 9999’
- tcpdump -i any 'src host 127.0.0.1 and tcp src port 12345' -XX -nn -vv
- </code></pre><p>关于tcpdump命令接下来将会以对tcp三次握手和四次挥手的包数据进行抓包来分析。</p>
- <h2 id="三、-tcp三次握手和四次挥手过程解析"><a name="三、-tcp三次握手和四次挥手过程解析" class="anchor-navigation-ex-anchor" href="#三、-tcp三次握手和四次挥手过程解析"><i class="fa fa-link" aria-hidden="true"></i></a>三、 tcp三次握手和四次挥手过程解析</h2>
- <p>熟练地掌握tcp三次握手和四次挥手过程的每一个细节是我们排查网络问题的基础。</p>
- <p><img src="../imgs/netdown10.webp" alt=""></p>
- <p>下面我们来通过tcpdump抓包能实战一下三次握手的过程，假设我的服务器端的地址是 127.0.0.0.1 : 12345，使用nc命令创建一个服务器程序并在这个地址上进行侦听：</p>
- <pre class="language-"><code>nc –v -l 127.0.0.0.112345
- </code></pre><p><img src="../imgs/netdown11.png" alt=""></p>
- <p>然后在客户端机器上开启tcpdump工具：</p>
- <p><img src="../imgs/netdown12.webp" alt=""></p>
- <p>然后在客户端使用nc命令创建一个客户端去连接服务器：</p>
- <p><img src="../imgs/netdown13.png" alt=""></p>
- <p>我们抓到的包如下：</p>
- <p><img src="../imgs/netdown14.jpeg" alt=""></p>
- <p>图片看不清，可以放大来看。上面我们需要注意的是：</p>
- <p>三次握手过程是客户端先给服务器发送一个SYN，然后服务器应答一个SYN+ACK，应答的序列号是递增1的，表示应答哪个请求，即从4004096087递增到4004096088，接着客户端再应答一个ACK。这个时候，我们发现发包序列号和应答序列号都变成1了，这是tcpdump使用相对序号，我们加上-S选项后就变成绝对序列号了。</p>
- <p><img src="../imgs/netdown15.jpeg" alt=""></p>
- <p> 这是正常的tcp三次握手，假如我们连接的服务器ip地址存在，但监听端口号并不存在，我们看下tcpdump抓包结果：</p>
- <p><img src="../imgs/netdown16.webp" alt=""></p>
- <p>这个时候客户端发送SYN，服务器应答ACK+RST：</p>
- <p><img src="../imgs/netdown17.jpeg" alt=""></p>
- <p> 这个应答包会导致客户端的connect连接失败。</p>
- <p>还有一种情况就是客户端访问一个很遥远的ip，或者网络繁忙，服务器对客户端发送的网络SYN报文没有应答，会出现什么情况呢？</p>
- <p><img src="../imgs/netdown18.png" alt=""></p>
- <p>我们先将防火墙的已有规则都清理掉: iptables -F</p>
- <p>然后给防火墙的INPUT链上增加一个规则，丢弃本地网卡lo（也就是127.0.0.1这个回环地址）上的所有SYN包。</p>
- <p><img src="../imgs/netdown19.jpeg" alt=""></p>
- <p> 接着，我们看到tcpdump抓到的数据包如下：</p>
- <p><img src="../imgs/netdown20.jpeg" alt=""></p>
- <p> 连接不上，一共重试了5次，重试的时间间隔是1秒，2秒，4秒，8秒，16秒，最后返回失败。这个重试次数在/proc/sys/net/ipv4/tcp_syn_retries 内核参数中设置，默认为6。</p>
- <p>四次挥手与三次握手基本上类似，这里就不贴出tcpdump抓包的详情了。实际的网络开发中，尤其是高QPS的服务器程序，可能在在服务器程序所在的系统上留下大量非ESTABLISHED的中间状态，如CLOSE_WAIT/TIME_WAIT，我们可以使用以下指令来统计这些状态信息：</p>
- <p><strong>netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'</strong> </p>
- <p>得到结果可能类似：</p>
- <p><img src="../imgs/netdown21.jpeg" alt=""></p>
- <p>让我们再贴一张tcp三次握手和四次挥手更清晰的图吧。</p>
- <p><img src="../imgs/netdown22.jpeg" alt=""></p>
- <p> 下面看下一般比较关心的三种TCP状态</p>
- <ul>
- <li><strong>SYN_RECV</strong></li>
- </ul>
- <p>服务端收到建立连接的SYN没有收到ACK包的时候处在SYN_RECV状态。有两个相关系统配置：</p>
- <p>1 net.ipv4.tcp_synack_retries，整形，默认值是5</p>
- <p>对于远端的连接请求SYN，内核会发送SYN ＋ ACK数据报，以确认收到上一个 SYN连接请求包。这是三次握手机制的第二个步骤。这里决定内核在放弃连接之前所送出的 SYN+ACK 数目。不应该大于255，默认值是5，对应于180秒左右时间。通常我们不对这个值进行修改，因为我们希望TCP连接不要因为偶尔的丢包而无法建立。</p>
- <p>2 net.ipv4.tcp_syncookies</p>
- <p>一般服务器都会设置net.ipv4.tcp_syncookies=1来防止SYN Flood攻击。假设一个用户向服务器发送了SYN报文后突然死机或掉线，那么服务器在发出SYN+ACK应答报文后是无法收到客户端的ACK报文的（第三次握手无法完成），这种情况下服务器端一般会重试（再次发送SYN+ACK给客户端）并等待一段时间后丢弃这个未完成的连接，这段时间的长度我们称为SYN Timeout，一般来说这个时间是分钟的数量级（大约为30秒-2分钟）。这些处在SYNC_RECV的TCP连接称为半连接，并存储在内核的半连接队列中，在内核收到对端发送的ack包时会查找半连接队列，并将符合的requst_sock信息存储到完成三次握手的连接的队列中，然后删除此半连接。大量SYNC_RECV的TCP连接会导致半连接队列溢出，这样后续的连接建立请求会被内核直接丢弃，这就是SYN Flood攻击。能够有效防范SYN Flood攻击的手段之一，就是SYN Cookie。SYN Cookie原理由D. J. Bernstain和 Eric Schenk发明。SYN Cookie是对TCP服务器端的三次握手协议作一些修改，专门用来防范SYN Flood攻击的一种手段。它的原理是，在TCP服务器收到SYN包并返回SYN+ACK包时，不分配一个专门的数据区，而是根据这个SYN包计算出一个cookie值。在收到ACK包时，TCP服务器在根据那个cookie值检查这个TCP ACK包的合法性。如果合法，再分配专门的数据区进行处理未来的TCP连接。观测服务上SYN_RECV连接个数为：7314，对于一个高并发连接的通讯服务器，这个数字比较正常。</p>
- <ul>
- <li><strong>CLOSE_WAIT</strong></li>
- </ul>
- <p>发起TCP连接关闭的一方称为client，被动关闭的一方称为server。被动关闭的server收到FIN后，但未发出ACK的TCP状态是CLOSE_WAIT。出现这种状况一般都是由于server端代码的问题，如果你的服务器上出现大量CLOSE_WAIT，应该要考虑检查代码。</p>
- <ul>
- <li><strong>TIME_WAIT</strong></li>
- </ul>
- <p>根据三次握手断开连接规定，发起socket主动关闭的一方 socket将进入TIME_WAIT状态。TIME_WAIT状态将持续2MSL。TIME_WAIT状态下的socket不能被回收使用。 具体现象是对于一个处理大量短连接的服务器，如果是由服务器主动关闭客户端的连接，将导致服务器端存在大量的处于TIME_WAIT状态的socket， 甚至比处于Established状态下的socket多的多，严重影响服务器的处理能力，甚至耗尽可用的socket，停止服务。TIME_WAIT是TCP协议用以保证被重新分配的socket不会受到之前残留的延迟重发报文影响的机制,是必要的逻辑保证。和TIME_WAIT状态有关的系统参数有一般由3个，本机设置如下：</p>
- <pre class="language-"><code>net.ipv4.tcp_tw_recycle = 1
- net.ipv4.tcp_tw_reuse = 1
- net.ipv4.tcp_fin_timeout = 30
- net.ipv4.tcp_fin_timeout，默认60s，减小fin_timeout，减少TIME_WAIT连接数量。
- net.ipv4.tcp_tw_reuse = 1表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；
- net.ipv4.tcp_tw_recycle = 1表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。
- </code></pre><p>我们这里总结一下这些与tcp状态的选项：</p>
- <ul>
- <li><p>net.ipv4.tcp_syncookies=1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookie来处理，可防范少量的SYN攻击。默认为0，表示关闭。</p>
- </li>
- <li><p>net.ipv4.tcp_tw_reuse=1 表示开启重用。允许将TIME-WAIT套接字重新用于新的TCP连接。默认为0，表示关闭。</p>
- </li>
- <li><p>net.ipv4.tcp_tw_recycle=1 表示开启TCP连接中TIME-WAIT套接字的快速回收。默认为0，表示关闭。**</p>
- </li>
- <li><p>net.ipv4.tcp_fin_timeout=30 表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。</p>
- </li>
- <li><p>net.ipv4.tcp_keepalive_time=1200 表示当keepalive启用时，TCP发送keepalive消息的频度。默认是2小时，这里改为20分钟。</p>
- </li>
- <li><p>net.ipv4.ip_local_port_range=1024 65000 表示向外连接的端口范围。默认值很小：32768～61000，改为1024～65000。</p>
- </li>
- <li><p>net.ipv4.tcp_max_syn_backlog=8192 表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数。</p>
- </li>
- <li><p>net.ipv4.tcp_max_tw_buckets=5000 表示系统同时保持TIME_WAIT套接字的最大数量，如果超过这个数 字，TIME_WAIT套接字将立刻被清除并打印警告信息。默认为180000，改为5000。</p>
- </li>
- </ul>
- <p>注意</p>
- <p>上文中用红色字体标识出来的两个参数：</p>
- <pre class="language-"><code>net.ipv4.tcp_tw_recycle
- net.ipv4.tcp_tw_reuse
- </code></pre><p>在实际linux内核参数调优时并不建议开启。至于原因，我会单独用一篇文章来介绍。</p>
- <p><img src="../imgs/netdown22.jpeg" alt=""></p>
- <h2 id="四、-关于跨系统与跨语言之间的网络通信连通问题"><a name="四、-关于跨系统与跨语言之间的网络通信连通问题" class="anchor-navigation-ex-anchor" href="#四、-关于跨系统与跨语言之间的网络通信连通问题"><i class="fa fa-link" aria-hidden="true"></i></a>四、 关于跨系统与跨语言之间的网络通信连通问题</h2>
- <p>如何在Java语言中去解析C++的网络数据包，如何在C++中解析Java的网络数据包，对于很多人来说是一件很困难的事情，所以只能变着法子使用第三方的库。其实使用tcpdump工具可以很容易解决与分析。</p>
- <p>首先，我们需要明确字节序列这样一个概念，即我们说的大端编码(big endian)和小端编码(little endian)，x86和x64系列的cpu使用小端编码，而数据在网络上传输，以及Java语言中，使用的是大端编码。那么这是什么意思呢？</p>
- <p>我们举个例子，看一个x64机器上的32位数值在内存中的存储方式：</p>
- <p><img src="../imgs/netdown24.webp" alt=""></p>
- <p>i 在内存中的地址序列是0x003CF7C4~ 0x003CF7C8，值为40 e2 01 00。</p>
- <p><img src="../imgs/netdown25.jpeg" alt=""></p>
- <p> 十六进制0001e240正好等于10进制123456，也就是说小端编码中权重高的的字节值存储在内存地址高（地址值较大）的位置，权重值低的字节值存储在内存地址低（地址值较小）的位置，也就是所谓的高高低低。</p>
- <p>相反，大端编码的规则应该是高低低高，也就是说权值高字节存储在内存地址低的位置，权值低的字节存储在内存地址高的位置。</p>
- <p>所以，如果我们一个C++程序的int32值123456不作转换地传给Java程序，那么Java按照大端编码的形式读出来的值是：十六进制40E20100 = 十进制1088553216。</p>
- <p>所以，我们要么在发送方将数据转换成网络字节序（大端编码），要么在接收端再进行转换。</p>
- <p>下面看一下如果C++端传送一个如下数据结构，Java端该如何解析（由于Java中是没有指针的，也无法操作内存地址，导致很多人无从下手），下面利用tcpdump来解决这个问题的思路。</p>
- <p>我们客户端发送的数据包：</p>
- <p><img src="../imgs/netdown26.png" alt=""></p>
- <p>其结构体定义如下：</p>
- <p><img src="../imgs/netdown27.jpeg" alt=""></p>
- <p> 利用tcpdump抓到的包如下：</p>
- <p><img src="../imgs/netdown28.webp" alt=""></p>
- <p>放大一点：</p>
- <p><img src="../imgs/netdown29.png" alt=""></p>
- <p> 我们白色标识出来就是我们收到的数据包。这里我想说明两点：</p>
- <ul>
- <li>如果我们知道发送端发送的字节流，再比照接收端收到的字节流，我们就能检测数据包的完整性，或者利用这个来排查一些问题；</li>
- <li>对于Java程序只要按照这个顺序，先利用java.net.Socket的输出流java.io.DataOutputStream对象readByte、readInt32、readInt32、readBytes、readBytes方法依次读出一个char、int32、int32、16个字节的字节数组、63个字节数组即可，为了还原像int32这样的整形值，我们需要做一些小端编码向大端编码的转换。</li>
- </ul>
- <p>参考资料：</p>
- <ul>
- <li>《TCP/IP详解卷一：协议》</li>
- <li>《TCP/IP详解卷二：实现》</li>
- <li>游双《Linux高性能服务器编程》</li>
- <li><a href="https://man.cx/?page=iptables(8" target="_blank">https://man.cx/?page=iptables(8</a>)</li>
- <li><a href="https://vincent.bernat.im/en/blog/2014-tcp-time-wait-state-linux" target="_blank">https://vincent.bernat.im/en/blog/2014-tcp-time-wait-state-linux</a></li>
- <li><a href="https://blog.csdn.net/chinalinuxzend/article/details/1792184" target="_blank">https://blog.csdn.net/chinalinuxzend/article/details/1792184</a></li>
- <li><a href="https://www.zhihu.com/question/29212769" target="_blank">https://www.zhihu.com/question/29212769</a></li>
- <li><a href="https://blog.csdn.net/launch_225/article/details/9211731" target="_blank">https://blog.csdn.net/launch_225/article/details/9211731</a></li>
- <li><a href="https://www.cnblogs.com/splenday/articles/7668589.html" target="_blank">https://www.cnblogs.com/splenday/articles/7668589.html</a></li>
- <li><a href="http://man.linuxde.net/ss" target="_blank">http://man.linuxde.net/ss</a></li>
- <li><a href="http://www.cnxct.com/coping-with-the-tcp-time_wait-state-on-busy-linux-servers-in-chinese-and-dont-enable-tcp_tw_recycle/" target="_blank">http://www.cnxct.com/coping-with-the-tcp-time_wait-state-on-busy-linux-servers-in-chinese-and-dont-enable-tcp_tw_recycle/</a></li>
- <li><a href="https://www.cnblogs.com/xkus/p/7463135.html" target="_blank">https://www.cnblogs.com/xkus/p/7463135.html</a> </li>
- </ul>
- <footer class="page-footer"><span class="copyright">如需下载本站全部技术文章，可以在【高性能服务器开发】公众号回复关键字“文章下载”即可。</span><span class="footer-modification">最近更新时间：
- 2020-09-16 16:31:23
- </span></footer>
- <script>console.log("plugin-popup....");document.onclick = function(e){ e.target.tagName === "IMG" && window.open(e.target.src,e.target.src)}</script><style>img{cursor:pointer}</style>
-
- </section>
-
- </div>
- <div class="search-results">
- <div class="has-results">
-
- <h1 class="search-results-title"><span class='search-results-count'></span> results matching "<span class='search-query'></span>"</h1>
- <ul class="search-results-list"></ul>
-
- </div>
- <div class="no-results">
-
- <h1 class="search-results-title">No results matching "<span class='search-query'></span>"</h1>
-
- </div>
- </div>
- </div>
- </div>
- </div>
-
- </div>
-
-
- <a href="从抓包的角度分析connect函数的连接过程.html" class="navigation navigation-prev " aria-label="Previous page: 从抓包的角度分析connect函数的连接过程">
- <i class="fa fa-angle-left"></i>
- </a>
-
-
- <a href="../高性能服务器框架设计/" class="navigation navigation-next " aria-label="Next page: 高性能服务器框架设计">
- <i class="fa fa-angle-right"></i>
- </a>
-
-
-
- </div>
- <script>
- var gitbook = gitbook || [];
- gitbook.push(function() {
- gitbook.page.hasChanged({"page":{"title":"服务器开发中网络数据分析与故障排查经验漫谈","level":"3.1.6","depth":2,"next":{"title":"高性能服务器框架设计","level":"4.1","depth":1,"path":"articles/高性能服务器框架设计/README.md","ref":"articles/高性能服务器框架设计/README.md","articles":[{"title":"主线程与工作线程的分工","level":"4.1.1","depth":2,"path":"articles/高性能服务器框架设计/主线程与工作线程的分工.md","ref":"articles/高性能服务器框架设计/主线程与工作线程的分工.md","articles":[]},{"title":"Reactor模式","level":"4.1.2","depth":2,"path":"articles/高性能服务器框架设计/Reactor模式.md","ref":"articles/高性能服务器框架设计/Reactor模式.md","articles":[]},{"title":"实例：一个服务器程序的架构介绍","level":"4.1.3","depth":2,"path":"articles/高性能服务器框架设计/实例：一个服务器程序的架构介绍.md","ref":"articles/高性能服务器框架设计/实例：一个服务器程序的架构介绍.md","articles":[]},{"title":"错误码系统的设计","level":"4.1.4","depth":2,"path":"articles/高性能服务器框架设计/错误码系统的设计.md","ref":"articles/高性能服务器框架设计/错误码系统的设计.md","articles":[]},{"title":"日志系统的设计","level":"4.1.5","depth":2,"path":"articles/高性能服务器框架设计/日志系统的设计.md","ref":"articles/高性能服务器框架设计/日志系统的设计.md","articles":[]},{"title":"如何设计断线自动重连机制","level":"4.1.6","depth":2,"path":"articles/高性能服务器框架设计/如何设计断线自动重连机制.md","ref":"articles/高性能服务器框架设计/如何设计断线自动重连机制.md","articles":[]},{"title":"心跳包机制设计详解","level":"4.1.7","depth":2,"path":"articles/高性能服务器框架设计/心跳包机制设计详解.md","ref":"articles/高性能服务器框架设计/心跳包机制设计详解.md","articles":[]},{"title":"业务数据处理一定要单独开线程吗","level":"4.1.8","depth":2,"path":"articles/高性能服务器框架设计/业务数据处理一定要单独开线程吗.md","ref":"articles/高性能服务器框架设计/业务数据处理一定要单独开线程吗.md","articles":[]},{"title":"C++ 高性能服务器网络框架设计细节","level":"4.1.9","depth":2,"path":"articles/高性能服务器框架设计/C++高性能服务器网络框架设计细节.md","ref":"articles/高性能服务器框架设计/C++高性能服务器网络框架设计细节.md","articles":[]}]},"previous":{"title":"从抓包的角度分析connect函数的连接过程","level":"3.1.5","depth":2,"path":"articles/程序员必知必会的网络命令/从抓包的角度分析connect函数的连接过程.md","ref":"articles/程序员必知必会的网络命令/从抓包的角度分析connect函数的连接过程.md","articles":[]},"dir":"ltr"},"config":{"plugins":["chapter-fold","-lunr","-search","search-pro","splitter","popup","back-to-top-button","hide-element","prism","-highlight","tbfed-pagefooter","code","anchor-navigation-ex","theme-fexa","livereload"],"styles":{"website":"styles/website.css","pdf":"styles/pdf.css","epub":"styles/epub.css","mobi":"styles/mobi.css","ebook":"styles/ebook.css","print":"styles/print.css"},"pluginsConfig":{"tbfed-pagefooter":{"copyright":"如需下载本站全部技术文章，可以在【高性能服务器开发】公众号回复关键字“文章下载”即可。","modify_label":"最近更新时间：","modify_format":"YYYY-MM-DD HH:mm:ss"},"chapter-fold":{},"prism":{},"livereload":{},"splitter":{},"search-pro":{},"popup":{},"theme-fexa":{"search-placeholder":"输入关键字搜索","logo":"./logo.png","favicon":"./favicon.ico"},"code":{"copyButtons":true},"hide-element":{"elements":[".gitbook-link"]},"fontsettings":{"theme":"white","family":"sans","size":2},"anchor-navigation-ex":{"showLevel":false,"associatedWithSummary":true,"mode":"float","showGoTop":false,"printLog":false,"multipleH1":true,"float":{"floatIcon":"fa fa-navicon","showLevelIcon":false,"level1Icon":"","level2Icon":"","level3Icon":""},"pageTop":{"showLevelIcon":false,"level1Icon":"","level2Icon":"","level3Icon":""}},"back-to-top-button":{},"sharing":{"facebook":true,"twitter":true,"google":false,"weibo":false,"instapaper":false,"vk":false,"all":["facebook","google","twitter","weibo","instapaper"]},"theme-default":{"styles":{"website":"styles/website.css","pdf":"styles/pdf.css","epub":"styles/epub.css","mobi":"styles/mobi.css","ebook":"styles/ebook.css","print":"styles/print.css"},"showLevel":false}},"theme":"default","author":"easy_coder","pdf":{"pageBreaksBefore":"/","headerTemplate":null,"paperSize":"a4","margin":{"right":62,"left":62,"top":36,"bottom":36},"fontSize":12,"fontFamily":"Arial","footerTemplate":null,"chapterMark":"pagebreak","pageNumbers":false},"structure":{"langs":"LANGS.md","readme":"README.md","glossary":"GLOSSARY.md","summary":"SUMMARY.md"},"isbn":"","variables":{},"title":"高性能服务器开发 技术专栏","links":{},"gitbook":"*","description":"","theme-default":{"showLevel":true},"extension":null},"file":{"path":"articles/程序员必知必会的网络命令/服务器开发中网络数据分析与故障排查经验漫谈.md","mtime":"2020-09-16T08:31:23.694Z","type":"markdown"},"gitbook":{"version":"3.2.3","time":"2020-10-09T15:31:57.905Z"},"basePath":"../..","book":{"language":""}});
- });
- </script>
- </div>
-
- <script src="../../gitbook/gitbook.js"></script>
- <script src="../../gitbook/theme.js"></script>
-
-
- <script src="../../gitbook/gitbook-plugin-chapter-fold/chapter-fold.js"></script>
-
-
-
- <script src="../../gitbook/gitbook-plugin-search-pro/jquery.mark.min.js"></script>
-
-
-
- <script src="../../gitbook/gitbook-plugin-search-pro/search.js"></script>
-
-
-
- <script src="../../gitbook/gitbook-plugin-splitter/splitter.js"></script>
-
-
-
- <script src="../../gitbook/gitbook-plugin-back-to-top-button/plugin.js"></script>
-
-
-
- <script src="../../gitbook/gitbook-plugin-hide-element/plugin.js"></script>
-
-
-
- <script src="../../gitbook/gitbook-plugin-code/plugin.js"></script>
-
-
-
- <script src="../../gitbook/gitbook-plugin-livereload/plugin.js"></script>
-
-
-
- <script src="../../gitbook/gitbook-plugin-sharing/buttons.js"></script>
-
-
-
- <script src="../../gitbook/gitbook-plugin-fontsettings/fontsettings.js"></script>
-
-
-
- <script src="../../gitbook/gitbook-plugin-theme-fexa/fexa.js"></script>
-
-
- </body>
- </html>
|
