<html><head><style>body{font-family:Helvetica,Arial;font-size:15px}</style></head><body style="word-wrap:break-word"><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:15px;color:rgba(0,0,0,1.0);margin:0px;line-height:auto"><br></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:15px;color:rgba(0,0,0,1.0);margin:0px;line-height:auto">   I would suggest looking at direct, low-level database replication if your copies can be read-only and your goal is exact duplicate databases.  In this case MarkLogic keeps the databases in sync by sending low-level journal frames rather than syncing individual documents.  If a slave is disconnected for a while it will quickly catch up as the master sends the frames it’s missed.  If it’s been disconnected too long, or is newly connected, a zero day full copy is sent (depending on your bandwidth, 3GB is not a lot of data to send).</div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:15px;color:rgba(0,0,0,1.0);margin:0px;line-height:auto"><br></div><div id="bloop_customfont" style="margin:0px"><a href="https://docs.marklogic.com/guide/database-replication">https://docs.marklogic.com/guide/database-replication</a> </div> <br> <div id="bloop_sign_1517239419046614272" class="bloop_sign"><div>----</div>Ron Hitchens <a href="mailto:ron@overstory.co.uk">ron@overstory.co.uk</a>, +44 7879 358212<div><br></div></div><p class="airmail_on">On January 27, 2018 at 6:13:12 PM, Eliot Kimber (<a href="mailto:ekimber@contrext.com">ekimber@contrext.com</a>) wrote:</p> <blockquote type="cite" class="clean_bq"><span><div><div></div><div>ML 9<br><br>I have a system of servers where a master server gets new remote servers allocated it more or less randomly and dynamically.<br><br>The remote servers need to have a correct copy of a databse on the master server but the database is pretty big (the previously-mentioned 380K doc, 3GB database).<br><br>I can of course sync it with FlexRep but when a new server comes available I don&#39;t know what the current state of its local copy of the database is (if it has one at all) so I&#39;m forced to recreate my master server&#39;s replication targets and do a full push, which takes an hour or two. <br><br>In the case where the remote server already has a copy of the database I would like to be able to compare it&#39;s contents to the master&#39;s and determine what the deltas are, if any, and only handle those, which usually would only be a few docs out of the total set.<br><br>Does there exist this kind of rsync or git-like comparison mechanism, either out of the box or as a public project?<br><br>I&#39;m thinking of something comparable to what git does, which is create hashes of each file and then comparing hashes. <br><br>I could do this in XQuery but I suspect something more efficient could be done at the forest level, if one knew what one was doing.<br><br>Thanks,<br><br>Eliot<br>--<br>Eliot Kimber<br><a href="http://contrext.com">http://contrext.com</a><br> <br><br><br><br>_______________________________________________<br>General mailing list<br><a href="mailto:General@developer.marklogic.com">General@developer.marklogic.com</a><br>Manage your subscription at: <br><a href="http://developer.marklogic.com/mailman/listinfo/general">http://developer.marklogic.com/mailman/listinfo/general</a><br></div></div></span></blockquote></body></html>