技术头条 - 一个快速在微博传播文章的方式     搜索本站
您现在的位置首页 --> 查看专题: 同步
    执行不力的原因,往往是决策前不沟通。 状况共有=目标共存+信息共享。
    自动同步本地服务器(或 VPS)上的目录到另一台或多台远程服务器的办法和工具有很多,最简单的办法可能是用 rsync + cron(参考:用 VPS 给博客做镜像),这种办法有个问题就是 rsync 只能在固定时间间隔里被 cron 调用,如果时间间隔设的太短,频繁 rsync 会增加服务器负担;如果时间间隔设的太长,可能数据不能及时同步。今天介绍的 lsyncd 采用了 Linux 内核(2.6.13 及以后)里的 inotify 触发机制,这种机制可以做到只有在需要(变化)的时候才去同步。lsyncd 密切监测本地服务器上的参照目录,当发现目录下有文件或目录变更后,立刻通知远程服务器,并通过 rsync 或 rsync+ssh 方式实现文件同步。lsyncd 默认同步触发条件是每20秒或者每积累到1000次写入事件就触发一次,当然,这个触发条件可以通过配置参数调整。
    因为上了独服,就不能依靠VPS供应商的备份了,其实大部分经济型VPS都没备份的,但是人家硬盘起码是RAID1+0,就算物理故障了只要不太严重不是电脑爆炸硬盘全毁之类的还是能修复的。独立服务器就不一样了,为了省钱不上RAID,不租备份,所有备份都得自己折腾了,这些配置折腾起来实在烦人,还是得记下来省下以后再搜索的功夫。
    有同学讨论到Transfer能否支持双主结构,答案是支持的,这里简要描述下。 Transfer既可以当作主从库之外的工具来用,也可以本身充当slave的角色。本文分别描述在这两种使用场景下的部署结构和切换动作。 
    关于Transfer MySQL-Transefer(下称Transfer)是一个基于MySQL+patch后得到的主从同步工具。 其主要目的是为了解决原生版本的主从同步里,从库是单线程apply主库的binlog,导致的延迟。
    因为上了独服,就不能依靠VPS供应商的备份了,其实大部分经济型VPS都没备份的,但是人家硬盘起码是RAID1+0,就算物理故障了只要不太严重不是电脑爆炸硬盘全毁之类的还是能修复的。独立服务器就不一样了,为了省钱不上RAID,不租备份,所有备份都得自己折腾了,这些配置折腾起来实在烦人,还是得记下来省下以后再搜索的功夫。
    年中Apple发布了icoud,基于原有的MobileMe功能全新改写而成,提供了原有的邮件、日历和联络人同步功能。可见其中重要的功能就是同步,越来越多的手机和应用程序中都在应用同步,那同步的技术原理和未来应用趋势是什么呢? 同步可以理解为保持多个设备中数据一致,需求可能来源于以下几种常见场景: 1.用户频繁地使用USB导入和导出数据,比如图片、电影和音乐等文件数据。 2.用户需要保证多设备之间的数据一致,随时调用最新的数据。多人也可以协同编辑同一文件。 3.设备遗失或者更新之后,数据可能也随之丢失。数据同步到网络服务器,可以保证数据的安全。 随着数据本身和用户多设备的增加,同步的需求越来越为强烈。而数据同步并不是一件简单的数据传输过程,涉及到复杂的算法。数据同步算法的重点是提高效 率和节约网站宽带。对于单一文件的同步容易实现,只有文件的上传和下载,当文件增多和文件本身可编辑时,数据不可以
    目前项目是由多台机器在提供的,他们的代码都一致,但是我又不想写crontab去定时同步代码,因为万一服务器之间连接稍有故障,负载就会飙升。而且我的代码更新并不会太频繁,所以设计了以下方案:1.拿一台机器当工作机2.需要同步代码的前端机器都搭建rsync服务端3.我同步代码到工作机,执行一个shell脚本,代码同步到前端机rsync的服务器配置如下建立一个/etc/rsyncd.conf文件,内容uid = rootgid = rootuse chroot = nomax con...
    本文讲述了IO调用中的阻塞,非阻塞,同步,异步的概念和关系。是的读者可以很清楚的理解这几个概念。看了这篇文章,绝对可以很了解这几个IO调用的概念了。
    或许未来的微博更像一种基础设施,一条消息总线,消息可以很方便地发布,而没有太多私密性(真正私密的信息价值往往不大),也可以很方便地追溯到人,又可以很方便地从这个人的历史发言,做出评价。至于在此之上,如何按照不同的维度(时间、话题、人物),整理、归纳各种消息,这就是各种应用该做的事情了。
    redis的复制方法和机制都比较简单。 slaveof masterip port 在slave端键入命令之后,就开启了从master到slave的复制。一个master可以有多个slave,master有变化的时候会主动的把命令传播给每个slave。slave同时可以作为其他的slave的master,前提条件是这个slave已经处于稳定状态(REDIS_REPL_CONNECTED)。slave在复制的开始阶段处于阻塞状态(sync_readline)无法对外提供服务。 数据的有向图会让redis的运维很有搞头。
    TimeTunnel在做消息分发时有这样一个场景: A类消息需要做实时分析, 且量很大, 故它的消费者不会只是一台机器, 而是一组机器, 并要求这组中每台机器收到的消息量应该平均的, 即A消息在某个时刻有100条, 若有4台机器消费的话, 最佳的情况每台机器应收到25条. 这个场景就好比, 一个消息队列, 有多个线程并行消费, 如何保证每个消费线程获取的消息数量一样的.
      文件夹同步就是将两个文件夹内的文件内容进行分析,可选择性的让两个文件夹内容保存一直。文件夹同步软件相当有用,虽然大多数人没用过,但它确实能够为你节省很多时间和操作。比如说:同步U盘上的数据和软件设置,查找软件版本区别和更新,同步FTP上的数据。我认为,很多情况下使用同步软件可以极大提高计算机操作效率。
    因为上了独服,就不能依靠VPS供应商的备份了,其实大部分经济型VPS都没备份的,但是人家硬盘起码是RAID1+0,就算物理故障了只要不太严重不是电脑爆炸硬盘全毁之类的还是能修复的。独立服务器就不一样了,为了省钱不上RAID,不租备份,所有备份都得自己折腾了,这些配置折腾起来实在烦人,还是得记下来省下以后再搜索的功夫。 一、同步服务器的选择 备份服务器不需要好的CPU或者内存,只要求硬盘大,网络好就行了,对我来说100G以上...
    半年之前我有幸参加了MySQL2010用户大会,Oracle/Sun在会上公布了MySQL5.5的新特性,这次MySQL5.5改进的地方非常之多,当中引入的Google patch for MySQL中的半同步Semi-synchronous Replication,一个可用于高可用解决方案的新特性。谭俊青@MySQL实验室 MySQL5.5的在复制/同步方面的改进: 保证主从服务器上数据的一致性(同步) 能立检测到复制的异常 Crashed Salve能自动从错误中恢复同步 在环形复制中用户能够指定跳过某实例事...
    对于网站前端开发者、用户体验设计师、互联网产品工程人员,以及广大站长、博客主、深度用户而言,往往有着一个共同的需求:需要时常在多个浏览器之间切换使用,以检查页面效果、测试产品性能,或是同时用几个账号身份登录相同的页面。
    Mysql的 Replication 是一个异步的复制过程,从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysql instance(我们称之 Slave)。在 Master 与 Slave 之间的实现整个复制过程主要由三个线程来完成,其中两个线程(Sql线程和IO线程)在 Slave 端,另外一个线程(IO线程)在 Master 端。
    传统的文件同步方案有rsync(单向) 和 unison(双向)等,它们需要扫描所有文件后进行比对,差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将非常耗时。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。
      受 @Sisyphusliu 师兄的启发,我最近决定试用 Amazon S3 来做个人数据备份。初步计算发现这很可能比之前使用 VPS 或 Web 主机备份数据要节约成本。我对三款面向 Amazon S3 的开源文件同步工具进行了对比,将其中部分细节说明如下,供有相同需求的朋友参考。  这三款工具分别是 jets3t、s3cmd 和 s3sync.rb。其主要特性和附加功能这里不再赘述,它们的官方主页都有详细说明。软件的稳定性还有待长时间使用的考验,但从网上没...
        DataCopy(下载)并不一定是指从源端取得数据, 然后INSERT到目标端, 插入只是一个默认操作而已, 其实在目标端还可以做UPDATE或DELETE操作. 对于INSERT可以使用Direct Path Load的方式, 速度可以比得上CTAS, 其他的操作方式, 则只能实现Array DML了. 在日常的DBA工作中, 还是会有一些数据同步的需求的, 这时DataCopy应当可以减轻你的工作量.     在DataCopy中增加了两个命令行选项, 以支持不同的操作方式. ...
[ 共24篇文章 ][ 第1页/共2页 ][ 1 ][ 2 ]
© 2009 - 2024 by blogread.cn 微博:@IT技术博客大学习

京ICP备15002552号-1