慈善捐赠管理
css3
机制与策略
kprobe
办公软件
存储型XSS
内核
数维杯
C6678
线程池
大数据毕业设计
AI作画
程序员40
共享充电桩小程序
下载视频
寄生-捕食算法
调试助手
智能路由器
变化检测
果蔬商城
分布式存储
2024/4/12 1:53:55
FastDFS的简介和安装
1）FastDFS的简介 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文…
ipfs在ubuntu的安装与使用
星际文件系统（InterPlanetary File System，缩写ipfs）是一个旨在创建持久且分布式存储和共享文件的网络传输协议。该技术是一种内容可寻址的对等超媒体分发协议。在IPFS网络中的节点将构成一个分布式文件系统。
IPFS是一个对等的分布式文件系…
再次风靡春节的《熊出没》，究竟下了哪些硬功夫？
临近春节前，家里两位上幼儿园的小朋友嚷嚷着大年初一要去看电影。一问想看啥电影，两位小朋友异口同声地说：《熊出没狂野大陆》！
大年初一，笔者带上两位小朋友进入到电影院，发现《熊出没》果然有大批小粉丝…
FastDFS实战（四）- Java集成FastDFS
一、 下载 https://github.com/happyfish100/fastdfs-client-java.git
二、解压缩 安装到本地仓库 <!-- fastdfs java依赖 -->
<dependency><groupId>org.csource</groupId><artifactId>fastdfs-client-java</artifactId><version>…
重磅！GitHub 推出容器镜像仓库服务！
更多精彩内容可以订阅我的博客：https://fuckcloudnative.io微软收购了 GitHub 之后，并没有破坏 GitHub 的中立性，而是不断给开发者带来惊喜，从 GitHub Actions，到 GitHub Package Registry[1]，Github 依旧是…
Ceph Reef版本 RBD 性能测试：80万写IOPS（10节点、60个NVMe SSD）
2023-05-16 08:30 发表于上海
摘自：https://mp.weixin.qq.com/s/mKkPElmCktoZaRk0m0IbqA
1、背景 Ceph 社区最近冻结了即将发布的 Ceph Reef 版本，今天我们研究一下 Ceph Reef 版本在 10 个节点、60 个 NVMe 磁盘的集群上的 RBD 性能。 在确保硬件没有…
存储产学研：如何走好“第一公里”和打通“最后一公里”
哈佛商学院教授Clayton Christensen在《创新者的窘境》一书中认为，技术分为颠覆性和延续性，而颠覆性技术往往会改变整个行业的格局，因为它以一种全新的方式或为一个全新的群体解决了急迫的问题。
如今，数据存储市场再次面临着一次…
全球增速第一，自研飞轮效应凸显，华为存储逆势增长绝非偶然
近日，Gartner《2020年第一季度的外部存储市场份额报告》和IDC《中国区企业存储市场2020年第一季度市场跟踪报告》相继发布，在疫情之下，全球企业级存储市场走向疲软，但华为存储表现却是一枝独秀，靓丽的市场表现获得了业…
新浪微博首席架构师漫谈微博底层架构（转）
大家下午好，在座的大部分都是技术开发者，技术开发者往往对微博这个产品非常关心。最晚的一次，是12点多收到一个邮件说想了解一下微博底层是怎么构架的。很多技术人员对微博的构架非常感兴趣，就是一个明星他有300万粉丝，…
最受关注的 Cilium Service Mesh 到底怎么玩？ - 上手实践
大家好，我是张晋涛。Cilium 是一个基于 eBPF 技术，用于为容器工作负载间提供安全且具备可观测性的网络连接的开源软件。如果你对 Cilium 还不太了解，可以参考我之前的两篇文章：K8S生态周报| Google 选择 Cilium 作为 GKE 下一代数…
Ceph 故障排查笔记 | 万字经验总结
Ceph OSD 异常无法正常启动当某个 OSD 无法正常启动时：$ ceph -scluster:id: b313ec26-5aa0-4db2-9fb5-a38b207471eehealth: HEALTH_WARNDegraded data redundancy: 177597/532791 objects degraded (33.333%), 212 pgs degraded, 212 pgs undersizedapplicatio…
傅立叶变换常用库--fftw
FFTW ( the Faster Fourier Transform in the West) 是一个快速计算离散
傅里叶变换的标准C语言程序集，其由MIT的M.Frigo 和 S. Johnson 开发。可计算一维或多维实和复数据以及任意规模的
DFT。FFTW 还包含对共享和分布式存储系统的并行变换，它可自动适应…
OpenRS—— 开放式遥感数据处理与服务平台 OpenRS-Cloude：基于MapReduce的并行遥感处理系统
江万寿研究员介绍了开放式遥感数据处理与服务平台项目的来源、进展情况，项目思路以及要达到的目标：可扩展、可伸缩、可配置、可定制。 OpenRS的最终目标是搭建一个基本的遥感图像数据处理与应用的框架，实现最常用的图像读写、显示、漫游&…
FastDFS实战（五）- Spring Boot集成FastDFS
源码下载地址：https://github.com/tobato/FastDFS_Client 一、 创建Spring Boot项目，并导入fastdfs依赖
<!--fastdfs 客户端依赖-->
<dependency><groupId>com.github.tobato</groupId><artifactId>fastdfs-client</a…
从零开始手撸红黑树，带你领略编程的魅力
作者 | 曹金霖企鹅杏仁 Java 工程师，正在锻炼自制力的朴素程序猿。上节回顾上节内容我们学习了自平衡二叉搜索树 AVL 树，在算出影响平衡的节点后，通过左旋和右旋的组合，使得整个二叉树的左右子树的高度差不大于 1 ；这节…
Ceph----RBD块存储的使用：详细实践过程实战版
RBD 方式的 工作 流程：
1、客户端创建一个pool，并指定pg数量，创建 rbd 设备并map 到文件系统； 2、用户写入数据，ceph进行对数据切块，每个块的大小默认为 4M，每个 块名字是 object序号ÿ…
阿语python4-2 美多商城v5.0第2.12节 追加导包路径
从今天开始阿语将更新美多商场实战笔记，也就说从今天开始，下面的全部都是实战，喜欢的可以关注一下，一起学习python追加导包路径思考：是否可以将注册users应用做的更加简便？按照如下形式，直接以应…
解锁环境变量在云原生应用中的各种姿势
应用程序在某些时刻总是需要一些外挂配置，云原生应用的实践是在容器化之前就将应用程序配置保留在代码之外。“12-Factors App：Store config in the environment① 外挂配置文件：业务配置 appsettings.json“可以在代码中要求加载appsetting.…
Ceph分布式存储系列（二）：ceph-deploy方式部署三节点ceph集群
承接上文：Ceph分布式存储系列（一）：Ceph工作原理及架构浅析梳理 之前都是使用Deepsea方式部署的ceph，长时间不用ceph-deploy了，这次来回顾，顺便总结下！
前言： ceph-deplo…
Redis 6.0 使用 HELLO 命令切换 RESP v2 和 RESP3 协议
目录
1. 什么是 RESP 协议
2. RESP 3 实现的类型
同 RESP v2 的
RESP 3
3. HELLO 命令切换 RESP 协议 1. 什么是 RESP 协议
RESP（Redis Serialization Protocol）是 Redis 服务端与客户端之间通信的协议。
RESP3 是 RESP version 2 的更新版本。…
运筹新数据，中山大学精准医学中心的新存储之道
什么叫精准医学？
百科是这样定义的：精准医学（Precision Medicine）是以个体化医疗为基础、随着基因组测序技术快速进步以及生物信息与大数据科学的交叉应用而发展起来的新型医学概念与医疗模式。
定义可能过于学术化，…
Linux (Centos 7）编译安装 Redis 6.0
目录
1. 下载安装 Redis 6.0
2. 启动并测试
3. 安装错误及解决办法
Q；cc: command not found
Q：server.c:xxxx:xx: error: ****** has no member named ****** 1. 下载安装 Redis 6.0
点击进入 Redis 官网下载，当前最新的稳定版本为 Re…
为了解决 Prometheus 大内存问题，我竟然强行将 Prometheus Operator 给肢解了。。
想获得更好的阅读体验，可以在浏览器中打开链接https://fuckcloudnative.io/posts/aggregate-metrics-user-prometheus-operator/ 直接阅读原文Promtheus 本身只支持单机部署，没有自带支持集群部署，也不支持高可用以及水平扩容，它的…
晋升全球前五，浪潮存储为何能破局？
2010年-2015年是全球存储的并购潮，在Isilon、3PAR、Autonomy、Texas Memory Systems、Virtustream、XtremIO等知名存储创业公司被大厂们悉数收入囊中之后，有人曾断言：大厂抢占完新赛道之后，全球存储市场格局彻底固定，追…
真◉彻底解决 gcr、quay、DockerHub 镜像下载难题！
该文章随时会有校正更新，公众号无法更新，欢迎订阅博客查看最新内容：https://fuckcloudnative.io前言在使用 Docker 和 Kubernetes 时，我们经常需要访问 gcr.io 和 quay.io 镜像仓库，由于众所周知的原因，这些…
必看！云原生 Meetup 参会指南！
7 月 29 日驭势科技云平台研发总监中移物联网云计算高级开发工程师马上消费金融高级云平台开发视源股份资深运维工程师KubeSphere 可观测性研发等诸多惊喜伙伴将出席云原生 Meetup等你来约围绕“云原生”的主题带来实践与思考，交流与碰撞倒计时 1 天！温馨…
Minio VS Ceph
1. 概述2. 对比 [2.1. 软件整体对比1 2](#21-软件整体对比1-2) 2.1.1. 语言与代码量及技术栈 2.1.1.1. 编译时间2.1.1.2. 技术栈 [2.1.2. License 3](#212-license–4) 2.1.2.1. LGPL2.1.2.2. AGPLv3 2.1.3. 文档2.1.4. 社区支持 2.2. 对象存储功能对比 2.2.1. 数据存储 2.3. 致…
Nginx的简介以及安装
前沿，建议先完成FastDFS配置后，再接着看这篇 https://blog.csdn.net/hailunw/article/details/118933216
1）简介 Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。Nginx是由伊戈尔赛索…
在 k8s 中使用 Kubevirt 运行管理 Windows 10 操作系统
更多奇技淫巧欢迎订阅博客：https://fuckcloudnative.io前言最近我发现我的 Kubernetes 集群资源实在是太多了，有点浪费，不信你看：既然闲置资源那么多，那我何不想办法利用一下。怎么用，用来干什么又是一个问…
赋能中国制造，大道云行发布智能制造分布式存储解决方案
《中国制造2025》指出，“制造业是国民经济的主体，是立国之本、兴国之器、强国之基。” 智能制造引领产业提质增效
智能制造是一种利用先进的信息技术、自动化技术和智能技术来优化和升级制造业生产过程的方法。它将人工智能、大数据、物联网、机器学习等…
Google File System 学习总结
趁着4月份找实习的契机，学习了MIT 6.824的课程推荐论文Google File System。篇幅很长，感觉不是完全理解了，先转载了一篇觉得整理得比较好的笔记，方便后续的进一步学习。
GFS 的主要需求
在学习 GFS 的原理前，首先我们…
巧用 Prometheus 监控 Kubernetes 集群所有组件的证书
KubeSphere 虽然提供了运维友好的向导式操作界面，简化了 Kubernetes 的运维操作，但它还是建立在底层 Kubernetes 之上的，Kubernetes 默认的证书有效期都是一年，即使使用 KubeKey[1] 这样的集群安装利器也不能改变这个结果。如果不…
炒鸡福利：买云服务送智能摄像头
随着用户在宝宝教育、看护老人、居家安防、店铺监控、商业应用等方面对智能摄像头的需求增加，一款搭载百度云服务的产品将能更好保护您的家人与财产安全。为了让百度云服务智能摄像机更好的走进生活，让用户能够随时远程随时随地查看家里的一切。近日&…
架构师接龙：林昊黄冬
---tenfyguo:
讲的面很广，互联网各个方面基本都涉及到了，总结了下：
1，数据的存储和切割，支持平滑扩容和切换；
2，互联网行业与传统行业的紧密关系：好的架构必须是跟业务密切结合的…
有了这款图形管理界面，一分钟内配置 10 个 WireGuard 客户端不是梦
该文章随时会有校正更新，公众号无法更新，欢迎订阅博客查看最新内容：https://fuckcloudnative.io前言之前花了很大的篇幅介绍了 WireGuard 的????工作原理和????配置详解，可这里面的内容实在太多了，大部分人根本…
阿语Python项目实操之美多后台管理-订单管理6.2节获取订单表详情数据数据
获取订单表详情数据数据当点击订单详情时，我们需要获取订单详情数据接口分析请求方式：GET /meiduo_admin/orders/(?P<pk>\d)/请求参数：通过请求头传递jwt token数据。返回数据：JSON{"order_id": "201811261…
让IPFS应用落地生花，中科曙光ChainStor做对了什么？
数据价值如何实现最大程度释放，唯有将数据打通、流动与共享。
如今，数据价值释放迎来了最好的时代。去年，《关于构建更加完善的要素市场化配置体制机制的意见》（以下简称《意见》）首次将数据写入到生产要素࿰…
推荐几个 VS Code 扩展、主题和字体！
前言工欲善其事，必先利其器。VS Code 作为当前最流行的开源代码编辑器之一，要说它为什么这么受大众喜爱，我觉得一是它现代化的界面，二是它强大的扩展系统。得益于 VS Code 的扩展系统，我们可以给编辑器加上各种“Buff”…
对不起我乌龙了！9.9块钱去不了新加坡，省略100字.....
今天我们的资源商城上新了一款 Nowpaper 的新游戏《细菌2048》结果我闹了个乌龙，将定价搞错了价格为￥9.9元！这里是在线体验地址：http://2816.creator-star.cn/54.html01 乌龙摆尾 因为之前已经上架过三款 Nowpaper 的作品…
Redis 6.0 权限控制命令 ACLs 详解
目录
1. 前言
2. 什么是 ACL
2. 什么时候使用 ACLs
3. ACL 规则
启动或禁用用户
启用或禁用命令
允许或禁止访问某些 KEY
为用户配置有效密码
4. ACL 常用命令
ACL LIST
ACL SETUSER
ACL GETUSER
ACL DELUSER
ACL USERS
ACL WHOAMI
ACL CAT
ACL SAVE
ACL LO…
在 Kubernetes 中部署高可用 Harbor 镜像仓库
该文章随时会有校正更新，公众号无法更新，欢迎订阅博客查看最新内容：https://fuckcloudnative.io前言系统环境：kubernetes 版本：1.18.10Harbor Chart 版本：1.5.2Harbor 版本：2.1.2Helm 版本&…
Ceph分布式存储系列（三）：Ceph集群在线扩容及OSD相关命令
承接上文：Ceph分布式存储系列（二）：ceph-deploy方式部署三节点ceph集群 通常情况下，因业务等一系列问题，导致集群扩容是一种常见且难以避免的事情，所以这次还是基于上一篇部署的三节点Ceph集群再…
Linux中对象存储压测工具-cosbench安装配置使用详解
因部署完对象存储，需要进行性能测试，使用到cosbench，进而稍加整理至此
一、介绍：
COSBench 是一个用于测试云对象存储系统的分布式基准测试工具，也允许用户为额外的存储系统创建适配器。
由两个主要组件组成
Drive…
10分钟了解TiDB
由于目前的项目把mysql换成了TiDb，所以特意来了解下tidb。其实也不能说换，由于tidb和mysql几乎完全兼容，所以我们的程序没有任何改动就完成了数据库从mysql到TiDb的转换，TiDB 是一个分布式 NewSQL (SQL 、 NoSQL 和 NewSQL 的优缺…
Ceph分布式存储系统优化分析
Ceph支持多种存储访问接口，现有的多种性能测试工具都可用于Ceph的性能测试，如测试块接口性能的fio，iometer等；测试CephFS接口的filebench，fio等;测试对象接口的cosbench等。Ceph有专用的基准测试集CBT，其包…
滴滴Ceph分布式存储系统优化之锁优化
摘自：https://mp.weixin.qq.com/s/oWujGOLLGItu1Bv5AuO0-A 2020-09-02 21:45
0.引言 Ceph是国际知名的开源分布式存储系统，在工业界和学术界都有着重要的影响。Ceph的架构和算法设计发表在国际系统领域顶级会议OSDI、SOSP、SC等上。Ceph社区得到Red Hat…
【送书活动】大模型赛道如何实现华丽的弯道超车
文章目录 导读模型训练01 具备对海量小文件的频繁数据访问的 I/O 效率02 提高 GPU 利用率，降低成本并提高投资回报率03 支持各种存储系统的原生接口04 支持单云、混合云和多云部署 Alluxio01 通过数据抽象化统一数据孤岛02 通过分布式缓存实现数据本地性03 优化整个…
高可用 Prometheus 的常见问题
监控系统的历史悠久，是一个很成熟的方向，而 Prometheus 作为新生代的开源监控系统，慢慢成为了云原生体系的事实标准，也证明了其设计很受欢迎。本文主要分享在 prometheus 实践中遇到的一些问题和思考几点原则监控是基础设施&#…
AI时代的数据革命，分布式融合存储为何堪当大任？
有人说，以ChatGPT为代表的人工智能应用的兴起标志着AI时代奇点来临。
诚然如斯。这一波AIGC浪潮来袭，让人们真正意识到AI给生产力带来的巨大飞跃。从今年起，AI大模型成为行业用户重点关注的对象，甚至金融、媒体、广告营销等用户纷…
基于分布式存储的Windows ODX实现与优化
作者简介：文刘飞，杉岩数据联合创始人 引擎架构师 编者按：服务器虚拟化技术在提高服务器利用率的同时，也消耗了大量的CPU、内存和网络带宽资源，本文从存储卸载加速的背景出发，探讨基于分布式存储的Windows …
挑战存储“不可能之三角”：用自研技术引领存储性能突破
科技云报道原创。
存储，是数字化时代的“粮仓”。它承载着企业的海量数据，是企业数字化转型的基础。
然而，随着非结构化数据在生产业务中的广泛应用，各行各业正在经历数据量的爆炸式增长。虽然分布式存储在大众认知内具有高性价…
Redis系列第一讲：Redis是单线程吗
Redis是什么
个人博客链接：https://juejin.cn/post/7031953350157402148
Redis是互联网技术领域使用最为广泛的存储中间件，全称“Remote Dictionary Service”（远程字典服务）。 Redis 是一个开源（BSD许可）…
从零实现SpringBoot简易读写分离，也不难嘛！
点击上方“果汁简历”，选择“置顶公众号”最近在学习Spring boot，写了个读写分离。写完以后发现从零开始写读写分离并不难！我最初的想法是：读方法走读库，写方法走写库（一般是主库），保…
Gartner：浪潮存储进入分布式存储前三
近日，权威调研机构Gartner公布2021二季度全球存储市场报告。报告显示，全球存储市场开始回暖，市场规模同比增长3.5%，其中以分布式存储为代表的第二存储市场增速最高，同比增长5.5%。全球第二存储市场，浪潮分布…
![[转]HDFS和KFS 比较](https://p-blog.csdn.net/images/p_blog_csdn_net/cloudeep/EntryImages/20090820/4.jpg)
[转]HDFS和KFS 比较
最近一直在研究KFS，看到一篇文章，还是记录下来。转自：http://blog.csdn.net/cloudeep/archive/2009/08/20/4467238.aspx By云深作者：Terry/Lanlan/Adam 2009年1月
转载请注明出处
1、HDFS 和 KFS 简介 两者都是GFS的开源实现&a…
dd简单使用-存储视角
dd简介 简单粗暴 随叫随到的工具 dd 单纯的用 open read seek write 这四个 api 在做文件操作，除了 iflag 可以多指定一些打开参数之外，没有任何魔法 https://github.com/coreutils/coreutils/blob/master/src/dd.c 常用说明
从存储/分布式存储角度&…
2021年了，`IEnumerator`、`IEnumerable`接口还傻傻分不清楚？
IEnumerator、IEnumerable这两个接口单词相近、含义相关，傻傻分不清楚。入行多年，一直没有系统性梳理这对李逵李鬼。最近本人在怼着why神的《其实吧，LRU也就那么回事》，方案1使用数组实现LRU，手写算法涉及这一对接口&a…
临近年关，发生两起磁盘占满引发的服务下线故障
一口气说两个因为磁盘空间不足引发的应用故障。作为拿起键盘一把梭的Coder， 开发--->部署-->收工--->心旷神怡，滋一口82年的可乐.过了几个月，服务突然下线了！CTO又有杀程序员祭天的理由了!事故1：Azure App Se…
腾讯游戏大数据资产管理实战：元数据管理与数据治理
时间：2020年10月30日地点：上海中庚聚龙酒店场次：数据库&数据资产管理专场演讲主题：《腾讯游戏大数据资产管理实战：元数据管理与数据治理》你将收获：剖析腾讯游戏完整的数据资产管理体系；作为…
Ceph分布式存储系统
Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。Ceph其命名和UCSC（Ceph 的诞生地）的吉祥物有关，这个吉祥物是“Sa…
一文解读数据中台的十大问题
正文开始数据中台是比较快能够产生业务价值，能够绕过沉重的流程，遗留系统改造的包袱，去识别业务创新，智能赋能的路径所以很多CEO都在问CIO或者CDO各种关于数据中台的问题，我这里用大家喜闻乐见的PPT的方式予以回答&…
MIT6.824-Raft笔记:Raft初探、副本间log时序
从宏观角度说明raft在程序中的作用，和客户端的关系，以及多个副本之间的关系；从微观角度说明多个副本之间raft对日志处理的流程。 1. Raft 初探
宏观角度说明raft在程序中的作用，和客户端的关系，以及多个副本之间的关…
Ceph读写性能估算方法
发布于 2018-08-13 12:42
阅读原文：http://www.cccttt.me/blog/2018/04/10/ceph-performance-estimate
1、前言 最近在做Ceph性能测试相关工作，在测试初期由于没有得到理想的测试结果，因此对Ceph集群进行了优化，但是一直有个问题…
一文看懂分布式存储 Ceph 架构原理
【摘要】本文带你层层深入Ceph的架构原理、读写原理，从而理解Ceph的特性及其应用场景。
1. 什么是Ceph？
首先，我们从 Ceph的官方网站上，可以看到：“Ceph is a unified, distributed storage system designed for exc…
《玩转股票量化交易》开启股票数据远程下载服务
前言创建知识星球《玩转股票量化交易》的初心是为读者们提供一个深入学习和交流的平台，在搭建自己的量化交易系统之路上更有方向。关于星球的学习路线导览可以参考这篇文章。《玩转股票量化交易》学习路线导览本期我们为星友们开启了新的服务，搭建了云服…
Druid0.10伪分布式部署
转载请注明出处：http://blog.csdn.net/u012842205/article/details/73290278 Druid是一个高性能的面向列存储的分布式存储系统。支持亚秒级的点对点数据查询，包括数据分组，聚合，过滤等操作。其实现目标是支持面向应用的多用户交互…
华为存储发展史：从筚路蓝缕到星辰大海
导语：今年是华为存储业务第十八年，这十八年来风雨兼程，从筚路蓝缕到星辰大海，华为存储见证了中国存储产业从无到有、从弱到强的发展全过程。
本文详细回忆了华为存储十八年走过的风雨历程：艰难曲折的成长过程、平凡可…
游戏换皮被默许了么？微信后台竟然支持代码授权！！！喜讯
前段时间，微店上不少客户被微信牛逼的查重检查给困扰，不论是如何混淆代码总是提示代码侵权！！！微信一直以来，原则上是不允许开发商，将一个游戏简单换皮后再次上线的，但小游戏的数量真…
FastDFS实战（三）- 配置和运行
一、 配置
创建fastdfs运行所需的数据目录 mkdir -p /data/fastdfs/{tracker,storage/store}创建启动所需的配置文件 cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.con
cp /etc/fdfs/client.conf.sample /et…
AI 的未来是开源的
想象一下，在未来，人工智能不会被锁在公司的金库里，而是由全球创新者社区一砖一瓦地在开放中构建的。协作，而不是竞争，推动进步，道德考虑与原始绩效同等重要。这不是科幻小说，而是人工智能发展核…
一起来创建A股上市公司细分行业龙头数据库
为什么要搭建呢？A股市场无论牛市、熊市还是 震荡市场更多的还是结构性机会，也就是行业及题材板块的热点轮动，此消彼长，这会是一种常态。因此选股环节愈发重要，选对大趋势却没有选好板块--无用；选对了板块却…
Ceph的监控工具Dashboard安装部署，详细实战过程
Ceph的监控工具Dashboard安装部署
还是用之前的集群，老规矩，没有主机名的是所有节点都执行 安装mgr-dashboard，每个节点都要安装
yum install -y ceph-mgr-dashboard开启MGR的功能
ceph mgr module enable dashboard查看开启的模块
[root…
手写分布式存储系统v0.3版本
引言
承接 手写分布式存储系统v0.2版本 ，今天开始新的迭代开发。主要实现 服务发现功能
一、什么是服务发现
由于咱们的服务是分布式的，那从服务管理的角度来看肯定是要有一个机制来知道具体都有哪些实例可以提供服务。举个例子就是，张三家…
在大数据世界“寻宝”，科研新范式如何用好存储这把利器？
模拟脑神经网络，探索人脑上亿个神经元之间是如何连接与工作的，带来每秒高达100TB数据高吞吐量；脑疾病研究中，通过数万份患者数据验证抑郁症与睡眠治理不佳的脑区有重合之处；在自动驾驶车辆每天产生了数十TB数据中训练视…
华为好望：记录传承千年的渔猎文化
编辑：阿由设计：紫菜2014年的“现象级”纪录片《舌尖上的中国》，真正让查干湖冬捕名扬于天下。每逢冬捕的日子，都会有来自海内外的大批游客慕名而来，一睹这极富民族特色的仪式。查干湖冬捕，最早可以追溯到辽…
心跳丢失造成RAC节点驱逐
赶上了迁库风，我们的一套再建生产业务库发生了主机重启，什么原因呢[rootnqzeyddb2 ~]# uptime 15:42:46 up 5 days, 22:29, 4 users, load average: 0.08, 0.09, 0.10 alert日志里面没有明显告警，crs里面是有明显的超时告警的，怀…
IPFS 简介及概述
文章目录 IPFS 简介IPFS 包含的协议内容及其理解IPFS 和 BitTorrent 区别IPFS 简介
星际文件系统(InterPlanetary File System). IPFS 是一个分布式的网络文件系统, 点到点超媒体协议. 可以让我们的互联网速度更快, 更加安全, 并且更加开放. IPFS协议的目标是取代传统的互联网…
-ROOT-表和.META.表结构详解
在《HBase技术简介》中我们知道，HBase中有两个特殊的表：-ROOT-和.META.。
由于HBase中的表可能非常大，故HBase会将表按行分成多个region，然后分配到多台RegionServer上。数据访问的整个流程如下图所示： 注意两点&…
分布式文件系统对比与选型参考
目录
一、分布式文件系统
1、 数据的存储方式：
2、 数据的读取速率
3、 数据的安全机制
二、主流分布式文件系统介绍
1. GFS（Google File System）
2. HDFS（Hadoop Distributed File System）
3. Ceph
…
女朋友是什么？我有对象存储就够了
这位小哥哥，听说你五行缺女朋友。 怎么可能！我有对象存储，里面存了好多对象。嗯？对象存储，好像很厉害的样子！那是当然！（傲娇脸）but，这究竟是什么神奇宝物&…
一名股票量化交易者该如何管理股票数据——股票代码表的维护
数据管理的重要性量化交易的本质是从海量的数据中寻找出在概率上具有获利优势的策略，那么对于数据的管理来说，是非常关键的。数据管理的关键点并不在于我们是使用数据库来存储、还是本地文件存储，也不在于我们使用哪种数据库，真正…
MapReduce将HDFS文本数据导入HBase中
HBase本身提供了很多种数据导入的方式，通常有两种常用方式：
使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入HBase另一种方式就是使用HBase原生Client API
本文就是示范如何通过MapReduce作业从一个文件读取数据并…
实操：搭建ceph集群+openstack_rocky
文章目录一：ceph基础环境二：ceph集群搭建三：安装步骤3.1 各节点关闭防火墙3.2 各节点安装pyhton-setuptools工具3.3 在openstack的控制节点，创建cph配置文件目录3.4 在控制节点安装ceph-deploy部署工具3.5 在三个节点安装ceph软件…
分布式与传统的对比简介
分布式存储与传统存储的区别
存储类型分布式存储传统存储包含架构主备机制，对等机制DAS，NAS，SAN优点 无需绑定昂贵的专有硬件，成本低。 不存在单点故障。 不存在”数据同步困难”的问题。缺点数据同步困难。成本高，无…
DAS SAN NAS的简介
DAS
SAN
Storage Area Network，存储区域网络，是一个FC或者ISCSI网络上的磁盘block。可以用fdisk -l | grep sd查看。常见协议有 FC，ISCSI等。 SAN一般是多路径的方式。 比起NAS，SAN的访问速度要快。
NAS
Network Attached Sto…
Ceph分布式存储系列（四）：Pool相关命令及池快照snapshot的创建删除与回滚恢复
Pool简介：
pool是ceph存储数据时的逻辑分区，它起到namespace的作用。每个pool包含一定数量(可配置) 的PG。PG里的对象被映射到不同的Object上。pool是分布到整个集群的。 pool可以做故障隔离域，根据不同的用户场景不统一进行隔离。
支持两种…
Ceph分布式存储系列（五）：pool池限制大小的方式
pool池不能和卷一样创建的时候指定大小，但是提供了限制配额的功能
两种限制方式：
限制池内的object数 （max_objects）限制池内的存储数据大小（max_bytes）
简单来说，其实就几条命令而已
查看池…
CephFS高可用的NFS-Ganesha网关
1. 概述2. 术语3. nfs-ganesha 3.1. 介绍3.2. 架构 3.2.1. 总体架构图3.2.2. 架构说明3.2.3. genesha-rados-cluster设计 3.2.3.1. 客户端恢复(单体情况)3.2.3.2. 宽限期(单体情况)3.2.3.3. Reboot Epochs3.2.3.4. gracedb3.2.3.5. 集群 3.3. 高可用集群实现 4. 部署 4.1. 环境…
阿语谈流量之自媒体大鱼号讲解1.1.4
大鱼号的由来：2017年3月31日晚间消息，随着土豆宣布全面转型短视频，为了让短视频创作者快捷高效地共享阿里生态资源，阿里巴巴文化娱乐集团移动事业群总裁，土豆总裁何小鹏宣布原UC订阅号、优酷自频道账号统一升级为大鱼号…
中移动分布式存储超级大单出炉，浪潮等唱主角
近日，中国移动公布了2019年至2020年分布式块存储产品集中采购招标公告。自2017年以来，中国移动已经组织了两次分布式文件存储集采，本次集采是电信运营商行业的首次分布式块存储大规模集采，吸引了众多包括浪潮、华为等在内的十多家…
使用docker完成minio服务部署扩容备份迁移生产实践文档
一、minio服务扩容方案
当服务器存储空间不足的时候，需要进行扩容，扩容过程中需要短暂停机时间，预计在一小时内能够完成和恢复
统一注意事项
强烈建议为部署中的所有节点选择基本相似的硬件配置。确保硬件（CPU、内存、主板、存…
GFS的卷类型与集群实验文档
GlusterFS 支持七种卷，即分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷、条带复制卷和分布式条带复制卷。我们常用的有前五种，今天我们就来看一看这五种卷都有什么优缺点。
一、分布式卷（Distribute volume） 文件通过 H…
MinIO分布式存储k8s集群部署
一、MinIO是什么
MinIO是go开发的，高性能分布式存储；基于GNU AGPL v3开源，可免费使用； 官网：https://min.io/ github: https://github.com/minio/minio 官网宣传MinIO是世界上速度最快的分布式对象存储； …
【Asio】DNS域名解析
（点击上方公众号，可快速关注）背景互联网应用是通过IP标识通信双方的主机地址的。常用的IPv4是32位的整数，而这个数字不好记忆，所以引入了更加适合人类阅读和记忆的点分十进制表示法，如环回地址对应“127.0.…
基于LBS的移动信息服务
基于LBS的移动信息服务 陈玉进 李泉 南京跬步科技有限公司http://www.creable.cn 基于位置的服务LBS（Location Based Services），一直被认为未来移动互联网杀手锏级应用，其中包括两层含义：首先是确定移动设备或用户所在…
FastDFS服务器集群部署和集成客户端到SpringBoot
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题，同时也能做到在集群环境下一台机…
云计算的未来——云计算核心技术
我们正在经历着一个前所未有的变革时代。信息技术的不断创新也推动着各行业的业务创新。任何规模和类型的组织都需要拥抱最新的 IT 趋势才能保持竞争力与创新力，并关注自身的业务。
越来越多的企业将关键运营机制建立在 IT 基础结构之上，从 CIO 的角度…
OpenMP和MPI是并行编程
OpenMP和MPI是并行编程的两个手段，对比如下：
1. OpenMP:线程级（并行粒度）；共享存储；隐式（数据分配方式）；可扩展性差；
2. MPI：进程级&…
是的，不修改源码可以直接原地升级 Pod！
更多奇技淫巧欢迎订阅博客：https://fuckcloudnative.io前言OpenKruise[1] 是阿里云开源的大规模应用自动化管理引擎，在功能上对标了 Kubernetes 原生的 Deployment / StatefulSet 等控制器，但 OpenKruise 提供了更多的增强功能如：…
不对全文内容进行索引的 Loki 到底优秀在哪里
总结下 loki 的优点低索引开销loki 和 es 最大的不同是 loki 只对标签进行索引而不对内容索引这样做可以大幅降低索引资源开销 (es 无论你查不查，巨大的索引开销必须时刻承担)并发查询 使用 cache同时为了弥补没有全文索引带来的查询降速使用，Loki 将把…
这个“海王”不简单，PowerScale让数智化转型有“数”有“据”
过去，传统医学主要依靠个人经验，医生根据自身实践经验和尝试不同方案来做诊断与治疗；如今，精准医学的医疗过程则是依靠数据,在海量数据基础上利用大数据、AI等技术实现个性化治疗。”南方某精准医学中心计算肿瘤学博士去年向大数据…
一体机新品亮相，XSKY软件定义存储的初心与梦想
画风一转，软件定义存储厂商XSKY开始玩硬核啦！
近日，XSKY正式推出了其软件定义存储一体机产品XSCALER EXPRESS 2000（以下简称“XE2000”）。XSKY创始人兼CEO胥昕透露：“在酝酿和准备四年之后，XSK…
阿语python4-2 美多商城v5.0商品-准备商品数据之第6.2.4节录入商品数据和图片数据...
1. SQL脚本录入商品数据$ mysql -h127.0.0.1 -uroot -pmysql meiduo_mall < 文件路径/goods_data.sql2. FastDFS服务器录入图片数据1.准备新的图片数据压缩包2.删除 Storage 中旧的data目录3.拷贝新的图片数据压缩包到 Storage，并解压# 解压命令
sudo tar -zxvf …
Moosefs 分布式存储
主机环境:RHEL6.5 selinux and iptables disabled Master:172.25.254.4:server4 Chunkserver: 172.25.254.5:server5 172.25.254.6:server6 Client: 172.25.254.56
主控服务器 Master server 安装:
yum install -y mfs-master-1.6.26-1.x86_64.rpm mfs-cgi-1.6.26-1.x86_…
百度向业界分享海量数据处理技术
导语：我们身处海量数据时代。2011年，全球产生的数据量达到1.8ZB（1ZB10亿TB，1TB1000GB）。未来十年，全球大数据还将增加50倍。面对数据的暴增，如何有效的存储、管理、访问这些数据？互联…
磕技术、筑平台，浪潮存储如何持续破局？
过去有人常言，数据存储市场的竞争游戏已经Game Over。
在看似稳定的市场格局中，浪潮存储近年来却强势崛起，用亮眼的成绩证明了破局依然可行。今年上半年，浪潮存储更是交出一份靓丽的成绩单：其高端全闪存、分布式存储就…
即使累死自己，也要饿死同行——网页压缩算法值得你收藏！
作者 | 谭军一虽然过去不能改变，“未来” 可以 ！网页数据或者图像数据往往比较大，对于传输和存储都不太友好，我们在请求静态资源时能看到 Request Headers的accept-encoding 通常会包含 gzip, deflate, br 三种格式，其…
Kubernetes 使用 ceph-csi 消费 RBD 作为持久化存储
本文详细介绍了如何在 Kubernetes 集群中部署 ceph-csi（v3.1.0），并使用 RBD 作为持久化存储。需要的环境参考下图：本文使用的环境版本信息：Kubernetes 版本：$ kubectl get node
NAME STATUS ROLES …
Ceph分布式存储系列（七）：对象存储RGW和S3cmd的安装配置及常用命令
承接上文Ceph分布式存储系列（二）：ceph-deploy方式部署三节点ceph集群
这里就不详细介绍对象存储了，感兴趣可以在这里查看： Ceph分布式存储系列（一）：Ceph工作原理及架构浅析梳理 …
我是程序员，我在小区“收垃圾”
智能垃圾桶的出现，惠及了居民、企业、政府等各个层面，让垃圾分类全民化指日可待，而 EasyDL、EdgeBoard 在此领域也大有可为。浙江宁波，早上七点，12岁的康康来到小区楼下，手里拎着大大小小的垃圾袋ÿ…
FastDFS实战（二）- 安装
FastDFS实战 一、 相关资料
开源项目FastDFS：https://github.com/happyfish100/fastdfs安装步骤：https://github.com/happyfish100/fastdfs/blob/master/INSTALL
二、 安装
下载安装第三方依赖： yum install gcc-c perl-devel pcre-devel…
福利继续｜百度云免费云服务器送不停！
云时代，你岂能置之度外？2017年6月7日—2017年7月7日，百度云重磅推出“云服务器0元购”活动！免费云服务器每日10点开抢，0门槛满足您的多样化需求。您的上云第一步，百度云来助！不管是企业用户还是…
Kubernetes Pod 突然就无法挂载 Ceph RBD 存储卷了。。
该文章随时会有校正更新，公众号无法更新，欢迎订阅博客查看最新内容：https://fuckcloudnative.io前言Kubernetes 坑不坑？坑！Ceph 坑不坑？坑！他俩凑到一起呢？巨坑！之前在 K…
Wireguard 全互联模式（full mesh）权威指南
高清架构图可以订阅博客查看：https://fuckcloudnative.io前言上篇文章给大家介绍了如何????使用 wg-gen-web 来方便快捷地管理 WireGuard 的配置和秘钥，文末埋了两个坑：一个是 WireGuard 的全互联模式（full mesh）&…
直播预告 | Kubernetes 上的图数据库——本周四晚八点
云原生直播间第 3 期直播，敬请期待！直播预告本周四晚八点，将由 VEsoft inc.（欧若数网）开发者布道师古思为，为大家带来线上的分享。本次分享将介绍 K8s 上的图数据库 Nebula Graph(NG) 的演进、实现…
RPC分布式文件系统小记
RPC: 远程程序调用(Remote Procedure Call)。应用层协议，实现一台主机上的程序调用另一台主机上的程序提供服务 存根(stub)：是一个服务 1）发送端 存根将一个RPC请求所有参数变为与本地址空间无关的内容，将整个请求译成与物理结构…
腾讯的redis面试问题，就这？
Redis面试问题及其详解分布式redis锁redis过期策略redis的缓存穿透，击穿，雪崩问题redis高可用策略redis的位图操作分布式redis锁
这个主要是有4个方面要解决。 1.互斥 2.不能死锁 3.容错性 4.重试机制 常见案例是这样的。 案例一：线程中mast…
这 7 个 Spring Boot 项目够经典！
点击上方 果汁简历 ，选择“置顶公众号”优质文章，第一时间送达前言不得不佩服 SpringBoot 的生态如此强大，今天给大家推荐几款优秀的后台管理系统，小伙伴们再也不用从头到尾撸一个项目了。SmartAdmin我们开源一套漂亮的代码和一套…
分布式系统唯一id生成方案简介
概念
在分布式系统中，根据业务需要对大量的数据和消息进行唯一标识。如在金融、电商、支付、等产品的系统中，订单号，流水号等等不能有重复。 分布式系统唯一ID的特点
1）全局唯一性，不能出现重复的ID号。
2…
Hadoop HDFS和KFS (CloudStore)的比较
HDFS和KFS 比较
By云深作者：Terry/Lanlan/Adam 2009年1月
转载请注明出处
1、HDFS 和 KFS 简介 两者都是GFS的开源实现，而HDFS 是Hadoop 的子项目，用Java实现，为Hadoop上层应用提供高吞吐量的可扩展的大文件存储服务。
Kosmo…
百度智能云 x 精研科技 | AI质检，为智能制造而来
对于大规模生产制造来说，精准质检是一道迈不过去的坎儿。专注于精密零部件制造的精研科技，对此深有体会。作为国内领先的精密零部件制造厂商，精研科技的客户包括三星、OPPO、vivo等国内外知名企业，对产品的精密度和外观要求非常高…
Gartner最新数据：浪潮存储再进全球前五
近日，权威调研机构Gartner公布2021年二季度全球存储市场报告。报告显示，二季度全球存储市场出现复苏迹象，销售额达到331.5亿元，同比小幅增长3.5%；出货量为8.5万套，同比下降5.7%。本季度浪潮存储持续高速增长…
宏杉科技：存储创新之路需要决心与耐心
大约二十余年前，中国市场刚开始接触SAN存储，彼时的全球存储产业如火如荼，国际存储巨头犹如高山仰止、不可逾越；二十年弹指一挥间，以宏杉科技为代表的中国存储厂商在竞争门槛极高的企业级存储领域杀出一条血路ÿ…
稳了！3D中解决角色在爬坡时的抖动问题
本篇文章将聚焦在跑酷类游戏中频繁出现的爬坡需求，剖析在爬坡时人物抖动的原因和解决方案。此次采用的是 bullet 物理引擎，由于不同物理引擎实现方式各不相同，所以还需要具体问题具体分析。资源下载本讲解案例 Demo 工程由 Cocos 引擎 Demo T…
基于鲲鹏平台Ceph深度性能调优
刘亮奇 架构师技术联盟 2021-04-12 07:50
摘自： https://mp.weixin.qq.com/s/o9HH-8TF0DbMqHrvsFh1NA 随着 IOT、大数据、移动互联等应用的暴涨，产生的数据也越来越多，整个存储市场总量也逐年增长，预计到 2021 年分布式存储会占到…
Redis实现分布式存储
Memcache是在服务端实现分片的分布式的缓存系统，而Redis是基于Master-Slave（主从），如果想把Reids做成分布式缓存，就要多做几套Master-Slave，每套Master-Slave完成各自的容灾处理，另外࿰…
Ceph----CephFS文件系统的使用：详细实践过程实战版
CephFS 介绍
是一个基于 ceph 集群 且兼容 POSIX 标准的文件系统。 创建 cephfs 文件系统时 需要在 ceph 集群中添加 mds 服务，该服务 负责处理 POSIX 文件系统中的 metadata 部分， 实际的数据部分交由 ceph 集群中的 OSD 处理。
cephfs 支持以内核模块…
分布式架构与分布式存储 C++ 代码示例
分布式架构和分布式存储在现代软件系统中变得越来越普遍。分布式架构将应用程序分解为独立的组件，这些组件可以在不同的计算机上运行。分布式存储允许数据在多个计算机上存储和管理。
本博文将提供一段 C 代码示例，展示如何使用分布式架构和分布式存储来…
区块链丨解决公益事业中最根本的“信任”问题
1991年，作为希望工程的标志，“大眼睛女孩”的照片留在了全国人心中，也让更多人开始接触到公益活动。而随着互联网的创新和普及，我国的公益事业，日益蓬勃发展。据《2018年世界捐助指数》，中国已成为世界第三…
“一馆一策”保亚运，精准气象服务背后的数据魔法
第十九届杭州亚运会已隆重闭幕，十五个比赛日留下了无数精彩的瞬间：开幕式数字火炬手点燃主火炬、男女100米接力赛的激情澎湃、“时间孤勇者”丘索维金娜的坚持、围棋选手柯洁的泪洒赛场……
作为亚洲水平最高的综合型运动会，本届杭州亚运会竞…
ViveNAS - 一个基于LSM tree的文件存储实现 （一）
1. ViveNAS （GitHub - cocalele/ViveNAS） ViveNAS 是一个开源分布式的网络文件系统（NAS）, 具有下面的特点: - 通过不同存储介质的结合，在高性能、低成本间寻找动态的平衡 - 解决数据的长期、低成本存储问题ÿ…
使用 MinIO 和 PostgreSQL 简化数据事件
本教程将教您如何使用 Docker 和 Docker Compose 在 MinIO 和 PostgreSQL 之间设置和管理数据事件，也称为存储桶或对象事件。
您可能已经在利用 MinIO 事件与外部服务进行通信，现在您将通过使用 PostgreSQL 自动化和简化数据事件管理来增强数据处理能力…
离电影明星梦成真，你将又近一步！
据说，每个人心中都有一个电影梦。也许是这样或者是这样当然，这样也是一种梦想人手一部手机的年代，拍个微电影根本不算事!这样拍还可以这样拍但是怎么让你拍的片儿火起来，实现你的电影明星梦呢？近日，国内首个…
