小陈运维

    frp 是一个专注于内网穿透的高性能的反向代理应用，支持 TCP、UDP、HTTP、HTTPS 等多种协议。可以将内网服务以安全、便捷的方式通过具有公网 IP 节点的中转暴露到公网。     **frp is a high-performance reverse proxy application focusing on intranet penetration, supporting multiple protocols such as TCP, UDP, HTTP, and HTTPS. Intranet services can be exposed to the public network through a relay with public network IP nodes in a safe and convenient way.** 为什么使用 frp ？ Why use frp?     通过在具有公网 IP 的节点上部署 frp 服务端，可以轻松地将内网服务穿透到公网，同时提供诸多专业的功能特性，这包括：     By deploying the ...

    MindX DL Sample主要应用于企业的数据中心或超算中心机房中，针对不同的应用场景为客户提供AI深度学习端到端解决方案。     传统行业：用户无自建深度学习平台，希望能够提供简单易用、软硬件一体化的深度学习平台。     互联网和安防行业：用户有自建深度学习平台，希望提供适配客户深度学习平台的开源插件，快速上线昇腾系列AI处理器的深度学习。     超算中心和公有云行业：用户无AI深度学习集群，希望提供大规模AI深度学习集群、支持超高密部署、整柜交付，缩短项目交付周期，加速业务上线，节省安装部署及调测成本。     说明：此文档需要先将基础kubernetes环境下的DL搭建完成，参考《华为 A800-9000 服务器 离线安装MindX DL》 一、 修改ansible配置文件 root@ubuntu:/etc/ansible# vim hosts root@ubuntu:/etc/ansible# root@ubuntu:/etc/ansible# root@ubuntu:/etc/ansible# root@ubuntu:/etc/ansi...

 系统安装完之后，boot分区最好做一个备份，因为这个分区 我们基本不会动它，所以备份一次一劳永逸，以防万一。如果我们不小心 误删除了这个目录，也不用慌，正因为这个分区，我们除了开机 其他时候基本用不到，所以恢复起来还是很容易的。而且恢复之后，我们操作系统里的其他服务基本没有影响，我们看一下，如果误删除了/boot，该如何恢复： 由于/boot分区一般就是用于存放镜像和相关启动引导文件，所以误删之后，恢复并不影响系统其他服务的正常运行；但是误删之后 系统启动不了了，因为 grub.conf文件在 /boot/grub/中 也被删除了。 删除boot目录 已无法启动，进入grub模式   这时需要进行挂盘修复 急救模式启动后加载一个shell 查看磁盘已自动挂载到/mnt/目录下 使用chroot命令进入到磁盘系统。否则仅在内存系统中。 查看boot目录后是空的。 挂载光盘镜像 使用其他的Centos8 系统 查看boot目录下vmlinuz和initramfs生成的包 安装内核 Boot...

MySQL8.0允许外部访问 一、前置条件：按照https://blog.csdn.net/h996666/article/details/80917268安装完MySQL之后。 二、开始修改配置：1，登进MySQL之后， 2，输入以下语句，进入mysql库： 1use mysql 3，更新域属性，’%’表示允许外部访问： 1update user set host='%' where user ='root'; 4，执行以上语句之后再执行： 1FLUSH PRIVILEGES; 5，再执行授权语句： 1GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'WITH GRANT OPTION; 然后外部就可以通过账户密码访问了。 6，其它说明： FLUSH PRIVILEGES; 命令本质上的作用是： 将当前user和privilige表中的用户信息/权限设置从mysql库(MySQL数据库的内置库)中提取到内存里。 MySQL用户数据和权限有修改后，希望...

我们可以搭建一个自己的个人网盘（私有云盘），常用的开源框架包括ownCloud，Seafile，Nextcloud，本文介绍的是在CentOS 7下基于Nextcloud教你如何搭建一个私有云。 安装MySQL 1234567891011121314151617安装mysql源信息\[root@xxx ~\]# yum install https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm安装mysql\[root@xxx ~\]# yum install mysql-community-server启动mysql\[root@xxx ~\]# systemctl start mysqld查看密码\[root@xxx ~\]# grep 'temporary password' /var/log/mysqld.log修改密码mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY '...

YUM是基于RPM的软件包管理器 YUM is an RPM-based package manager 补充说明 Supplementary note yum命令 是在Fedora和RedHat以及SUSE中基于rpm的软件包管理器，它可以使系统管理人员交互和自动化地更新与管理RPM软件包，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令，而且命令简洁而又好记。     The yum command is a rpm-based package manager in Fedora, RedHat and SUSE. It enables system administrators to interactively and automatically update and manage RPM packages. It can automatically download and install RPM packages from a spe...

Nginx主要功能： 1、反向代理2、负载均衡3、HTTP服务器（包含动静分离）4、正向代理 一、反向代理反向代理应该是 Nginx 做的最多的一件事了，什么是反向代理呢，以下是百度百科的说法：反向代理（Reverse Proxy）方式是指以代理服务器来接受 internet上 的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给 internet 上请求连接的客户端，此时代理服务器对外就表现为一个反向代理服务器。简单来说就是真实的服务器不能直接被外部网络访问，所以需要一台代理服务器，而代理服务器能被外部网络访问的同时又跟真实服务器在同一个网络环境，当然也可能是同一台服务器，端口不同而已。下面贴上一段简单的实现反向代理的代码 server {       listen      80;       server\_name  localhost;             client\_max\_body\_size 1024M;             location / {                 proxy\_pass http...

Prometheus vs Zabbix    Zabbix的客户端更多是只做上报的事情，push模式。而Prometheus则是客户端本地也会存储监控数据，服务端定时来拉取想要的数据。 Zabbix的客户端agent可以比较方便的通过脚本来读取机器内数据库、日志等文件来做上报。zabbix的客户端agent可以比较方便的通过脚本来读取机器内数据库、日志等文件来做上报。Prometheus的上报客户端则分为不同语言的SDK和不同用途的exporter两种，比如如果你要监控机器状态、mysql性能等，有大量已经成熟的exporter来直接开箱使用，通过http通信来对服务端提供信息上报（server去pull信息）； Zabbix’s client is more of only reporting things, push mode. In Prometheus, the client also stores monitoring data locally, and the server regularly pulls the desired data.      Zabbix...

Python安装-在Linux系统中使用编译进行安装 你可以使用Ubuntu自带的Python3，不过你不能自由的控制版本，还要单独安装pip3，如果你想升级pip3，还会出现一些让人不愉快的使用问题。而在CentOS系统中，默认只有Python2，通过yum安装Python3，也同样面临版本落后以及pip3的问题。如果不自己编译安装，还有什么别的方法来一直保持使用最新的版本呢？！除非你用Win系统。 You can use the Python3 that comes with Ubuntu, but you can’t control the version freely. You have to install pip3 separately. If you want to upgrade pip3, there will be some unpleasant usage problems. In the CentOS system, there is only Python2 by default. Installing Python3 through yum al...

故事情节：     有一天在聚餐中，我有一个朋友和我说他的服务器上有有个异常的进程他一直在占满CPU在运行，我在一顿谦虚之后答应了他，有空登录上他的服务器看一下具体情况。          这一天正是五月一日，一年一度的劳动节来了，我在家里闲着没事干在看某综艺，这时手机响了，来了一条微信消息，看到他给我发来了俩张图，突然勾起了我内心的好奇。     就是以上三张图，在proc目录中的exe指向的文件已被删除，我看到这里，我好奇这个进程肯定是被隐藏掉了。这时，我急中生智跟这位朋友要了root账号密码。登录服务器用top命令一看，发现一个奇怪的进程在运行，我使用kill命令将其杀后，等了十来分钟后，发现没有被启动，这时我和这位朋友说干掉了，他问我是不是kill掉了，我说嗯，他又补充到，这个进程杀掉过段时间会起来的，我问他大概多久就会启动，他说不清楚大概一天内肯定会启动。这时我慌了，如果是一天内才启动，我还得明天才能看见，那实在没办法了。我又开始看我的综艺了。     没过多久，我又看了一下，发现这个进程换了个名字又启动了。还干满了CPU，就在这时，我在研究这个进程运...

关于APNIC     全球IP地址块被IANA(Internet Assigned Numbers Authority)分配给全球三大地区性IP地址分配机构，它们分别是： ARIN (American Registry for Internet Numbers)     负责北美、南美、加勒比以及非洲撒哈啦部分的IP地址分配。同时还要给全球NSP(Network Service Providers)分配地址。 RIPE (Reseaux IP Europeens)     负责欧洲、中东、北非、西亚部分地区(前苏联) APNIC (Asia Pacific Network Information Center)     负责亚洲、太平洋地区 APNIC IP地址分配信息总表的获取： 1APNIC提供了每日更新的亚太地区IPv4，IPv6，AS号分配的信息表：http://ftp.apnic.net/apnic/stats/apnic/delegated-apnic-latest 1该文件的格式与具体内容参见：ftp://ftp.apnic.net/pub/apnic/s...

目录 华为人工智能atlas A800-9000 物理服务器全程离线安装驱动以及CANN安装部署和MindSpore安装部署和Tensorflow安装部署 A800-9000 物理服务器安装驱动 使用镜像配置本地apt源 创建普通用户并设置密码 安装驱动以及固件 验证是否安装成功 CANN开发环境部署安装 安装环境以及依赖 安装完成后查看版本 安装Python3.7.5 使用Python3.7.5环境安装pip依赖包 安装开发套件包 CANN训练环境部署安装 说明 安装训练软件包 安装MindSpore 安装whl包 配置环境变量 测试是否可行 安装mindinsight 安装whl包 配置环境变量 启动及使用 安装Tensorflow 编译hdf5 配置环境变量及软连接 安装whl包 安装Pytorch 华为人工智能atlas A800-9000 物理服务器全程离线安装驱动以及CANN安装部署和MindSpore安装部署和Tensorflow安装部署 背景 Atlas 800 训练服务器（型号：9000）是基于华为鲲鹏920+昇腾910处理器的AI训练服务器，具有最强算力密度、...

    事情是这样的，在启动某一个应用程序的时候，出现 Input/output error 的报错，磁盘以及目录无法使用的情况下，进行了重启，重启完成后是可以正常使用的，过一段时间后就会再次出现这个问题，一番Google之后怀疑是磁盘出现问题，根据网友的解决方案尝试之后发现，这个方法可行，下文是命令及回显：          使用ls命令查看的时候出现这个报错 123[root@webc ~]# ls /data/ls: 无法访问/data/: 输入/输出错误[root@webc ~]#     这个是xfs的文件系统，所以使用如下命令进行修复 12[root@webc ~]# xfs_repair /dev/sdc1xfs_repair: cannot open /dev/sdc1: 设备或资源忙            这时这个问题，不要慌，先把磁盘卸载了在进行修复 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474...

    MindX DL（昇腾深度学习组件）是支持 Atlas 800 训练服务器、Atlas 800 推理服务器的深度学习组件参考设计，提供昇腾 AI 处理器资源管理和监控、昇腾 AI 处理器优化调度、分布式训练集合通信配置生成等基础功能，快速使能合作伙伴进行深度学习平台开发。     操作系统使用的是Ubuntu-1804，CPU是华为自研ARM架构。 一、安装前准备 配置apt网络源 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960hello@ubuntu:/etc/apt$ sudo cp sources.list~ sources.listhello@ubuntu:/etc/apt$ cat sources.list# # deb cdrom:[Ubuntu-Server 18.04.5 LTS _Bionic Beaver_ - Release arm64 (20200810)]/ bio...

MINIO简介     Minio是Apache License v2.0下发布的对象存储服务器。它与Amazon S3云存储服务兼容。它最适合存储非结构化数据，如照片，视频，日志文件，备份和容器/VM映像。对象的大小可以从几KB到最大5TB。Minio服务器足够轻，可以与应用程序堆栈捆绑在一起，类似于NodeJS，Redis和MySQL。       https://docs.minio.io/ 一、单机版搭建 操作系统搭建方式LinuxdockerLinux宿主机 1. docker模式搭建 1.1安装docker 12345curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun[root@localhost ~]# systemctl start docker #启动docker[root@localhost ~]# docker ps -a #查看一下命令是否可以执行CONTAINER ID IMAGE COMMAND CREATED STATUS ...

    Proxmox VE（Proxmox Virtual Environment，简称PVE）是一个开源的服务器虚拟化环境Linux发行版，基于Debian，使用给予Ubuntu的定制内核。相比于其他虚拟化平台，PVE具有的一个显著的特点就是无需master节点，安装完成后，无需特殊配置即可将多个节点组成集群。 由于工程要求，PVE需要大规模部署在物理服务器上，所以定制镜像就显得很有必要。 定制目标包括 （1）修改initrd中init脚本的提示信息 （2）删除GRUB界面多余选项，直接进入安装界面 （3）添加预装软件 （4）在安装过程中对软件进行个性化配置 （5）修改PVE安装界面，在PVE安装界面中的所有输入框设置默认文本 Proxmox VE镜像分析 下载Proxmox VE 6.4版镜像后挂载，观察文件结构 $ tree -L 2 . ├── boot │ ├── boot.cat │ ├── grub │ ├── initrd.img │ ├── linux26 │ └── memtest86+.bin ├── COPYING ├── COPYR...

    NVIDIA是GPU（图形处理器）的发明者，也是人工智能计算的引领者。我们创建了世界上最大的游戏平台和世界上最快的超级计算机。          第一步，首先安装N卡驱动。 cby@cby-Inspiron-7577:~$ sudo add-apt-repository ppa:graphics-drivers/ppa [sudo] cby 的密码： PPA publishes dbgsym, you may need to include 'main/debug' component Repository: 'deb http://ppa.launchpad.net/graphics-drivers/ppa/ubuntu/ hirsute main' Description: Fresh drivers from upstream, currently shipping Nvidia. ## Current Status Current long-lived branch release: `nvidia-430` (430...

腾讯蓝鲸智云，简称蓝鲸，是腾讯互动娱乐事业群（Interactive Entertainment Group，简称 IEG）自研自用的一套用于构建企业研发运营一体化体系的 PaaS 开发框架，提供了 aPaaS（DevOps 流水线、运行环境托管、前后台框架）和 iPaaS（持续集成、CMDB、作业平台、容器管理、计算平台、AI 等原子平台）等模块，帮助企业技术人员快速构建基础运营 PaaS。 关闭防火墙 123456[root@localhost ~]# sed -i 's/^SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config[root@localhost ~]# setenforce 0[root@localhost ~]# systemctl stop firewalld[root@localhost ~]# systemctl disable firewalldRemoved symlink /etc/systemd/system/multi-user.target.wants/fire...

    在离线的内网环境下进行安装一些软件的时候会出现依赖不完整的情况，一般情况下会使用如下方式进行下载依赖包 查看依赖包可以使用 yum deplist 进行查找 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162[root@localhost ~]# yum deplist nginxLoaded plugins: fastestmirrorLoading mirror speeds from cached hostfile * base: mirrors.tuna.tsinghua.edu.cn * epel: mirrors.tuna.tsinghua.edu.cn * extras: mirrors.tuna.tsinghua.edu.cn * updates: mirrors.tuna.tsinghua.edu.cnpackage: nginx.x86_64 1:1.20.1-2.el...

java + mysql +redis + minio + nginx + rocketmq + rocketmq-console + elasticsearch + kibana + logstash 一键部署可拆分 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714814915015115215315415515615715815916016116216316416...

    在已建立好的k8s集群中删除节点后，进行添加新的节点，可参考用于添加全新node节点，若新的node需要安装docker和k8s基础组件。     建立集群可以参考曾经的文章：CentOS8 搭建Kubernetes Linux运维交流社区推荐搜索 k8s集群 k8s集群添加节点     1. 在master中，查看节点数和要删除的节点数，因集群ip进行了修改，节点出现了异常。         [root@k8s-master ~]# kubectl  get nodes         NAME         STATUS     ROLES    AGE   VERSION         k8s-master   Ready      master   13d   v1.19.3         k8s-node1    NotReady      13d   v1.19.3         k8s-node2    NotReady      13d   v1.19.3     2. 进行删除节点操作。         [root@k8s-mast...

背景： 昨天在建立好新的集群后，出现了新的问题，其中的一台master节点无法正常工作。虽然可以正常使用，但是就出现了单点故障，今天在修复时出现了etcd健康检查自检没通过。 Yesterday, after a new cluster was established, a new problem a problem occurred, and one of the master nodes did not work properly. Although can be used normally, but there is a single point of failure, today in the repair of the etcd health check self-test failed. 对加入集群中时，出现如下报错： When you join a cluster, the following error occurs     提示 etcd 监控检查失败，查看一下Kubernetes 集群中的 kubeadm 配置信息。 Prompt the...

Linux内核高性能优化 #—内核优化开始——– # 内核panic时，1秒后自动重启 1kernel.panic = 1 # 允许更多的PIDs (减少滚动翻转问题); may break some programs 32768 1kernel.pid_max = 32768 # 内核所允许的最大共享内存段的大小（bytes） 1kernel.shmmax = 4294967296 # 在任何给定时刻，系统上可以使用的共享内存的总量（pages） 1kernel.shmall = 1073741824 # 设定程序core时生成的文件名格式 1kernel.core_pattern = core_%e # 当发生oom时，自动转换为panic 1vm.panic_on_oom = 1 # 表示强制Linux VM最低保留多少空闲内存（Kbytes） 1vm.min_free_kbytes = 1048576 # 该值高于100，则将导致内核倾向于回收directory和inode cache 1vm.vfs_cache_pressure = 250 # 表示系...

前言： 临时使用数据库时可以使用docker运行，这样可以防止在系统上安装破坏环境，同时使用docker启动会比在系统中安装配置要快速，可以说是最快的方式安装部署并启动数据库。 docker配置启动运行MySQL 首先创建目录并进入 sudo docker run -p 3306:3306 \\ --name mymysql \\ --restart=always \\ -v $PWD/conf:/etc/mysql/conf.d \\ -v $PWD/logs:/logs \\ -v $PWD/data:/var/lib/mysql \\ -e MYSQL\_ROOT\_PASSWORD=123456 \\ -d mysql:8 ```shell \--restart=always：在容器退出时总是重启容器 MYSQL\_ROOT\_PASSWORD=123456：root密码123456 mysql:8  使用MySQL8 \-v $PWD/conf:/etc/mysql/conf.d  配置文件 \-v $PWD/logs:/logs   日志 \-...

引言： kubeadm提供了两种不同的高可用方案。     堆叠方案：etcd服务和控制平面被部署在同样的节点中，对基础设施的要求较低，对故障的应对能力也较低 堆叠方案     最小三个Master（也称工作平面），因为Etcd使用RAFT算法选主，节点数量需要为2n+1个。     外置etcd方案：etcd和控制平面被分离，需要更多的硬件，也有更好的保障能力 外置etcd方案 一、资源环境     下面采用的是kubeadm的堆叠方案搭建k8s集群，也就是说如果3台Master宕了2台时，集群将不可用，可能收到如下错误信息”Error from server: etcdserver: request timed out”。 二、系统设置（所有主机）    设置主机名 12hostnamectl set-hostname master-\*hostnamectl set-hostname node-\*     设置静态IP 123456789101112131415161718192021222324\[root@localhost ~\]# vim /etc...