自建云相册PhotoPrism

2021-04-01 约 7065 字预计阅读 15 分钟

前言

记得我是2016年开始用Office365，家庭版一年229，6个人拼车，人均40。除了可以畅享正版Office外，还有1T的OneDrive空间。从那时候开始，就把存放在电脑里10多年的老照片都放到了OneDrive里。此外使用OneDrive的APP，还可以把手机里面的照片同步到OneDrive上。最重要的是，OneDrive提供了基于AI的照片Tag，可以按地理位置或者Tag进行照片分类，极大方便了照片备份和管理。

然而，2020年不知道什么时间开始，OneDrive的Tag功能消失了。经过多方面了解，得知微软官方确实下线了Tag的功能，但理由众说纷纭。有说功能会被转移到Bing上，但目前没有任何进展；有说因为数据隐私的原因；还有说牵扯三星的相关专利问题。具体可以在Microsoft Community上查看 “Edit Tags” option missing in One Drive & existing tags not visible. 同时希望Tag功能回归的请愿已经放到了UserVoice上，里面有来自用户的各种吐槽，但官方没有任何表示。而在OneDrive的support页面，关于Tag的功能描述依然存在。

不管什么原因，未来计划如何，这个功能现在确确实实没有了。对我来说，200多G的照片的分类管理一下没了办法，于是开始寻找替代方案。

Google Photo作为最好用的云相册是最优先被考虑的，然而网络是个大问题，即便有梯子，还是显得麻烦一些。最重要的是，谷歌居然调整了相册的收费策略，从以前的高质量图片无限存储变成了15G限制，2021年6月生效，超过需要付费购买空间，价格比OneDrive贵不少。谷歌、微软一番操作，不得不让人疑惑，不让人警惕。至于国内，百度一刻、阿里云盘、时光相册等，未来跑不跑路、用户当不当韭菜不说，动不动强行净化一波网盘资料，就更不敢上车了。

SaaS产品没谱，就考虑自建。想过NAS，也考虑过路由器+移动硬盘的NAS替代方法，但终究不想给家里增加这么多电子垃圾。

几经波折，在Github上看到了PhotoPrism这个项目，使用Golang开发，TensorFlow进行照片分类，支持WebDAV协议，并且已经有10多k的star了。因为我在阿里和腾讯云都有轻量服务器，用来部署这个方案最适合不过了。于是话不多说就开始折腾，先后调整了3个方案，汇总如下：

方案1：轻量服务器+对象存储+PhotoPrism mobile App

1. 挂载对象存储

不论阿里还是腾讯，轻量服务器的磁盘空间都是比较少的，我购买的2核U4G内存3T流量的实例，磁盘只有80G，远远不够相册存储。只有给服务器挂载块存储，文件存储或者对象存储才能解决存储问题。其中块存储和文件存储的价格都比较高，所以最后选择了服务器挂载对象存储的方案。

具体的挂载方式可以参考阿里云的OSSFS和腾讯云的COSFS工具，这里就不多说了。最终实现的效果是，把对象存储的Bucket挂载到“ /mnt/photoprism ”目录。

需要注意的是对象存储最好和轻量服务器同一个区域，这样就可以使用内网流量进行通讯了，避免产生对象存储的外网下行流量。

2. Photoprism的搭建

我选择用Docker-Compose的方案，官方有具体的教程 https://docs.photoprism.org/getting-started/docker-compose/ 这里简单陈述下步骤：

下载配置文件

1
2
3
4
5


# 路径仅供参考
mkdir /home/ubuntu/photoprism
cd /home/ubuntu/photoprism
wget https://dl.photoprism.org/docker/docker-compose.yml
vi /home/ubuntu/photoprism/docker-compose.yml

修改配置内容

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66


version: '3.5'
services:
  photoprism:
    # 使用预览版本:
    image: photoprism/photoprism:preview
    # 开机自启动
    restart: unless-stopped
    security_opt:
      - seccomp:unconfined
      - apparmor:unconfined
    ports:
      - 2342:2342
    environment:
      #设置登录密码
      PHOTOPRISM_ADMIN_PASSWORD: "xxxxxx"            # PLEASE CHANGE: Your initial admin password (min 4 characters)
      PHOTOPRISM_HTTP_PORT: 2342                     # Built-in Web server port
      PHOTOPRISM_HTTP_COMPRESSION: "gzip"            # Improves transfer speed and bandwidth utilization (none or gzip)
      PHOTOPRISM_DEBUG: "false"                      # Run in debug mode (shows additional log messages)
      PHOTOPRISM_PUBLIC: "false"                     # No authentication required (disables password protection)
      PHOTOPRISM_READONLY: "false"                   # Don't modify originals directory (reduced functionality)
      PHOTOPRISM_EXPERIMENTAL: "false"               # Enables experimental features
      PHOTOPRISM_DISABLE_WEBDAV: "false"             # Disables built-in WebDAV server
      PHOTOPRISM_DISABLE_SETTINGS: "false"           # Disables Settings in Web UI
      PHOTOPRISM_DISABLE_TENSORFLOW: "false"         # Disables using TensorFlow for image classification
      PHOTOPRISM_DARKTABLE_PRESETS: "false"          # Enables Darktable presets and disables concurrent RAW conversion
      PHOTOPRISM_DETECT_NSFW: "false"                # Flag photos as private that MAY be offensive (requires TensorFlow)
      PHOTOPRISM_UPLOAD_NSFW: "true"                 # Allow uploads that MAY be offensive
      # PHOTOPRISM_DATABASE_DRIVER: "sqlite"         # SQLite is an embedded database that doesn't require a server
      PHOTOPRISM_DATABASE_DRIVER: "mysql"            # Use MariaDB (or MySQL) instead of SQLite for improved performance
      PHOTOPRISM_DATABASE_SERVER: "mariadb:3306"     # MariaDB database server (hostname:port)
      PHOTOPRISM_DATABASE_NAME: "photoprism"         # MariaDB database schema name
      PHOTOPRISM_DATABASE_USER: "photoprism"         # MariaDB database user name
      PHOTOPRISM_DATABASE_PASSWORD: "insecure"       # MariaDB database user password
      PHOTOPRISM_SITE_URL: "http://localhost:2342/"  # Public PhotoPrism URL
      PHOTOPRISM_SITE_TITLE: "PhotoPrism"
      PHOTOPRISM_SITE_CAPTION: "Browse Your Life"
      PHOTOPRISM_SITE_DESCRIPTION: ""
      PHOTOPRISM_SITE_AUTHOR: ""
    volumes:
      # 映射原始文件存储目录为挂载的对象存储的Bucket
      - "/mnt/photoprism/pictures:/photoprism/originals"
      # 缓存、索引文件，可映射到对象存储Bucket
      - "/mnt/photoprism/storage:/photoprism/storage"

  mariadb:
    image: mariadb:10.5
    restart: unless-stopped
    security_opt:
      - seccomp:unconfined
      - apparmor:unconfined
    command: mysqld --transaction-isolation=READ-COMMITTED --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci --max-connections=512 --innodb-rollback-on-timeout=OFF --innodb-lock-wait-timeout=50
    volumes: 
      # 数据库文件存储在宿主机/home/ubuntu/photoprism/database下
      - "./database:/var/lib/mysql"
    environment:
      MYSQL_ROOT_PASSWORD: please_change
      MYSQL_DATABASE: photoprism
      MYSQL_USER: photoprism
      MYSQL_PASSWORD: insecure

  # 开启自动更新
  watchtower:
    image: containrrr/watchtower
    restart: unless-stopped
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock"

运行docker-compose

1

docker-compose -f /home/ubuntu/photoprism/docker-compose.yml up -d

3. 反向代理

部署完成后，相关的反向代理可以参考官方文档 https://docs.photoprism.org/getting-started/proxies/nginx/ ，我这里做了一些修改，主要是使用了SSL证书做了https重定向。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


server{
        listen 443 ssl;
        server_name xxxx;  #自定义域名
        ssl_certificate /etc/nginx/cert/xxxx.pem; #SSL证书 pem
        ssl_certificate_key /etc/nginx/cert/xxxx.key; #SSL证书 key
        ssl_session_timeout 5m;
        ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
        ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;
        ssl_prefer_server_ciphers on;
        client_max_body_size 0;
        location / {
                proxy_pass http://127.0.0.1:2342;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header Host $host;
                proxy_buffering off;
                proxy_http_version 1.1;
                proxy_set_header Upgrade $http_upgrade;
                proxy_set_header Connection "upgrade";
        }
}
server{
        listen 80;
        server_name xxxx;   #自定义域名
        rewrite ^/(.*)$ https://xxxxx/$1 permanent;  #自定义域名
}

4. Web访问

使用反向代理的域名登录PhotoPrism后，就可以创建相册，然后上传照片了。第一次使用，上传完成后，可以手动做一次索引，以后使用每15分钟会自动索引。关于索引更多的内容可以看官方文档 https://docs.photoprism.org/user-guide/library/indexing/

PhotoPrism支持分辨率的自适应，也就是说不论在PC、平板还是手机，都可以访问使用。同时可以看到PhotoPrism丰富的菜单栏和照片分类方式，包括基于时间线的日历、基于AI的Tag分类、基于地理位置的分类。虽然目前还没有基于人脸识别的分类，但在RoadMap上已经安排上了，相信很快就会发布。

5. APP同步手机照片

使用Web访问，可以导入历史照片数据，但手机照片的备份还需要APP配合使用。PhotoPrism官方提供了APP，使用Flutter开发，但目前还处于非常初期的阶段，功能不完善，并且与当前版本的后台还不兼容。虽然已经有Contributor提供了的方案和PR，但还没有被合并。安装使用后，发现只有最基本的照片查看和相册管理，没有分类视图，自动上传手机照片也是实验性功能，不能在后台工作。看来一段时间内，都很难用官方的APP来满足实际需求了。不过可以预见的是，等Google Photo开始收费后，这个项目会被越来越多的人关注，如果有擅长Flutter的小伙伴，不妨加入Contributors的队伍啊，毕竟现在才有9人。

方案2：轻量服务器+对象存储+PhotoSync App

因为方案1没有很好的解决手机照片同步的问题，所以又在寻找官方APP的替代品。

这里看到官方文档推荐了使用Photo Sync来作为同步APP，这是一款比较成熟的跨平台照片同步产品，支持FTP、WebDAV等多种协议的数据传输。因为PhotoPrism支持WebDAV协议，所以只需要对PhotoSync进行WebDAV服务器的设置，就可以实现手机相片同步了。

不过PhotoSync要使用自动备份功能，如充电时同步、拍照后同步、连接到指定WIFI后同步等，需要付费购买插件，大概20大洋左右，而且安卓APP没有中文。不过使用这样的方案组合，在官方APP没有完善之前，确实满足了需求。只是在APP上没办法像使用WEB那样查看照片分类，只能用手机访问WEB进行查看，算是一个遗憾了。

方案3：轻量服务器+OneDrive

方案1、2已经可以满足需求了，但折腾一圈之后发现成本有点高。

OneDrive：229/年，6人分摊后40/年
轻量服务器：800/年，5人分摊后160/年
对象存储500G：600/年
对象存储请求次数：按量付费
对象存储外网下行流量：与轻量服务器同区域可免外网流量

整套下来一年800多一年，比SaaS产品和NAS都贵多了。然后对象存储请求次数，官方定义为使用API或SDK上传、下载、删除等操作对象存储均会产生请求次数。因为对象存储是挂载到服务器的，所有的操作本质上还是调用了对象存储的接口，几百G的照片上传，索引，分分钟百万千万的请求次数，虽然请求次数很便宜，几十万次数才几块钱，但羊毛薅多了也顶不住啊。

所以回归到成本角度，还是败给了Money，于是考虑降本方案。

我是在方案2搭建完成后，开始考虑怎么把OneDrive的数据同步过来。如果先下载到本地电脑，再上传云服务器，除了OneDrive那个下载速度本来就很玄学不说，这样一来一回400多G，实在是太傻了。所以就找到了rclone这个项目，它支持灰常灰常多的数据存储产品之间同步。其中少不了OneDrive，根据官方文档介绍https://rclone.org/onedrive/ 很容易就实现了数据从OneDrive直接同步到云服务器。因为服务器在香港，所以速度也比下载到本地电脑快不少。

正是在使用rclone的时候，无意中看到它还支持把上面这些存储产品作为磁盘挂载到主机，那也就是说我可以直接挂载OneDrive作为存储，这样以来对象存储什么的都不要了，连旧数据的同步都免了，真香啊！操作起来：

1. 安装rclone

在轻量服务器上安装rclone，参考官方文档 https://rclone.org/install/ ，linux一键脚本

1

curl https://rclone.org/install.sh | sudo bash

2. 配置OneDrive

在轻量服务器上配置OneDrive，参考官方文档 https://rclone.org/onedrive/ 或按以下步骤

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


# 输入命令 remote config
# 输入n，新建config
# 输入onedrive，作为配置名称
# 输入26，选择OneDrive引擎
# 回车，默认client_id
# 回车， 默认client_secret
# 输入1， 选择 Microsoft Cloud Global
# 回车， 不进行advanced config
# 输入n， 不使用auto config

# 随后出现以下内容
For this to work, you will need rclone available on a machine that has
a web browser available.

For more help and alternate methods see: https://rclone.org/remote_setup/

Execute the following on the machine with the web browser (same rclone
version recommended):

	rclone authorize "onedrive" #用于远程配置

Then paste the result below:
result>

因为轻量服务器没有GUI，所以没法打开浏览器进行访问，所以在配置的最后一步，选择了n，进入了上面的result等待界面，这时候需要远程完成rclone的配置。详细信息可参考官方文档 https://rclone.org/remote_setup/，我这里简单陈述步骤。

在任何可以打开浏览器的电脑，最好是Linux系统进行操作，可以用虚拟机，这里我选择了本地电脑的WSL

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# 安装rclone
curl https://rclone.org/install.sh | sudo bash
# 此处使用result等待界面的命令
rclone authorize "onedrive" 

# 根据提示打开浏览器访问网址，会引导登录OneDrive
If your browser doesn't open automatically go to the following link: http://127.0.0.1:53682/auth
Log in and authorize rclone for access
Waiting for code...
# 登录成功后，复制Paste the following into your remote machine提示后的一段内容
Got code
Paste the following into your remote machine --->
SECRET_TOKEN
<---End paste

粘贴复制内容到轻量服务器result，完成rclone配置，此时在轻量服务器执行命令

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


rclone config
# 可展示已经存在的配置
Current remotes:
Name                 Type
====                 ====
onedrive             onedrive

e) Edit existing remote
n) New remote
d) Delete remote
r) Rename remote
c) Copy remote
s) Set configuration password
q) Quit config
e/n/d/r/c/s/q> 

1
2


 rclone lsd onedrive:
 # 可看到OneDrive内的文件夹

3. 方案设计

在挂载OneDrive之前，需要先了解PhotoPrism和OneDrive的一些特性，才能设计挂载的方案：

PhotoPrism上传文件后自动索引，仅在WebDAV协议下生效。也就是说它是通过监听协议来触发自动索引的，不论是PhotoPrism的Web，还是它官方的APP，还是前文中介绍的PhotoSync，都是基于WebDAV协议来实现文件上传的。手动拷贝文件到PhotoPrism的Originals文件夹，并不会触发自动索引。而我们使用的是OneDrive作为磁盘挂载的方案，在PhotoPrism的Web上传图片没有什么影响，是会自动索引的。但使用OneDrive的APP同步手机照片上来，就没办法走WebDAV的协议来触发索引了。当然你可以使用PhotoSync来作为手机照片同步工具，但既然用了OneDrive的方案，能不能用OneDrive的APP来实现手机照片同步，并且完成索引呢。关于更多自动索引的讨论可以看官方issues https://github.com/photoprism/photoprism/issues/281

PhotoPrism手动创建索引有两种方式：一种是前文中介绍过的通过Web来创建索引，另一种是通过命令行执行命令来创建索引。而命令行创建索引又有两个不同的模式选项：一个是重新索引文件，包括未更改的文件。另一个是清除所有的索引和缩略图后重新索引。照片文件被索引的过程包括通过TensorFlow进行分类，解析地理位置，解析时间等，随后生成索引文件，最后还要生成缩略图存储在缓存文件中。正是因为步骤繁琐，所以第一次索引时间会很久，而后续索引因为已经存在缩略图等缓存文件，所以就快一些。那么也就意味着命令行创建索引，使用cleanup的参数会更彻底一些，但速度也会更慢一些。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


photoprism index --help            
NAME:
   photoprism index - Indexes media files in originals folder

USAGE:
   photoprism index [command options] [arguments...]

OPTIONS:
   --all, -a  re-index all originals, including unchanged files
   --cleanup  removes orphan index entries and thumbnails

PhotoPrism的Import功能是把指定的Import目录下的文件导入到Originals文件夹，并进行索引，然后删除Import目录下的文件。一般用于导入大量的历史数据。也可以用于定时导入新增数据，因为Import文件夹一般数据比较少，而且导入完就可以删除，不需要索引整个Originals文件夹，索引时间不会很久。导入的方式也有两种，一个是控制台，另一个是命令行。
1 2 3 4 5 6

photoprism import --help NAME: photoprism import - Moves files to originals folder, converts and indexes them as needed USAGE: photoprism import [arguments...]
OneDrive同步手机照片到云端的路径是默认的，如我的路径是默认在“OneDrive/图片/本机照片”下，无法手动选择。但可以移动这个默认目录并且重命名，如我移动了该目录并改名为“OneDrive/Camera”，实测以前上传的照片没有丢失，而新同步的照片就到了这个目录下。需要注意的是微软官方并不建议移动和修改这个文件夹的名称。所以提醒各位风险需要自行评估。

基于以上特性，最终设计的方案就是：

使用OneDrive APP进行手机照片的同步（如果使用PhotoSync作为同步APP，则可以跳过第7步，无需做定时任务。但考虑到尽可能少引入工具，这里使用了OneDrive APP来同步手机照片）
使用PC或手机访问PhotoPrism的Web查看照片
在OneDrive下新建一个文件夹photoprism，挂载到服务器/mnt/onedrive/originals，并映射docker的/photoprism/originals目录，用于photoprism的原始照片存储
将OneDrive同步手机照片的默认文件夹，挂载到服务器/mnt/onedrive/import，并映射docker的`/photoprism/import目录，用于photoprism定期导入
在服务器执行import命令，将OneDrive的历史照片导入并完成索引
在服务器新建定时任务，定期执行import命令，将OneDrive新同步的照片导入并完成索引

4. 挂载OneDrive

1
2


mkdir /mnt/onedrive/originals
mkdir /mnt/onedrive/import

创建服务

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31


vi /etc/systemd/system/rclone-import.service
# -------------------内容如下--------------------------
[Unit]
Description=Rclone
After=network-online.target

[Service]
Type=simple
ExecStart=rclone --vfs-cache-mode full mount onedrive:/camera /mnt/onedrive/import # 将OneDrive同步手机照片的默认文件夹，挂载到服务器/mnt/onedrive/import，并映射docker的/photoprism/import目录，用于photoprism定期导入
Restart=on-abort
User=root

[Install]
WantedBy=default.target
# ----------------------END---------------------------

vi /etc/systemd/system/rclone-originals.service
# -------------------内容如下--------------------------
[Unit]
Description=Rclone
After=network-online.target

[Service]
Type=simple
ExecStart=rclone --vfs-cache-mode full mount onedrive:/photoprism /mnt/onedrive/originals # 在OneDrive下新建一个文件夹photoprism，挂载到服务器/mnt/onedrive/originals，并映射docker的/photoprism/originals目录，用于photoprism的原始照片存储
Restart=on-abort
User=root

[Install]
WantedBy=default.target
# ----------------------END---------------------------

启动服务

1
2
3
4
5
6
7
8
9


# 开机执行服务自动挂载
systemctl enable rclone-originals
systemctl enable rclone-import
# 启动服务
systemctl start rclone-originals
systemctl start rclone-import
# 查看服务状态
systemctl status rclone-originals
systemctl status rclone-import

取消挂载

1
2
3
4
5
6


# 停止服务
systemctl stop rclone-originals
systemctl stop rclone-import
# 解除挂载
fusermount -qzu /mnt/onedrive/originals
fusermount -qzu /mnt/onedrive/import

5. 修改PhotoPrism配置文件

见方案1，修改了dockerfile volume部分

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


volumes:
      # Your photo and video files ([local path]:[container path]):
      - "/mnt/onedrive/originals:/photoprism/originals"  
      # Multiple folders can be indexed by mounting them as sub-folders of /photoprism/originals:
      #- "/mnt/gallery/family:/photoprism/originals/Family"    # [folder_1]:/photoprism/originals/[folder_1]
      #- "/mnt/gallery/friends:/photoprism/originals/Friends"  # [folder_2]:/photoprism/originals/[folder_2]
      # Mounting an import folder is optional (see docs):
      - "/mnt/onedrive/import:/photoprism/import"
      # Permanent storage for settings, index & sidecar files (DON'T REMOVE):
      - "./storage:/photoprism/storage"

重启容器

1

docker-compose -f /home/ubuntu/photoprism/docker-compose.yml up -d

6. 索引历史数据

PhotoPrism搭建完成后，需要把历史数据全部导入。跟前文提到的一样，有两种方式

手动操作：登录Web，进入“库”，进入“导入”页面，勾选“移动文件”，点击“导入”
命令行操作

1

docker exec -it photoprism_photoprism_1 /photoprism/bin/photoprism import

我有200G的历史数据图片，每个图片索引差不多需要5-8秒，服务器CPU飚的飞起。以为是因为挂载OneDrive网络性能不足，导致索引很慢。不得不说，性能多少有影响，但索引步骤复杂，终究需要一些时间。所以让子弹飞一会吧，最终花了差不多3天时间才全部导入并索引完成。

7. 创建定时任务

前文也提到过，手动拷贝文件PhotoPrism不会自动索引，那我们通过OneDrive APP同步的手机照片就需要定期做同步并完成索引。这里就可以创建一个定时任务

1
2
3


crontab -e
# 设置每天晚上1点自动导入
0 1 * * * /usr/bin/docker exec photoprism_photoprism_1 /photoprism/bin/photoprism import

方案3使用了OneDrive作为存储，手机照片同步依然用回OneDrive，与之前的备份习惯无缝衔接。当然，OneDrive APP不能访问PhotoPrism，如果需要看照片，还是需要通过手机浏览器访问Web，短期内没有什么影响。等官方的APP完善后，就可以使用官方APP来进行照片同步，也就不需要定时导入和索引了。

至此，基于轻量云服务器的云相册搭建完成，撒花。