Two-Stage CNN 모델을 이용한 선박 분류 기법
; 강상길**
; Sang-Gil Kang**
초록
최근 들어 다양한 산업에 머신러닝을 적용한 자동화 시스템이 개발됨에 따라 해양 과학 분야에서도 자율 운행 선박에 대한 연구가 활발히 진행중이다. 선박이 자율 운행을 하기 위해선 카메라를 통해 주변 상황을 인지하고 해상의 선종을 분류하는 기술이 필요하다. 기존의 연구들은 단일 CNN 모델만을 사용하지만, 본 논문에서는 전이 학습이 적용된 two-stage CNN 모델을 제안한다. 선박의 외형은 각도와 종류에 따라 매우 다양하므로 하나의 CNN 모델을 사용할 경우 데이터 복잡성 문제에 의해 높은 정확도를 보장할 수 없다. 해당 모델은 선박이 향한 방향을 세 종류로 분류한 뒤, 각각의 방향에 대한 선종 분류를 진행하여 이를 해결한다. 본 논문에서는 제안된 방식의 성능을 검증하기 위해 기존의 CNN 모델과 비교 실험을 수행하였으며, 이를 통해 우리가 제안한 방법이 선종 분류의 정확도를 높일 수 있음을 보여준다.
Abstract
Recently, systems applying machine learning to various industries are being developed, marine science is also using these technologies as an example. In order for a ship to operate autonomously, technology is needed to recognize the surrounding situation through a camera and classify the type of ship. Existing studies use only a single CNN model, but in this paper, we propose a two-stage CNN model applied with transfer learning. Since the shape of a ship varies depending on the angle and type, high accuracy cannot be guaranteed using one CNN model. The model solves this by classifying the direction of ships into three types, and then classifying the type of ship for each direction. In this paper, a comparative experiment with an existing CNN model was performed, and through this, it is shown that our proposed method can increase the accuracy of ship classification.
Keywords:
machine learning, deep learning, two-step, transfer learning, image classificationⅠ. 서 론
제4차 산업혁명 시대를 맞이하여 해양 과학 분야에서도 인공지능을 활용한 업무 자동화가 널리 이루어지고 있다. 특히 머신 러닝과 딥러닝 기술의 발달로 인해 자율 운행 선박에 대한 연구가 활발히 진행중이다[1][2]. 선박이 숙련된 인간의 개입 없이 안전한 자율 운행을 하기 위해서는 환경 인식을 할 수 있는 기술이 필요하다[3]-[5]. 최근에는 시각 인공지능 분야가 발달함에 따라 인간의 시각 정보를 대신할 수 있는 다양한 장비들을 이용한 상황 인지 기술이 대두되고 있다.
카메라는 기존의 자율 주행 기술에 사용된 Radar, Lidar에 비해 개발 비용이 적기 때문에 자율 주행 분야와 접목하려는 시도가 많다[4]-[6]. 카메라의 영상 정보를 선박의 자율운행에 활용하기 위해서는 선박 주변에 존재하는 다른 선박들을 식별할 수 있는 기술이 필요하다. 그러나 선박의 종류를 단일 머신 러닝 모델만으로 정확하게 분류하기는 어렵다. 이는 선박이 향하고 있는 방향에 따라 그 외형이 매우 다양하고, 동일 선종도 각각의 생김새가 달라 데이터 복잡성 문제를 야기하기 때문이다.
본 연구는 선박의 방향과 선종을 순차적으로 분류하여 데이터 복잡성 문제를 해결하고 모델의 정확도를 높이는 two-stage 기반의 CNN 모델을 제안한다. 선박 이미지는 우선 선박 면을 파악하는 네트워크에 입력되어, 선박이 정면, 후면, 측면 중 어디를 향하는지 결정된다. 그 후 해당 이미지는 정면, 후면, 측면 중 한 종류의 면만을 학습한 네트워크에 입력되어 더욱 정확한 선종 분류를 진행한다. 또한 본 논문에서는 데이터 불균형 및 부족 현상을 해결하여 모델의 정확도를 높일 수 있다고 알려진 전이 학습[7]을 활용한다.
본 논문의 구성은 다음과 같다. 2장에서 이미지 분류와 전이 학습에 대한 관련 연구를 제시하고, 3장에서 우리가 제안한 방법에 대한 구조를 설명하며, 4장에서는 제안된 방법을 검증할 수 있는 실험 결과를 제시한다. 끝으로 5장에서 본 논문의 결론을 제안하며 마무리한다.
Ⅱ. 관련 연구
2.1 이미지 분류(Image classification)
딥러닝을 기술을 기반으로 하는 이미지 분류 모델은 AlexNet의 등장으로 인하여 높은 관심을 받았다[8]. 해당 모델은 2012년에 개최된 ILSVRC(Image Large Scale Visual Recognition Challenge) 대회에서 우승한 CNN 모델이다. 해당 모델은 ReLU(Rectified Linear Unit)를 활성화 함수로 사용함에 따라 기울기 소실(Vanishing gradient) 현상을 해결하였고, 이를 바탕으로 당시 모델들 중 최고의 성능을 낼 수 있었다.
AlexNet의 소개 이후, 더욱 깊이 쌓인 CNN 층들을 다양한 조합을 바탕으로 구성한 모델들이 제안되었다. ResNet은 잔차 학습(Residual learning)이라는 개념을 제안하여 모델의 층이 깊어져도 기울기 소실을 최소화 할 수 있는 방법이 있다는 것을 증명하였다[9].
한편 EfficientNet은 최근에 발전한 AutoML 기법을 활용하여 효율적인 모델 구조를 제안하였다[10]. 해당 모델은 이미지 분류의 정확도를 높이기 위해 모델의 깊이, 너비, 입력 이미지의 크기를 조절하여 적은 연산량으로 높은 정확도를 얻을 수 있는 최적의 방법을 고안하였다.
CNN 기반의 딥러닝 모델이 높은 정확도를 보임에 따라 이를 해양 과학 분야에 도입하려는 시도가 활발하다. G. W. Nam et al.은 VGG16, Xception, Resnet50[11]과 같은 CNN 기반 분류 모델을 이용해 자율 운항 선박 기술에 필요한 선박 이미지 분류를 수행하고 성능을 비교하였다. 또한 H. Long et al.[12]은 Gabor filter를 이용하여 특징점을 추출하는 Alexnet 기반의 CNN 모델을 고안하여 해양 선박의 분류를 진행하였다.
2.2 전이 학습(Transfer learning)
전이 학습이란 하나의 문제를 해결하기 위해 구축된 딥러닝 네트워크를 특징이 다른 데이터셋이나 도메인에 적용시키는 것을 의미한다.
전이 학습을 사용할 경우 사전 학습 과정에서 네트워크가 이미지에 대한 일반적인 특징점을 학습하였기 때문에, 비교적 적은 훈련 데이터로 높은 정확도를 달성할 수 있다. 전이 학습은 특히 컴퓨터 비전(Computer vision) 분야에서 높은 성능을 보이고 있다. 예를 들어 S. I. Lee et al.[13]는 콘크리트 구조물의 적절한 유지 관리를 위해, 다양한 결함을 분류하고자 전이 학습이 적용된 CNN 기반의 모델을 사용하였다. 또한 S. Y. Chung et al.[14]은 CNN 기반의 모델인 VGGNet, DenseNet, Inception V3, Xception, MobileNet 모델을 이용하여 전이 학습을 수행하고, 이를 바탕으로 보행자를 안정적이고 효과적으로 분류하는 방법을 제안했으며, A. R. Song et al.[15]은 이미 구축된 훈련 데이터를 바탕으로 모델을 학습시킨 후, 적은 양의 데이터로 재학습하여 높은 정확도를 보이는 고해상도 위성 영상의 변화 탐지 모델을 개발하였다.
Ⅲ. 제안 시스템의 구성
1장에서 기술했듯이, 선박은 외형적 특성상 측면과 정면, 후면의 모습이 매우 다르다. 따라서 하나의 딥러닝 네트워크만을 이용하여 선종을 분류할 경우, 데이터 복잡성 문제 때문에 동일 선종이라도 선박이 촬영된 각도에 따라 분류 정확도가 떨어질 수 있다. 이를 해결하기 위해서 본 연구팀은 선박 면 분류 단계(Ship face detection phase)와 그에 따른 선종 분류 단계(Ship classification phase)를 순차적으로 연결한 새로운 딥러닝 구조를 그림 1과 같이 고안한다.
Architecture of two-stage CNN model with transfer learning
선박 면 분류 단계는 이미지에 포착된 선박의 방향을 측면, 정면, 후면으로 분류하는 딥러닝 네트워크이다. SFNet(Ship Face Network)은 선박의 이미지를 입력 데이터로 받아 0, 1, 2 중 하나의 결과값을 도출하는데 이 숫자는 각각 선박의 측면, 정면, 후면 모습을 의미한다. 선박 면 분류 과정에서 오류가 생길 경우 선종 분류의 정확도가 낮아질 확률이 높아지기 때문에, 해당 단계에서 가장 중요하게 고려해야 할 사항은 정확한 분류 기준이다. 우리는 선박이 정면이나 후면을 향한다고 판단할 수 있는 임계각을 변화시키며 정확도가 가장 높은 훈련 데이터를 엄선하여 네트워크를 학습시킨다. 이에 대한 자세한 설명은 실험 부분에서 상세히 설명한다.
선종 분류 단계는 선박 면 분류 결과에 따라 그에 해당하는 선종 분류 네트워크에 연결되어 선종을 분류한다. 이를 구성하는 LSNet(Lateral Side Network), OSNet(Obverse Side Network), RSNet(Reverse Side Network)은 각각 선박의 측면 이미지, 정면 이미지, 후면 이미지만을 학습한 네트워크로, 사진 속 선박 면의 예측값에 따라 하나의 네트워크만 동작하여 선종을 분류한다. 예를 들면 선박의 이미지가 측면일 때, SFNet의 예측값은 0으로 도출되고, 이 이미지는 LSNet에만 입력되어 최종적인 선종 분류가 진행된다.
고정형 카메라를 이용하여 데이터를 획득하면, 선박의 모든 면에 대한 이미지를 동일한 비율로 얻기 어렵다. 카메라를 향해 다가오거나 멀어지는 선박은 좌우로 이동하는 선박에 비해 포착하기가 어렵기 때문이다. 우리는 이러한 데이터 불균형을 해소하기 위해 선종 분류 모델에 전이 학습을 적용한다.
그림 2는 선종 분류 모델 세 가지에 대한 학습 방법을 설명하고 있다. PSNet(Pretrained Side Network)은 전이 학습을 위한 베이스 모델이다. PSNet은 EfficientNet을 기반으로 설계되어있고, Kaggle에서 얻은 선박 데이터를 먼저 학습한다. 풍부한 양의 퍼블릭 데이터로 선박에 대한 충분한 특징점(Feature)을 파악한 PSNet은 세 개로 복제된 뒤 전이 학습에 쓰일 추가적인 선박의 측면, 정면, 후면 이미지들(Lateral side images, Obverse side images, Reverse side images)을 바탕으로 각각 재학습된다. 제안된 모델은 전이 학습을 통해 훈련하므로 선박의 방향 별 데이터 불균형 및 부족 현상으로 인한 학습 효율 저하를 해결할 수 있으며, 독립적으로 학습된 각 선종 분류 네트워크들은 한 종류의 선박 면에 대한 이미지만을 학습하므로 데이터 복잡성에 영향을 덜 받아 더 높은 정확도를 보여준다.
Training process of model in ship classification phase
표 1은 실험에 사용된 SFNet과 PSNet의 구조를 설명하고 있다. SFNet에 입력되는 선박 면에 대한 정보는 복잡성이 높지 않아 기본적인 EfficientNet-b0[10] 기반의 모델로 설계하였다. 그러나 선종 분류에 사용되는 PSNet은 비교적 복잡한 데이터를 분석하고 이해해야 하므로 SFNet 모델의 Output channels와 Number of layers를 확장하여 설계하였다.
Structure of model
두 모델의 전체 parameters는 각각 51,958,090개와 292,178,587개로 PSNet이 더욱 복잡한 구조를 가지고 있다. PSNet을 기반으로 한 LSNet, OSNet, RSNet은 전이학습을 통해 생성되므로 모델의 구조는 PSNet과 동일하다.
IV. 실험 결과
4.1 실험 환경(Environment)
본 연구의 실험은 Windows10 64bit, AMD Ryzen 7 3700X 8-Core Processor, RAM 12GB, Pytorch를 사용한 환경에서 진행했다. 전이 학습에는 Kaggle에서 얻은 약 6000장의 선박 이미지[17]를 사용했고, 미세 조정(Fine tunning)에는 총 450장의 선박 이미지를 구글링을 통해 수집하여 커스텀 데이터를 직접 제작해 사용했다. 해당 데이터는 Cargo, Carrier, Cruise, Military, Tanker의 총 5가지 종류로 구성되며, 각 클래스별 90장의 이미지를 담고 있다. 기반 네트워크로는 EfficientNet을 사용했다.
4.2 선박 면 분류 단계(Ship face detection phase)
본 실험 부분에서는 3장에서 설명하였듯이 선박을 정면, 혹은 후면으로 어노테이션(Annotation) 할 수 있는 허용 각도를 30°, 45°, 60°로 달리하며 세 개의 트레인 셋(Train set)을 준비한 뒤 각각에 대한 SFNet의 학습 성능을 관찰하였다. 허용 각도의 기준은 그림 3을 통해 확인할 수 있다. 우리는 허용 각도를 30°~60°까지 변화시켰고 Training method는 Adam을 사용했으며, Epoch는 100, Batch size는 4로 설정했다. 허용 각도가 30° 이내인 선박 이미지로만 이루어진 트레인 셋을 사용했을 때 정확도가 95.6%로 가장 높았다. 반면에 각도를 60°까지 허용한 트레인 셋을 사용했을 때 87.3%의 가장 낮은 정확도를 보였다.
Threshold angle for ship faces
4.3 선종 분류 단계(Ship classification phase)
표 2은 어노테이션 허용 각도에 따른 최종적인 성능 결과를 나타낸다. Ship face detection 파트에서 우리는 허용 각도별 SFNet의 테스트 결과를 확인할 수 있었다. 이와 유사하게 Ship classification 파트의 결과 또한 허용 각도가 30°일 때 전체 선종 분류 정확도가 95.5%로 가장 높게 나왔고, 허용 각도가 60°일 경우 85.9%로 가장 낮게 나온 것을 표 1에서 볼 수 있다. 위 결과를 통해 우리는 SFNet이 정확하게 선박 면을 분류해내야 선종 분류 네트워크 또한 올바른 데이터를 입력받아 더 높은 성능을 낼 수 있다는 것을 확인할 수 있다.
Performance results according to threshold angle for ship faces
표 3은 일반적인 전이 학습 기법[16]을 이용한 연구와 본 논문에서 제시한 전이 학습 방법의 결과를 비교한 것이다.
Comparison of performance of other papers and this paper
두 모델 모두 전이 학습에는 Kaggle에서 얻은 선박 이미지를 사용하였고, 미세 조정 과정에서는 구글링을 통해 얻은 450장의 선박 이미지를 바탕으로 직접 제작한 커스텀 데이터셋을 사용하였다. 또한 모델의 훈련 과정에서는 두 데이터셋 모두 6:2:2 비율의 train data, validation data, test data로 나누어 학습을 진행하였으며, Validation accuracy가 떨어지는 기점으로 모델의 훈련을 중단하는 Early stopping 기법을 적용하여 모델의 과적합을 막았다. 일반적인 모델을 사전훈련 하는데는 482분 22초가 걸렸으며, 미세 조정에는 15분 49초가 걸렸다. SFNet을 훈련시키는데는 4분 41초가 걸렸고, PSNet을 사전학습 시키는데는 347분 43초가 걸렸다. PSNet을 미세조정을 통해 LSNet, OSNet, RSNetd로 재학습하는 과정에서는 최하단의 전연결층을 제외한 모델의 나머지 부분을 동결하였으므로 각각 5분 31초, 5분 20초, 5분 45초의 짧은 시간이 걸렸다. 우리가 제안한 모델은 효율적인 학습 성능이 증명된 EfficientNet을 기반으로 제작되었기 때문에 타 논문의 방법에 비해 적은 시간복잡도를 달성할 수 있었다.
타 논문 기법의 경우 각 선박 데이터의 복잡성을 고려하지 않고 그대로 전이 학습을 진행한 결과 accuracy는 88.9%의 성능을 보였다. 반면에 우리는 선박 면과 선종을 순차적으로 분류하는 two-stage 기법을 적용하였고, 결과적으로 accuracy는 95.5%의 정확도를 달성했다. 그러므로 타 논문과 우리 논문 기법을 비교해보면 약 성능이 7% 향상된 성능을 확인할 수 있다. 또한 precision, recall, F1 score도 전반적으로 타 논문의 기법에 비해 높게 측정된 것을 볼 수 있다.
Ⅴ. 결론 및 향후 과제
4차 산업 혁명의 도래와 함께 자율 운행 선박에 대한 연구가 활발히 진행되고 있다. 선박이 자율 운행을 하기 위해선 주변 선박들에 대한 탐지 및 분류 과정이 필요하다. 기존의 연구는 하나의 모델만을 이용하여 선종 분류를 진행했기 때문에 데이터 복잡성 문제로 인하여 정확도가 떨어졌다.
본 논문에서는 선박 면을 분류하는 네트워크와 면에 따른 선종 분류 네트워크를 이어붙인 two-stage 모델을 제안하였다. 정면, 측면, 후면에 대한 선종 분류 네트워크들은 선박의 한 방향만을 학습하고 예측하므로, 선종 분류를 진행할 때 데이터 복잡성을 크게 줄일 수 있다. 또한 우리는 선박 면에 대한 사진을 종류별로 균일하게 얻기 힘들다는 문제를 해결하기 위해 전이 학습을 적용하였다. 본 연구에서는 공공 데이터를 통해 모델을 학습시킨 뒤 구글링을 통해 얻은 추가적인 데이터로 전이 학습을 진행했다. 그 결과 SFNet은 선박 면에 대한 어노테이션 허용 각도가 30°일 때 95.6%로 가장 높게 나왔고, 동일한 각도에서 평균적인 선박 분류 정확도는 95.5%로 가장 좋은 성능을 보였으며, 이는 기존의 방법에 비해 7% 향상된 결과였다.
본 논문은 데이터 복잡성과 데이터 부족 및 불균형 현상을 해결하기 위해 전이 학습이 적용된 two-stage CNN 모델을 고안하여 좋은 결과를 도출하였다. 그러나 선박 면에 대한 어노테이션 허용 각도를 정할 때 육안으로 관찰한 각도를 바탕으로 진행하여 그 정확도가 떨어진다는 점이 본 연구의 한계점일 것이다. 따라서 이 부분을 정확히 수치화하여 더욱 체계적인 연구 방향을 제시하는 것을 본 논문의 향후 과제로 한다.
Acknowledgments
This research was supported by a research grant from NRF(National Research Foundation) grant funded by the Korean Government (NRF-2022R1H1A2091852)
References
- J. H. Seo, J. W. Kim, and D. W. Jeong, "Design of Maritime Autonomous Surface Ship Prototype Supporting Optimum Route Prediction", Proc. of KIIT Conference, Daejeon, Korea, pp. 148-151, Jun. 2019.
- S. H. Jeong, J. H. Sim, and G. S. Choi, "The Common Platform Technology of Smart Maritime Autonomous Surface Ships", Proc. of KIIT Conference, Gwangju, Korea, pp. 442-445, Jun. 2018.
-
H. T. Choi, et al., "Design and Preliminary Results of Novel Situational Awareness Systemfor Autonomous Ship based on Artificial Intelligence Techniques", Journal of Institute of Control, Robotics and Systems, Vol. 27, No. 8, pp. 556-564, Aug. 2021.
[https://doi.org/10.5302/J.ICROS.2021.21.0063]
-
S. J. Hwang, S. J. Park, and J. H. Baek, "Unsupervised Monocular Depth Estimation Using Self-Attention for Autonomous Driving", Journal of Advanced Navigation Technology, Vol. 27, No. 2, pp. 182-189, Apr. 2023.
[https://doi.org/10.12673/jant.2023.27.2.182]
-
S. H. Lee and Y. S. Kang, "Segmentation of Driving Areas for Autonomous Vehicle based on Deep Learning Method Using Automotive Camera Sensor", Journal of Institute of Control, Robotics and Systems, Vol. 26, No. 6, pp. 452-461, Jun. 2020.
[https://doi.org/10.5302/J.ICROS.2020.20.0016]
-
K. H. Choi, S. G. Han, K. H. Park, K. S. Kim, and S. H. Kim, "Guidance Line Extraction Algorithm using Central Region Data of Crop for Vision Camera based Autonomous Robot in Paddy Field", The Journal of Korea Robotics Society, Vol 11, No. 1, pp. 1-8, Jun. 2016.
[https://doi.org/10.7746/jkros.2016.11.1.001]
-
F. Zhuang, Q. Zhiyuan, K. Duan, D. Xi, Y. Zhu, H. Xiong, and Q. He, "A Comprehensive Survey on Transfer Learning", Proc. of the IEEE, Vol. 109, No. 1, pp. 43-76, Jan. 2021.
[https://doi.org/10.1109/JPROC.2020.3004555]
-
A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks", Association for Computing Machinery, Vol. 60, No. 6, pp. 84-90, Jun. 2017.
[https://doi.org/10.1145/3065386]
- K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition", 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp. 770-778, Jun. 2016.
-
M. Tan and Q. Le, "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks", Proc. of the 36th International Conference on Machine Learning, pp. 6105-6114, Jun. 2019.
[https://doi.org/10.48550/arXiv.1905.11946]
-
G. W. Nam, M. I. Roh, H. W. Lee, and W. J. Lee, "Classification of Ship Images for Autonomous Ships Using Deep Learning", Korean Journal of Computational Design and Engineering, Vol. 26, No. 2, pp. 114-153, Jun. 2021.
[https://doi.org/10.7315/cde.2021.144]
-
H. Long, O. H. Kwon, S. H. Lee, and K. R. Kwon, "Gabor Feature Representation and Deep Convolution Neural Network for Marine Vessel Classification", Korea Society of Coastal Disaster Prevention, Vol. 8, No. 3, pp. 121-126, Jul. 2021.
[https://doi.org/10.20481/kscdp.2021.8.3.121]
-
S. I. Lee, G. M. Yang, J. M. Lee, J. H. Lee, Y. J. Jeong, J. G. Lee, and W. Choi, "Recognition and Visualization of Crack on Concrete Wall using Deep Learning and Transfer Learning", Journal of the Korean Society of Agricultural Engineers, Vol. 61, No. 3 pp. 55-65, May 2019.
[https://doi.org/10.5389/KSAE.2019.61.3.055]
-
S. Y. Chung and M. G. Chung, "Pedestrian Classification using CNN's Deep Features and Transfer Learning", Journal of Internet Computing and Services, Vol. 20, No. 4, pp. 91-102, Apr. 2019.
[https://doi.org/10.7472/jksii.2019.20.4.91]
-
A. R. Song, J. W. Choi, and Y. I. Kim, "Change Detection for High-resolution Satellite Images Using Transfer Learning and Deep Learning Network", Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 37, No. 3, pp. 199-208, Jun. 2019.
[https://doi.org/10.7848/ksgpc.2019.37.3.199]
-
M. A. Russo, K. Kurnianggoro, and K. H. Jo, "Classification of sports videos with combination of deep learning models and transfer learning", 2019 International Conference on Electrical, Computer and Communication Engiꠓneering (ECCE), Cox'sBazar, Bangladesh, pp. 1-5, Feb. 2019.
[https://doi.org/10.1109/ECACE.2019.8679371]
- A. Jain, "Game of Deep Learning: Ship datasets", Kaggle [accessed: Apr. 12, 2023]
2023년 : 인하대학교 컴퓨터공학과(공학사)
2023년 ~ 현재 : 인하대학교 대학원 전기 컴퓨터공학과 석사과정
관심분야 : 모바일 컴퓨팅, 인공지능 시스템, 머신러닝
1989년 : 성균관대학교 전기공학과(공학사)
1995년 : Columbia University 전기공학과 전자공학과 공학석사
2002년 : Syracuse University 전자공학과 공학박사
2006년 ~ 현재 : 인하대학교 컴퓨터공학과 교수
관심분야 : 모바일 컴퓨팅, 인공지능 시스템, 정보검색, 신경 회로망, 멀티미디어 시스템, 유비쿼터스 시스템, 신호처리